晚上8点到11点,国内用户访问新加坡机房的业务,丢包率从0.5%跳到15%以上,TCP重传把接口响应拖到3秒开外。这不是机器性能不行,是中国大陆到新加坡的公网回程挤在国际出口上。HostifyX新加坡服务器走CN2 GIA直连回程,晚高峰丢包率压到0.3%以内,内地三网平均延迟68ms,重传率0.1%以下。
丢包卡在国际出口不在机器上
国内流量去新加坡,默认走163公网,出境要挤广州、上海几个国际出口。晚高峰出口带宽吃满,队列塞不下就直接扔包,机器配置再高也接不住。
用mtr从内地跑一遍路由就能看到:丢包集中在出境那一两跳,后面的跳数反而干净。这说明问题出在出口排队,不在新加坡机房那头。
CN2 GIA的做法是单独拉一条商用回程,出境不走公共出口队列,晚高峰也不跟家用宽带抢带宽。路由独享,扔包自然少。
新加坡服务器丢包四线路压测结果
同一台8核16G机器放在新加坡机房,换四种回程线路,内地三网各跑1000次ping加iperf3打流,晚高峰20:00-23:00取值:
| 回程线路 | 晚高峰丢包率 | 平均延迟 | 延迟波动 | TCP重传率 |
|---|---|---|---|---|
| 163公网 | 12.6% | 210ms | ±95ms | 4.8% |
| 普通BGP中转 | 6.4% | 150ms | ±60ms | 2.1% |
| CN2 GT | 2.8% | 95ms | ±30ms | 0.9% |
| CN2 GIA直连 | 0.3% | 68ms | ±12ms | 0.1% |
- 测试机放在内地三网各1台,晚高峰连跑3天取中位数。
- ping包1000次间隔20ms,iperf3打流持续60秒看重传。
数据摊开看,差别就在出境那一段。想把晚高峰丢包按到1%以内,直接看新加坡服务器丢包这份线路说明,选GIA回程的机型,别在普通163线路上折腾系统参数。
挑新加坡机房别只盯配置单
这行水不深,但坑固定就那几个,买之前挨个问完能少踩八成的雷:
- 先要一份晚高峰mtr截图,白天干净的路由说明不了任何问题。
- 问清回程是GIA还是GT,两者价差小但晚高峰丢包差10倍。
- 合同里写死丢包率赔付条款,口头承诺的不丢包一律当没听见。
- 拿到机器先跑72小时持续ping,跨一个周末再决定要不要长期用。
丢包问题大家问得最多的几件事
白天正常、晚高峰丢包,到底堵在哪?
堵在出境国际出口的排队队列。白天带宽富余不扔包,晚上家用流量上来,163公网队列溢出,丢的就是你业务的包。换GIA回程能躲开这个队列。
上了CN2 GIA还会丢包吗?
会,但量级不一样。GIA回程自身拥塞极少,实测晚高峰0.3%左右,剩下那点丢包多来自本地运营商最后一公里,业务侧基本无感。
mtr从第几跳开始丢包才算定位到问题?
看连续丢包起点。中间某跳丢、后面跳恢复,多是路由器限制ICMP速率,不算真丢;从某一跳开始后面全丢,才是真堵点。
丢包率压到多少,用户才感觉不到?
TCP业务压在1%以内基本无感,0.5%以下接口响应就稳了;UDP语音视频类要求更严,建议0.2%以内再上线。
作者简介
老周,IDC圈里摸爬21年,管过上千台海外机器,平时拿mtr和iperf3说话,不爱讲概念。晚上十一点还在机房盯路由图的,多半是我这种人。
机器选没选对,拿数据说话。把你业务类型、并发量、用户分布发我,我按晚高峰口径给你跑一份线路对比,半小时回你,不收费,也不绕弯子。