新购ECS（CentOS）带宽被TC限制HTTP接入异常，升级带宽无改善，系统初始化Bug

[问题描述]：
我遇到的是给客户新购ECS带宽异常，升级带宽也无改善的问题，发现竟然也是TC流量规则这种低级问题：


我公司OA系统开发期间购买了一台ECS(1核/2G/40G/4M经典网络)作为开发服务器，OA开发完毕已经试运行了2个月，对阿里ECS一直很满意，上周参与活动购买了两台ECS（2核/4G/100GSSD/1M专有网络）服务器CentOS，一台用于OA一台用于数据备份，其中一台带宽升级到3M，LNMP系统初始环境配置优化完成（与老服务器使用环境相同），OA程序数据库同步到新服务器，可以正常使用，发现新服务器访问速度非常慢（OA用户只有30多人，老服务器访问速度非常快，平均1-3秒，新购买的两台新服务器访问竟然要10秒以上，崩溃了，公司网络环境：200M电信*4接入，SCP/FTP方式上行带宽速度正常，PING/路由监测也正常，下行带宽异常最多只有10多K）。




（1）首先可以排除OA程序、数据库、JS、CSS优化等问题，期间换了一台个人阿里华东1区（最低配ECS 200多/年）1M接入，速度正常；
（2）怀疑是LNMP配置优化问题，换工程师重做LNMP系统，问题依旧；
（3）怀疑是系统镜像问题，使用老服务器镜像重新构建新服务器系统，问题依旧；
（4）怀疑是HTTPS 问题，取消HTTPS，问题依旧；
（5）怀疑是接入带宽问题，上周末将其中一台服务器临时升级带宽一天到10M，问题依旧；
（6）怀疑动态程序问题，在几台服务器上上传了个静态压缩文件测试，新购的有问题的两台服务器下载速度明显异常，5-10K/S，对比老服务器即使是1M接入下载也是100多K，4M接入的应该是400-500K才正常，问题依旧；
（7）怀疑公司网络，回家（50M电信）问题依旧，网吧测试问题依旧；
（8）提交工单请阿里云工程师排查搞了两天，（1）修正系统配置未解决，（2）监控ECS负载找异常（新服务器未投入使用）未解决，（3）看阿里ECS社区，尝试关闭禁止阿里云盾未解决，（4）迁移服务器到其他物理机未解决，（5）无语了，工单客服建议退款，重构其他地域服务器....




今早突然想到是不是CentOS系统TC问题，原来做传统IDC物理机运维时在早期版本的Linux下遇到过TC问题，上阿里云搜索 带宽 TC 流量等关键字，看到有相似带宽流量问题的这篇文章（ https://help.aliyun.com/knowledge_detail/41300.html），尝试重置TC规则，我的问题尽然解决了，显然问题出在新购的这两台服务器使用的CentOS镜像初始化上，解决问题期间重新初始化过系统盘(CentOS 6.5 X64 / CentOS 6.8 X64)，显然系统初始化后 默认TC 也是有问题的，阿里云作为国内云计算领军者，公司及客户都一直在用阿里云，建议阿里云调整下这个Bug，我提交工单前后花了两天都未解决，无意间才发现竟然是TC流量规则这种低级问题，差点导致客户退款了 。


[建议方案]：




对LINUX服务器网卡进行带宽限制的办法：
1、安装tc , iproute?   CentOS系统默认已安装，可以忽略
yum -y install tc
yum -y install iproute


注意：阿里云系统默认eth0网卡为公网进出口网卡




2、检查系统默认规则
# tc -s qdisc ls dev eth0


3、删除默认规则
# tc qdisc del dev eth0 root
目前阿里系统默认没有规则，删除会提示RTNETLINK answers: No such file or directory错误信息，忽略即可


4、添加一条新规则（出口网卡流量限制为最大500M，但是不会超过实际购买的阿里云带宽限制，目的是为了跑满带宽）
# tc qdisc add dev eth0 root tbf rate 500mbit burst 10kb latency 70ms


5、启动时自动加载带宽限制策略
# vi /etc/rc.local
加入：


/sbin/tc qdisc del dev eth0 root
/sbin/tc qdisc add dev eth0 root tbf rate 500mbit burst 10kb latency 70ms