2018年10月23日,周二
MongoDB服务器CPU一直很高,最高达到900%,可能是哪些原因?
答:可能原因如下:
1、高并发场景下,服务器开启numa
2、mongo查询无索引,消耗大量内存和io
3、服务器硬件故障,例如CPU 内存 raid卡等
4、高并发写入下开启读写分离+oplog应用加锁
5、高并发短链接+最新SCRAM-SHA-1认证的情况
2018年10月30日,周二
MySQL运行环境中,当发现系统已经用到了swap,该怎么处理?
答:一般来说,发生swap的原因是系统认为内存不够了
那么,当物理内存真的不够了,或者著名的NUMA都是引起swap的可能原因。通常的应对方法有几种:
1、通过BIOS、系统内核参数关闭NUMA,或者在mysqld启动时,利用numactl关闭NUMA的使用
2、调低系统使用swap的权重,设置内核参数 参数 vm.swappiness 不高s 不高于10
3、Linux下使用free命令查看内存使用情况,确认是否发生了内存泄露,可以去微信公众号「老叶茶馆」中发送“OOM”
4、修改MySQL参数innodb_flush_method = O_DIRECT,这样InnoDB在读写物理数据的时候会绕过cache来访问磁盘
5、优化SQL效率,避免产生额外的分组、排序、临时表情况发生,参考文章:文章:http://t.cn/EwLIuFv
6、在【夜间或业务不繁忙】时适合执行 swapoff -a,并执行sync刷新操作系统内存脏页到硬盘
2018年11月1日,周四
大量SQL语句文本,如何快速导入到MySQL中?
1、可在SQL文本前,添加set session sql_log_bin=0(需要在从库也导入一次)。
2、导入期间临时修改参数sync_binlog=10000、innodb_flush_log_at_trx_commit=0、innodb_autoinc_lock_mode=2。
3、导入前,根据业务情况看能否删除除了自增列主键外的其他索引。
4、将SQL文件切割成多份,再并发多线程导入。
5、若该SQL文件是每个INSERT一行,需要先行将多行合并成一行,即启用extended-insert模式。
6、以上建议,在线上环境请谨慎评估该骚操作的风险性。
7、以上建议,仅考虑尽快导入,涉及到和具体业务需求相冲突时(例如太快导入反倒会影响在线数据库性能),以实际情况为主。