本文共 4680 字，大约阅读时间需要 15 分钟。

作者：任坤

现居珠海，先后担任专职 Oracle 和 MySQL DBA，现在主要负责 MySQL、mongoDB 和 Redis 维护工作。

本文来源：原创投稿

*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

---

1 背景

6月5号22:30左右收到几条报警短信，线上某 mongo 集群的 shard2 出现了主从延迟，过了几分钟自动恢复。 本来想假装没看见，可是过了一会又报警主从延迟，虽然这次也是自动恢复，但是不上去看一下心里有点不踏实。 这套环境为3.4集群，3 * mongos + 4 * shard(1主2从)，主节点 priority=2 ，其余节点 priority=1 ，当网络畅通时确保主库永远在1节点。

2 排查

登录grafana查看主库的监控信息，这一时间段cpu和内存使用率明显上升

qps 在22:30附近线性下降为 0 连接数却持续暴涨 由此可以大致推断是连接风暴导致主库压力过大进而引发主从复制延迟，具体信息需要查看 mongod.log 。mongo 日志文件的好处是记录信息非常详细，坏处是记录信息太多导致文件占用空间很大。为此 mongo 提供了专门的切换日志指令，但该指令只负责切换不负责清理历史日志文件，并且 mongo 自身不能设置 job 以实现定期自动切换，为此需要单独编写脚本。

创建1个具有 hostManager 角色的 mongo 账号 backup ，编写如下一个 shell 脚本，每小时执行1次。

[root@ mongod]# more logrotate_mongo.sh#!/bin/shMONGO_CMD=/usr/local/mongodb/bin/mongoKEEP_DAY=7#flush mongod logdatadir=/data/mongodbport=27017role=mongoddestdir=/data/backup/mongolog/${role}if [ ! ‐d "${destdir}" ]; then  mkdir ‐p ${destdir}fi$MONGO_CMD ‐‐authenticationDatabase admin admin ‐ubackup ‐p"*****" ‐‐eval"db.runCommand({logRotate:1})" ‐‐port $portmv ${datadir}/mongod.log.????‐??‐??T??‐??‐?? ${destdir}/find $destdir ‐name "mongod.log.*" ‐mtime +${KEEP_DAY} ‐exec rm ‐rf {} \;

归档的日志文件如下，22:00-23:00时间段生成的日志量比平时多出1个量级，由此也可以反向推断出 mongo 在这段时间压力有异常。

‐rw‐r‐‐r‐‐ 1 root root  11647760 Jun 5 18:00 mongod.log.2021‐06‐05T10‐00‐02‐rw‐r‐‐r‐‐ 1 root root  12869316 Jun 5 19:00 mongod.log.2021‐06‐05T11‐00‐01‐rw‐r‐‐r‐‐ 1 root root  15625361 Jun 5 20:00 mongod.log.2021‐06‐05T12‐00‐03‐rw‐r‐‐r‐‐ 1 root root  10993819 Jun 5 21:00 mongod.log.2021‐06‐05T13‐00‐02‐rw‐r‐‐r‐‐ 1 root root  71500070 Jun 5 22:00 mongod.log.2021‐06‐05T14‐00‐40‐rw‐r‐‐r‐‐ 1 root root 215216326 Jun 5 23:00 mongod.log.2021‐06‐05T15‐00‐02

查询对应时间点的日志，出现大量创建工作线程失败的信息

2021‐06‐05T22:28:00.821+0800 I ‐    [thread2] failed to create service entry workerthread for 172.31.0.65:398902021‐06‐05T22:28:00.821+0800 I NETWORK [thread2] connection accepted from172.31.0.66:45090 #4051839 (32622 connections now open)2021‐06‐05T22:28:00.821+0800 I ‐    [thread2] pthread_create failed: Resourcetemporarily unavailable2021‐06‐05T22:28:00.821+0800 I ‐    [thread2] failed to create service entry workerthread for 172.31.0.66:450902021‐06‐05T22:28:00.821+0800 I NETWORK [thread2] connection accepted from172.31.0.65:39892 #4051840 (32622 connections now open)2021‐06‐05T22:28:00.821+0800 I ‐    [thread2] pthread_create failed: Resourcetemporarily unavailable

同一时间段从库的日志：

2021‐06‐05T22:30:07.325+0800 I REPL     [ReplicationExecutor] Error in heartbeat requestto 172.31.0.183:27017; ExceededTimeLimit: Couldn't get a connection within the time limit2021‐06‐05T22:30:07.425+0800 I SHARDING [migrateThread] Waiting for replication to catchup before entering critical section

主库几乎失去了响应能力，从库定时心跳发起的连接都无法创建，进而触发主从选举，当前从库临时被选为主库。 等老主库恢复响应并重新加入集群后，又重新夺回控制权。

采用mtools解析日志，输出结果也验证了这一点，正常情形下183为主库114为从库，

[root@vm172‐31‐0‐183 mongod]# mloginfo mongod.log.2021‐06‐05T15‐00‐02 ‐‐rsstate.....RSSTATEdate               host                  state/messageJun 05 22:28:05    172.31.0.114:27017    PRIMARY    #114被选举为主库Jun 05 22:36:41    172.31.0.114:27017    SECONDARY  #114被降级为从库[root@vm172‐31‐0‐114 mongod]# mloginfo mongod.log.2021‐06‐05T14‐48‐24 ‐‐rsstate......RSSTATEdate               host                  state/messageJun 05 22:31:50    172.31.0.183:27017    ROLLBACK   #183以从库身份加入集群，执行rollback和recover流程，Jun 05 22:34:48    172.31.0.183:27017    RECOVERINGJun 05 22:35:52    172.31.0.183:27017    SECONDARY  #183的状态变为secondary后，因为priority更高因此触发了新一轮选举Jun 05 22:36:43    172.31.0.183:27017    PRIMARY    #183重新变成了主库

接下来的问题是确认是哪些应用服务器发起的连接风暴，shard节点的连接都是由mongos发起的，只能去查看mongos实例的日志。 还是采用mtools工具，输出如下： 这个是21:00-22:00时间段的连接创建信息

[root@ mongos]# mloginfo mongod.log.2021‐06‐05T14‐00‐01 ‐‐connections......CONNECTIONS     total opened: 8904     total closed: 5645    no unique IPs: 6 socket exceptions: 649127.0.0.1    opened: 2683 closed: 2683172.31.0.21  opened: 1531 closed: 733172.31.0.28  opened: 1525 closed: 676172.31.0.81  opened: 1520 closed: 704172.31.0.78  opened: 1495 closed: 699172.31.0.134 opened: 150  closed: 150

这个是22:00-23:00时间段的连接创建信息，很明显这个时间段有问题

[root@ mongos]# mloginfo mongod.log.2021‐06‐05T15‐00‐01 ‐‐connections......CONNECTIONS     total opened: 58261     total closed: 58868    no unique IPs: 7  socket exceptions: 3708   172.31.0.78  opened: 14041  closed: 14576172.31.0.21  opened: 13898  closed: 14284172.31.0.28  opened: 13835  closed: 13617172.31.0.81  opened: 13633  closed: 13535127.0.0.1    opened: 2681   closed: 2680172.31.0.134 opened: 170    closed: 176172.31.0.4   opened: 3      closed: 0

由此确认这次事件是由应用服务器连接异动造成，剩下的就是将这些信息交给开发人员进一步审核。

3 总结

这个案例总体比较好诊断，只是需要用到2个工具，1个是定期切换日志的shell脚本，1个是由 mongo 官方工程师编写的 mtools 。 它们可以帮助我们快速查看日志并从中提取出诊断所需的关键信息，极大的提升了工作效率。