莆田市的网站建设公司,网站建设中界面模板下载,免费的小程序制作工具,快速进入网站文章目录故障现象排查过程1.查看Log2.同步恢复数据故障现象
周五突然收到Mongo实例莫名奇妙挂了告警#xff0c;一般都是RS复制集架构模式#xff08;5节点#xff09;#xff0c;查看此实例角色为SECONDAR#xff0c;挂了暂时不影响线上业务#xff0c;但还是需要尽快修…
文章目录故障现象排查过程1.查看Log2.同步恢复数据故障现象
周五突然收到Mongo实例莫名奇妙挂了告警一般都是RS复制集架构模式5节点查看此实例角色为SECONDAR挂了暂时不影响线上业务但还是需要尽快修复一下
排查过程
1.查看Log
只挑选出比较关键的log
...
2023-02-17T19:11:53.5950800 E STORAGE [conn6] WiredTiger (22) [1676632313:595172][22155:0x7fb4e28d0700], file:dnsline2new/index-232--3139202152534777108.wt, WT_SESSION.open_cursor: live.avail: merge range 159744-163840 overlaps with existing range 159744-163840: Invalid argument
2023-02-17T19:11:53.5950800 E STORAGE [conn6] WiredTiger (-31804) [1676632313:595237][22155:0x7fb4e28d0700], file:dnsline2new/index-232--3139202152534777108.wt, WT_SESSION.open_cursor: the process must exit and restart: WT_PANIC: WiredTiger library panic
2023-02-17T19:11:53.5950800 I - [conn6] Fatal Assertion 28558
2023-02-17T19:11:53.5950800 I - [conn6] ***aborting after fassert() failure2023-02-17T19:11:53.6160800 F - [conn6] Got signal: 6 (Aborted).
...Mongo WiredTiger存储引擎 库 panic了。。。尝试start启动还是无果检查存储磁盘是否损坏确认正常同机器上还运行了其他mongo实例无异常 google相关资料之后发现是社区中也有类似bug数据有损坏目前有两种方案可进行恢复一种是利用工具来对损坏数据修复另外是从备份节点重新恢复数据当然后者安全可靠些但是要考虑到数据大小及同步时长、机器资源消耗等因素。
资料参考https://jira.mongodb.org/browse/SERVER-27942 https://discuss.cryosparc.com/t/mongod-spawn-error-wildtiger-library-panic/1603 https://jira.mongodb.org/browse/SERVER-16210
2.同步恢复数据 1、鉴于此副本集数据量不是很大只有20GB所以决定采用同步数据来进行恢复 2、备份现有数据存储 3、新建Mongo数据存储目录并赋予对应权限 4、启动Mongo进程服务持续观察日志及同步进度 Mongodb副本集同步原理介绍https://zhuanlan.zhihu.com/p/79786663
