网易交易猫手游交易平台
0
2024 / 06 / 16
在MongoDB的副本集中,节点之间是通过oplog来同步数据。Primary节点每执行一次数据写入,都会记录一条oplog,Secondary节点会持续不断的自Primary拉取oplog并在本地回放,从而确保各节点达到数据最终一致性。
Primary节点并发写入数据,时间点分别为t1、t2和t3,按时间先后排序为 t1-> t2-> t3;如果t1和t3先落库,t2后落库,那么在oplog集合中如何能保证有序呢?
MongoDB底层通用的存储引擎为WiredTiger、In-Memory,以WiredTiger为例,MongoDB管理层调用WiredTiger引擎接口向oplog集合中插入文档(即记录);
WiredTiger会以 oplog的 ts字段作为 key、文档内容作为 value,写入一条 KV记录,wiredtiger会保证存储(btree或 lsm的方式都能保证)的文档按 key来排序,这样就解决“Primary节点oplog如何保证有序”的问题;
并发写入多条oplog ts1、ts2、ts3和ts4,其中 ts1<ts2<ts3<ts4,如果ts1、ts2和ts4先写入primary成功,ts3存在延迟,还未写入,此时secondary节点自pirmary拉取oplog在本地回放,如何保证有序呢?
MongoDB(wiredtiger引擎)的解决方案是在读取oplog时进行限制,保证Secondary节点看到一定是顺序的,具体实现机制如下:
如此既可以确保“secondary节点在本地回放oplog时有序”
Secondary节点回放oplog在保证有序的前提下,如何保证高效呢?如下:
如果OpQueue队列中的oplog有对同一个collection的操作,后续并发进行数据回放时,如何保证同一个collections中两条oplog的执行顺序呢?
参考文档:
MongoDB如何保证 oplog顺序?
MongoDB复制集同步原理解析