復(fù)制
MongoDB的復(fù)制功能很重要,尤其是現(xiàn)在的存儲(chǔ)引擎還不支持單擊持久性。不僅可以用復(fù)制來應(yīng)對(duì)故障切換,數(shù)據(jù)集成,還可以做讀擴(kuò)展,熱備份或作為離線批處理的數(shù)據(jù)源。
1.主從復(fù)制
主從復(fù)制是MongoDB最常用的復(fù)制方式。可用于備份,故障恢復(fù)和讀擴(kuò)展等。
基本就是搭建一個(gè)主節(jié)點(diǎn)和一個(gè)或多個(gè)從節(jié)點(diǎn),每個(gè)從節(jié)點(diǎn)需要知道主節(jié)點(diǎn)的地址。運(yùn)行mongod --master啟動(dòng)主服務(wù)器。運(yùn)行mongod --slave --source master_address啟動(dòng)從服務(wù)器。
[root@test02 ~]# mongod --fork --dbpath /data/node2 --logpath /data/mongodb.log --port 10001 --logappend --master
從節(jié)點(diǎn)選擇不同的目錄和端口,并且用--source為從節(jié)點(diǎn)指明主節(jié)點(diǎn)的地址。
[root@test02 ~]# mongod --fork --dbpath /data/node3 --logpath /data/mongodb2.log --port 10002 --logappend --slave --source localhost:10001
所有的從節(jié)點(diǎn)都是從主節(jié)點(diǎn)復(fù)制信息,目前還不能從節(jié)點(diǎn)到從節(jié)點(diǎn)復(fù)制機(jī)制,原因是從節(jié)點(diǎn)沒有自己的oplog。
一個(gè)集群中從節(jié)點(diǎn)沒有明確的限制,但是多個(gè)節(jié)點(diǎn)對(duì)單點(diǎn)主機(jī)發(fā)起的查詢也是吃不消的,不超過12個(gè)節(jié)點(diǎn)的集群可以良好運(yùn)轉(zhuǎn)。
1.1 選項(xiàng)
(1)--only
在從節(jié)點(diǎn)上指定只復(fù)制特定某個(gè)數(shù)據(jù)庫(默認(rèn)復(fù)制所有數(shù)據(jù)庫)。
(2)--slavedelay
用在從節(jié)點(diǎn)上,當(dāng)應(yīng)用主節(jié)點(diǎn)的操作時(shí)增加延遲。這樣可以輕松設(shè)置延時(shí)從節(jié)點(diǎn)了,這樣的節(jié)點(diǎn)對(duì)于用戶無意間刪除重要數(shù)據(jù)或插入垃圾數(shù)據(jù)起到防護(hù)作用。通過延緩操作,可以有個(gè)恢復(fù)時(shí)間差。
(3)--fastsync
以主節(jié)點(diǎn)的數(shù)據(jù)快照為基礎(chǔ)啟動(dòng)從節(jié)點(diǎn)。如果數(shù)據(jù)目錄一開始時(shí)主節(jié)點(diǎn)的數(shù)據(jù)快照,從節(jié)點(diǎn)用這個(gè)選項(xiàng)啟動(dòng)要比做完整同步塊很多。
(4)--autoresync
如果主節(jié)點(diǎn)和從節(jié)點(diǎn)不同步,可以自動(dòng)同步了。
(5)--oplogsuze
主節(jié)點(diǎn)oplog的大小(單位是MB)。
1.2 添加以及刪除源
cat >> /etc/hosts <<EOF 192.168.27.212 test02 192.168.27.213 test03 192.168.27.214 test01 EOF
啟動(dòng)從節(jié)點(diǎn)時(shí)可以用--source指定主節(jié)點(diǎn),也可以在shell中配置這個(gè)源。
[root@test02 ~]# mongod --fork --dbpath /data/node3 --logpath /data/mongodb.log --port 10003 --logappend --slave
將192.168.27.212:10001作為源插入到從節(jié)點(diǎn)上。
> db.sources.insert({ "host" : "192.168.27.212:10001"});
立即查詢會(huì)得到插入的文檔:
> use local switched to db local > db.sources.find(); { "_id" : ObjectId("530be5049ab1ad709cfe66b7"), "host" : "test02:10001"
當(dāng)同步完成后,文檔更新:
> db.sources.find(); { "_id" : ObjectId("530bf0ab058022d91574c79c"), "host" : "test02:10001", "source" : "main", "syncedTo" : Timestamp(1393291443, 1), "dbsNextPass" : { "foo" : true, "test" : true } }
2.副本集
副本集就是有自動(dòng)故障恢復(fù)功能的主從集群。主從集群和副本集最為明顯的區(qū)別就是副本集沒有固定的主節(jié)點(diǎn):整個(gè)集群會(huì)選舉出一個(gè)主節(jié)點(diǎn),當(dāng)其不能工作時(shí),則變更到其它節(jié)點(diǎn)。副本集總會(huì)有一個(gè)活躍節(jié)點(diǎn)和一個(gè)或多個(gè)備份節(jié)點(diǎn)。
副本集最好的優(yōu)點(diǎn)就是全自動(dòng)化的。
mongod --fork --dbpath /data/node2 --logpath /data/mongodb.log --port 10001 --logappend --replSet myrepl/test03:10002 mongod --fork --dbpath /data/node3 --logpath /data/mongodb.log --port 10002 --logappend --replSet myrepl/test02:10001
副本集的亮點(diǎn)是自檢測(cè)功能:在其中指定單臺(tái)服務(wù)器后,MongoDB會(huì)自動(dòng)搜索并連接其余的節(jié)點(diǎn)。
啟動(dòng)幾臺(tái)服務(wù)器后,日志會(huì)告訴你副本集沒有初始化。需要在shell中初始化副本集。
連接任意一個(gè)服務(wù)器。初始化命令只執(zhí)行一次:
> db.runCommand({"replSetInitiate" : { ... "_id" : "myrepl", ... "members" : [ ... { ... "_id" : 1, ... "host" : "test02:10001" ... }, ... { ... "_id" : 2, ... "host" : "test03:10002" ... } ... ]}}) { "startupStatus" : 4, "info" : "myrepl/test03:10002", "ok" : 0, "errmsg" : "all members and seeds must be reachable to initiate set" }
(1)"_id" : "myrepl" 副本集的名稱
(2)"members" : [...] 副本集中的服務(wù)器列表,每個(gè)服務(wù)器至少兩個(gè)鍵。
(3)"_id" : N 每個(gè)服務(wù)器唯一的ID
(4)"host" : hostname 這個(gè)鍵指定服務(wù)器主機(jī)
或者:
config = {"_id" : "myrepl", "members" : [ {"_id" : 0, "host" : "test02:10001"}, {"_id" : 1, "host" : "test03:10002"} ]} rs.initiate(config); rs.status(); myrepl:SECONDARY> rs.status(); { "set" : "myrepl", "date" : ISODate("2014-02-25T02:17:39Z"), "myState" : 2, "syncingTo" : "test03:10002", "members" : [ { "_id" : 0, "name" : "test02:10001", "health" : 1, "state" : 2, "stateStr" : "SECONDARY", "uptime" : 968, "optime" : Timestamp(1393294457, 1), "optimeDate" : ISODate("2014-02-25T02:14:17Z"), "errmsg" : "syncing to: test03:10002", "self" : true }, { "_id" : 1, "name" : "test03:10002", "health" : 1, "state" : 1, "stateStr" : "PRIMARY", "uptime" : 48, "optime" : Timestamp(1393294457, 1), "optimeDate" : ISODate("2014-02-25T02:14:17Z"), "lastHeartbeat" : ISODate("2014-02-25T02:17:38Z"), "lastHeartbeatRecv" : ISODate("2014-02-25T02:17:39Z"), "pingMs" : 1, "syncingTo" : "test02:10001" } ], "ok" : 1 }
如果這時(shí)候把primary節(jié)點(diǎn)停掉,在secondary節(jié)點(diǎn)執(zhí)行寫操作,就會(huì)發(fā)生如下錯(cuò)誤提示:
myrepl:SECONDARY> db.test.insert({name : "baobao"});
not master
如果只有2臺(tái)Mongodb,配置復(fù)制集群還不夠安全,需要1個(gè)外在角色調(diào)整各個(gè)節(jié)點(diǎn)的角色。
(1)standard:常規(guī)節(jié)點(diǎn),存儲(chǔ)一份完整的數(shù)據(jù)副本,參與選舉投票,可能稱為活躍節(jié)點(diǎn)。
(2)passive:存儲(chǔ)完整的數(shù)據(jù)副本,參與投票,不能成為活躍節(jié)點(diǎn)。
(3)arbiter:仲裁者只負(fù)責(zé)投票,不接受復(fù)制數(shù)據(jù),也不能成為活躍節(jié)點(diǎn)。
當(dāng)Primary宕掉后,可以通過Arbiter在Secodarys中選舉一個(gè)Primary節(jié)點(diǎn),避免單點(diǎn)故障。
可以增加一個(gè)仲裁節(jié)點(diǎn),只負(fù)責(zé)仲裁,不做數(shù)據(jù)存儲(chǔ)。
mongod --fork --dbpath /data/node1 --logpath /data/mongodb.log --port 10003 --logappend --replSet myrepl/test02:10001,test03:10002 myrepl:PRIMARY> rs.addArb("test01:10003"); { "ok" : 1 }
查看各節(jié)點(diǎn)的狀態(tài):
myrepl:PRIMARY> rs.status(); { "set" : "myrepl", "date" : ISODate("2014-02-25T02:30:26Z"), "myState" : 1, "members" : [ { "_id" : 0, "name" : "test02:10001", "health" : 1, "state" : 1, "stateStr" : "PRIMARY", "uptime" : 1735, "optime" : Timestamp(1393295409, 1), "optimeDate" : ISODate("2014-02-25T02:30:09Z"), "self" : true }, { "_id" : 1, "name" : "test03:10002", "health" : 1, "state" : 2, "stateStr" : "SECONDARY", "uptime" : 204, "optime" : Timestamp(1393295409, 1), "optimeDate" : ISODate("2014-02-25T02:30:09Z"), "lastHeartbeat" : ISODate("2014-02-25T02:30:26Z"), "lastHeartbeatRecv" : ISODate("2014-02-25T02:30:24Z"), "pingMs" : 1, "syncingTo" : "test02:10001" }, { "_id" : 2, "name" : "test01:10003", "health" : 1, "state" : 6, "stateStr" : "UNKNOWN", "uptime" : 17, "lastHeartbeat" : ISODate("2014-02-25T02:30:25Z"), "lastHeartbeatRecv" : ISODate("1970-01-01T00:00:00Z"), "pingMs" : 1, "lastHeartbeatMessage" : "still initializing" } ], "ok" : 1 }
對(duì)比三個(gè)節(jié)點(diǎn)對(duì)自身節(jié)點(diǎn)性質(zhì)的判斷:
myrepl:PRIMARY> db.isMaster(); { "setName" : "myrepl", "ismaster" : true, "secondary" : false, "hosts" : [ "test03:10002", "test02:10001" ], "arbiters" : [ "test01:10003" ], "primary" : "test03:10002", "me" : "test03:10002", "maxBsonObjectSize" : 16777216, "maxMessageSizeBytes" : 48000000, "localTime" : ISODate("2014-02-25T02:32:29.760Z"), "ok" : 1 } myrepl:SECONDARY> db.isMaster(); { "setName" : "myrepl", "ismaster" : false, "secondary" : true, "hosts" : [ "test02:10001", "test03:10002" ], "arbiters" : [ "test01:10003" ], "primary" : "test03:10002", "me" : "test02:10001", "maxBsonObjectSize" : 16777216, "maxMessageSizeBytes" : 48000000, "localTime" : ISODate("2014-02-25T02:33:50.144Z"), "ok" : 1 } myrepl:SECONDARY> db.isMaster(); { "setName" : "myrepl", "ismaster" : false, "secondary" : true, "hosts" : [ "test02:10001", "test03:10002" ], "arbiters" : [ "test01:10003" ], "primary" : "test03:10002", "me" : "test02:10001", "maxBsonObjectSize" : 16777216, "maxMessageSizeBytes" : 48000000, "localTime" : ISODate("2014-02-25T02:33:50.144Z"), "ok" : 1 }
在節(jié)點(diǎn)配置中修改priority鍵,來配置成標(biāo)準(zhǔn)節(jié)點(diǎn)或者被動(dòng)節(jié)點(diǎn)。
默認(rèn)優(yōu)先級(jí)為1,可以是0~1000.
"arbiterOnly"鍵可以指定仲裁節(jié)點(diǎn)。
備份節(jié)點(diǎn)會(huì)從活躍節(jié)點(diǎn)抽取oplog,并執(zhí)行操作,就像活躍備份系統(tǒng)中的備份服務(wù)器一樣。活躍節(jié)點(diǎn)也會(huì)寫操作到自己的本地oplog,這樣就能成為活躍節(jié)點(diǎn)了。oplog中的操作也包括嚴(yán)格遞增的序號(hào)。通過序號(hào)判斷數(shù)據(jù)的時(shí)效性。
2.1 故障切換和活躍節(jié)點(diǎn)的選舉
如果活躍節(jié)點(diǎn)壞了,其他節(jié)點(diǎn)會(huì)選一個(gè)新的活躍節(jié)點(diǎn)。新的活躍節(jié)點(diǎn)由副本集中的大多數(shù)選舉出來。仲裁節(jié)點(diǎn)只負(fù)責(zé)投票,避免出現(xiàn)僵局。新的節(jié)點(diǎn)是優(yōu)先級(jí)最高的節(jié)點(diǎn)。
活躍節(jié)點(diǎn)使用心跳來跟蹤集群中多少節(jié)點(diǎn)對(duì)其可見,如果不超過半數(shù),則活躍節(jié)點(diǎn)自動(dòng)降為備份節(jié)點(diǎn)。可以防止活躍節(jié)點(diǎn)一直不放權(quán)。
無論活躍節(jié)點(diǎn)何時(shí)變化,新活躍節(jié)點(diǎn)的數(shù)據(jù)被假定為系統(tǒng)的最新數(shù)據(jù)。其他節(jié)點(diǎn)的操作都會(huì)回滾,所有節(jié)點(diǎn)連接新的活躍節(jié)點(diǎn)后要重新同步。這些節(jié)點(diǎn)會(huì)查看自己的oplog,找出其中活躍節(jié)點(diǎn)沒有執(zhí)行過的操作,然后向活躍節(jié)點(diǎn)請(qǐng)求這些操作影響的文檔的最新副本。
正在執(zhí)行重新同步的節(jié)點(diǎn)被視為恢復(fù)中,在完成這個(gè)過程前,不能成為活躍節(jié)點(diǎn)候選者。
2.2 關(guān)于副本集replSet的配置我們文后會(huì)附帶詳細(xì)地講。
3.在從服務(wù)器上執(zhí)行操作
從節(jié)點(diǎn)的主要作用是作為故障恢復(fù)機(jī)制,以防止主節(jié)點(diǎn)數(shù)據(jù)丟失或者停止服務(wù)。
可以在從節(jié)點(diǎn)做備份的數(shù)據(jù)源。也可以用來擴(kuò)展讀取性能,或者進(jìn)行數(shù)據(jù)處理。
3.1 讀擴(kuò)展
用MongoDB擴(kuò)展讀取的一種方式就是將查詢放在從節(jié)點(diǎn)上,減輕主節(jié)點(diǎn)的負(fù)載。當(dāng)負(fù)載是讀密集型時(shí)這樣非常不錯(cuò)。當(dāng)是寫密集型時(shí),需要用自動(dòng)分片來擴(kuò)展。
使用從節(jié)點(diǎn)來擴(kuò)展MongoDB的讀取有個(gè)要點(diǎn),就是數(shù)據(jù)復(fù)制并不同步,就是在主節(jié)點(diǎn)插入或更新數(shù)據(jù)口,有片刻從節(jié)點(diǎn)的數(shù)據(jù)不是最新的。
擴(kuò)展讀取需要打開一個(gè)特殊選項(xiàng)slaveOkey,告訴從服務(wù)器是否可以處理請(qǐng)求。
如果直接在secondary上操作,會(huì)發(fā)生如下錯(cuò)誤:
myrepl:SECONDARY> db.test.find(); error: { "$err" : "not master and slaveOk=false", "code" : 13435 }
需要告知Mongodb集群,從哪臺(tái)機(jī)器上進(jìn)行讀操作:
myrepl:SECONDARY> rs.slaveOk(); myrepl:SECONDARY> db.test.find(); { "_id" : ObjectId("530bfc79eee2c2ce39f9cd95"), "name" : "caoqing" } { "_id" : ObjectId("530bfd8f3627cb16c15dcb32"), "name" : "xiaobao" }
3.2 用從節(jié)點(diǎn)做數(shù)據(jù)處理
從節(jié)點(diǎn)的另外一個(gè)服務(wù)就是作為一種機(jī)制來減輕密集型處理的負(fù)載,或作為聚合,避免影響主節(jié)點(diǎn)的性能。用--master啟動(dòng)一個(gè)普通的從節(jié)點(diǎn),同時(shí)使用--master和--slave矛盾。這意味著如果能對(duì)從節(jié)點(diǎn)進(jìn)行寫入,像平常一樣查詢,就把它作為一個(gè)主節(jié)點(diǎn)。從節(jié)點(diǎn)還是會(huì)不斷的從主節(jié)點(diǎn)復(fù)制數(shù)據(jù)。這樣就可以對(duì)從節(jié)點(diǎn)執(zhí)行阻塞操作而不影響主節(jié)點(diǎn)的性能。
從節(jié)點(diǎn)第一次啟動(dòng)時(shí)不能有正在復(fù)制的數(shù)據(jù)庫,如果有,數(shù)據(jù)庫就不能完成同步,只能更新。
用這種技術(shù)要保證不能對(duì)正在復(fù)制主節(jié)點(diǎn)數(shù)據(jù)的從節(jié)點(diǎn)上的數(shù)據(jù)庫執(zhí)行寫入。從節(jié)點(diǎn)不能恢復(fù)這些操作,就不能正確的映射主節(jié)點(diǎn)。
4.工作原理
MongoDB的復(fù)制至少需要兩臺(tái)服務(wù)器或者節(jié)點(diǎn),其中一個(gè)主節(jié)點(diǎn),負(fù)責(zé)處理客戶端請(qǐng)求,其他的都是從節(jié)點(diǎn),負(fù)責(zé)映射主節(jié)點(diǎn)的數(shù)據(jù)。主節(jié)點(diǎn)記錄在其上的所有操作。
從節(jié)點(diǎn)定期輪詢主節(jié)點(diǎn)獲取這些操作,然后對(duì)數(shù)據(jù)副本執(zhí)行這些操作。由于和主節(jié)點(diǎn)執(zhí)行了相同的操作,從節(jié)點(diǎn)就能保持和主節(jié)點(diǎn)的數(shù)據(jù)同步。
4.1 oplog
主節(jié)點(diǎn)的操作記錄成為polog(operation log)。oplog存儲(chǔ)在一個(gè)特殊的數(shù)據(jù)庫里,成為local。oplog就在其中的oplog.$main集合里面。oplog的每個(gè)文檔都代表主節(jié)點(diǎn)執(zhí)行的一個(gè)操作。
myrepl:PRIMARY> db.oplog.$main.help();
查看oplog的內(nèi)容:
myrepl:PRIMARY> use local; switched to db local myrepl:PRIMARY> show collections; me oplog.rs replset.minvalid slaves startup_log system.indexes system.replset myrepl:PRIMARY> db.oplog.rs.find(); { "ts" : Timestamp(1393294283, 1), "h" : NumberLong(0), "v" : 2, "op" : "n", "ns" : "", "o" : { "msg" : "initiating set" } } { "ts" : Timestamp(1393294457, 1), "h" : NumberLong("-8949844291534979055"), "v" : 2, "op" : "i", "ns" : "test.test", "o" : { "_id" : ObjectId("530bfc79eee2c2ce39f9cd95"), "name" : "caoqing" } } { "ts" : Timestamp(1393294735, 1), "h" : NumberLong("677282438107403253"), "v" : 2, "op" : "i", "ns" : "test.test", "o" : { "_id" : ObjectId("530bfd8f3627cb16c15dcb32"), "name" : "xiaobao" } } { "ts" : Timestamp(1393295409, 1), "h" : NumberLong("5171944912929102944"), "v" : 2, "op" : "n", "ns" : "", "o" : { "msg" : "Reconfig set", "version" : 2 } } myrepl:PRIMARY>
文檔包含的鍵如下:
(1)ts 操作的時(shí)間戳。時(shí)間戳是一種內(nèi)部類型,用于跟蹤操作執(zhí)行的時(shí)間。有4字節(jié)的時(shí)間戳和4字節(jié)的遞增計(jì)數(shù)器構(gòu)成。
(2)op 操作類型,只有1字節(jié)代碼。
(3)ns 執(zhí)行操作的命名空間。
(4)o 進(jìn)一步指定要執(zhí)行操作的文檔。
oplog只記錄改變數(shù)據(jù)庫狀態(tài)的操作。oplog只是作為從節(jié)點(diǎn)和主節(jié)點(diǎn)保持?jǐn)?shù)據(jù)同步的機(jī)制。
存儲(chǔ)在oplog里的操作不是完全和主節(jié)點(diǎn)的操作一模一樣的。這些操作在存儲(chǔ)之前先做等冪變換,這些操作可以在從服務(wù)器端多次執(zhí)行,只要順序是對(duì)的,就不會(huì)有問題。
oplog在固定集合中,不能保證oplog不超過預(yù)先設(shè)定的大小。需要在創(chuàng)建mongodb服務(wù)時(shí)指定--oplogSize,參數(shù)指定oplog的大小。
一般64bit-linux,分配5%的剩余空間,單位為MB。
4.2 同步
從節(jié)點(diǎn)第一次啟動(dòng)時(shí),會(huì)對(duì)主節(jié)點(diǎn)數(shù)據(jù)進(jìn)行完整的同步。從節(jié)點(diǎn)復(fù)制主節(jié)點(diǎn)上的每一個(gè)數(shù)據(jù),耗費(fèi)資源大。同步完成后,從節(jié)點(diǎn)查詢主節(jié)點(diǎn)的oplog,并執(zhí)行這些操作,保證數(shù)據(jù)是最新的。
如果從節(jié)點(diǎn)的操作被主節(jié)點(diǎn)落下太遠(yuǎn)了,從節(jié)點(diǎn)就跟不上同步了,從節(jié)點(diǎn)發(fā)生宕機(jī)或者疲于應(yīng)付讀取時(shí),就會(huì)出現(xiàn)這種情況,也會(huì)在執(zhí)行完完整同步后出現(xiàn)這種情況,因?yàn)閛plog可能已經(jīng)回滾一圈了。
從節(jié)點(diǎn)跟不上同步后,復(fù)制就會(huì)停下,從節(jié)點(diǎn)需要重新做完整的同步。可以用{"resync" : 1}命令手動(dòng)執(zhí)行同步,也可以在啟動(dòng)從節(jié)點(diǎn)是使用--autoresync選項(xiàng)讓其自動(dòng)同步。重新同步代價(jià)高昂,盡量避免,方法就是配置足夠大的oplog。
4.3 復(fù)制狀態(tài)和本地?cái)?shù)據(jù)庫
本地?cái)?shù)據(jù)庫用來存放所有內(nèi)部復(fù)制狀態(tài),主節(jié)點(diǎn)和從節(jié)點(diǎn)都有。本地?cái)?shù)據(jù)就是local,其內(nèi)容不會(huì)被復(fù)制。可以確保一盒MongoDB數(shù)據(jù)庫只有一個(gè)本地?cái)?shù)據(jù)庫。
本地?cái)?shù)據(jù)庫不限于存放MongoDB的內(nèi)部狀態(tài)。如果有不想復(fù)制的文檔,也可以放在本地?cái)?shù)據(jù)庫的集合里。
主節(jié)點(diǎn)上的復(fù)制狀態(tài)還包括從節(jié)點(diǎn)上的列表。這個(gè)列表存放在slaves集合中:
myrepl:PRIMARY> db.slaves.find(); { "_id" : ObjectId("530bfbdc911eb0ac3bf2aa8b"), "config" : { "_id" : 1, "host" : "test03:10002" }, "ns" : "local.oplog.rs", "syncedTo" : Timestamp(1393295409, 1) }
從節(jié)點(diǎn)也在本地?cái)?shù)據(jù)庫中存放狀態(tài)。在me集合中存放從節(jié)點(diǎn)的唯一標(biāo)識(shí)符,在sources集合中存放源或節(jié)點(diǎn)的列表。
myrepl:SECONDARY> db.me.find(); { "_id" : ObjectId("530bfbdc911eb0ac3bf2aa8b"), "host" : "test03" }
主節(jié)點(diǎn)和從節(jié)點(diǎn)都跟蹤從節(jié)點(diǎn)的更新狀況,這個(gè)是通過存放在"syncedTO"中的時(shí)間戳來完成的。
4.4 阻塞復(fù)制
開發(fā)者可以使用getLastrror的'w'參數(shù)來確保數(shù)據(jù)的同步性。運(yùn)行g(shù)etLastError會(huì)進(jìn)入阻塞狀態(tài),直到N個(gè)服務(wù)器復(fù)制了最新的寫入操作為止。
檢查本連接的上一次數(shù)據(jù)庫操作的錯(cuò)誤。
myrepl:PRIMARY> db.runCommand("getlasterror") { "n" : 0, "lastOp" : Timestamp(0, 0), "connectionId" : 3525, "err" : null, "ok" : 1 }
指定"w"選項(xiàng)后,可以使用"wtimeout"選項(xiàng),表示以毫秒為單位的超時(shí)。
阻塞復(fù)制會(huì)導(dǎo)致寫操作明顯變慢,尤其是"w"的值比較大時(shí)。
5.管理
5.1 管理
MongoDB包含很多有用的管理工具,用以查看復(fù)制的狀態(tài)。
通過
db.printReplicationInfo()
命令查看oplog狀態(tài)。
myrepl:PRIMARY> db.printReplicationInfo(); configured oplog size: 997.7892578125001MB log length start to end: 1126secs (0.31hrs) oplog first event time: Tue Feb 25 2014 10:11:23 GMT+0800 (CST) oplog last event time: Tue Feb 25 2014 10:30:09 GMT+0800 (CST) now: Wed Feb 26 2014 02:07:23 GMT+0800 (CST)
輸出信息包括oplog日志的大小,操作日志記錄的起始時(shí)間。
查看從庫同步狀態(tài)。
myrepl:PRIMARY> db.printSlaveReplicationInfo(); source: test03:10002 syncedTo: Tue Feb 25 2014 10:30:09 GMT+0800 (CST) = 56533 secs ago (15.7hrs) source: test01:10003 no replication info, yet. State: ARBITER
輸出信息包括從庫的主機(jī)名,port信息等。
5.2 變更oplog的大小
如果發(fā)現(xiàn)oplog大小不合適,最簡(jiǎn)單的方法就是停掉主節(jié)點(diǎn),刪除local數(shù)據(jù)庫的文件,用心的設(shè)置重新啟動(dòng)。
# rm -rf /data/node2/local*
為大型的oplog預(yù)分配空間非常耗費(fèi)時(shí)間,且可能導(dǎo)致主節(jié)點(diǎn)停機(jī)時(shí)間增加,盡可能的手動(dòng)預(yù)分配數(shù)據(jù)文件。
5.3 復(fù)制的認(rèn)證問題
如果在復(fù)制中使用了認(rèn)證,還需要做些配置,使得從節(jié)點(diǎn)可以訪問俄主節(jié)點(diǎn)的數(shù)據(jù)。在主節(jié)點(diǎn)和從節(jié)點(diǎn)都需要在本地?cái)?shù)據(jù)庫增加用戶,每個(gè)節(jié)點(diǎn)的用戶名和口令相同。
從節(jié)點(diǎn)連接到主節(jié)點(diǎn)是,會(huì)用存儲(chǔ)在local.system.users中的用戶認(rèn)證。最先嘗試"repl"用戶,如果沒有,則用local.system.users中的第一個(gè)可用用戶。
PS:副本集replSet具體配置
1.MongoDB:創(chuàng)建Replica Set
1.1 分別啟動(dòng)兩臺(tái)mongodb數(shù)據(jù)庫
mongod --fork --dbpath /data/node2 --logpath /data/mongodb.log --port 10001 --logappend --replSet myrepl/test03:10002 mongod --fork --dbpath /data/node3 --logpath /data/mongodb.log --port 10002 --logappend --replSet myrepl/test02:10001
1.2 初始化副本集
config = {"_id" : "myrepl", "members" : [ {"_id" : 0, "host" : "test02:10001"}, {"_id" : 1, "host" : "test03:10002"} ]} rs.initiate(config); rs.status(); myrepl:SECONDARY> rs.status(); { "set" : "myrepl", "date" : ISODate("2014-02-25T02:17:39Z"), "myState" : 2, "syncingTo" : "test03:10002", "members" : [ { "_id" : 0, "name" : "test02:10001", "health" : 1, "state" : 2, "stateStr" : "SECONDARY", "uptime" : 968, "optime" : Timestamp(1393294457, 1), "optimeDate" : ISODate("2014-02-25T02:14:17Z"), "errmsg" : "syncing to: test03:10002", "self" : true }, { "_id" : 1, "name" : "test03:10002", "health" : 1, "state" : 1, "stateStr" : "PRIMARY", "uptime" : 48, "optime" : Timestamp(1393294457, 1), "optimeDate" : ISODate("2014-02-25T02:14:17Z"), "lastHeartbeat" : ISODate("2014-02-25T02:17:38Z"), "lastHeartbeatRecv" : ISODate("2014-02-25T02:17:39Z"), "pingMs" : 1, "syncingTo" : "test02:10001" } ], "ok" : 1 }
1.3 增加一個(gè)仲裁節(jié)點(diǎn),只負(fù)責(zé)仲裁,不做數(shù)據(jù)存儲(chǔ)。
mongod --fork --dbpath /data/node1 --logpath /data/mongodb.log --port 10003 --logappend --replSet myrepl/test02:10001,test03:10002 myrepl:PRIMARY> rs.addArb("test01:10003"); { "ok" : 1 }
2 MongoDB:Replica Set 增加節(jié)點(diǎn)
2.1 現(xiàn)有環(huán)境:
myrepl:PRIMARY> rs.conf(); { "_id" : "myrepl", "version" : 2, "members" : [ { "_id" : 0, "host" : "test02:10001" }, { "_id" : 1, "host" : "test03:10002" }, { "_id" : 2, "host" : "test01:10003", "arbiterOnly" : true } ] }
現(xiàn)有三個(gè)節(jié)點(diǎn),兩臺(tái)standard節(jié)點(diǎn),一臺(tái)arbiter節(jié)點(diǎn)。
2.2 增加節(jié)點(diǎn)
2.2.1 創(chuàng)建數(shù)據(jù)目錄和日志文件:
mkdir -p /data/node/ touch /data/mongodb.log
2.2.2 安裝mongodb:
tar zxf mongodb-linux-x86_64-2.4.9.tgz mv mongodb-linux-x86_64-2.4.9 /opt/mongodb echo "export PATH=$PATH:/opt/mongodb/bin" >>/etc/profile source /etc/profile mongod --config ~/.mongodb.conf
2.2.3 創(chuàng)建新從節(jié)點(diǎn)配置文件:
cat >> ~/.mongodb.conf <<EOF fork = ture port = 10005 dbpath = /data/node logpath = /data/mongodb.log logappend = true replSet = myrepl EOF
cat /etc/sysconfig/network cat >> /etc/hosts << EOF 192.168.27.214 test01 192.168.27.212 test02 192.168.27.213 test03 192.168.27.215 test04 192.168.27.216 test05 EOF
myrepl:PRIMARY> rs.isMaster(); { "setName" : "myrepl", "ismaster" : true, "secondary" : false, "hosts" : [ "test02:10001", "test03:10002" ], "arbiters" : [ "test01:10003" ], "primary" : "test02:10001", "me" : "test02:10001", "maxBsonObjectSize" : 16777216, "maxMessageSizeBytes" : 48000000, "localTime" : ISODate("2014-02-25T19:23:22.286Z"), "ok" : 1 }
2.2.6 增加新從節(jié)點(diǎn)到replSet
myrepl:PRIMARY> rs.add("192.168.27.215:10004"); # 增加arbiter節(jié)點(diǎn)的方法:myrepl:PRIMARY> rs.addArb("test01:10003");
2.2.7 再次查看Replica Set狀態(tài)信息
myrepl:PRIMARY> rs.conf(); { "_id" : "myrepl", "version" : 3, "members" : [ { "_id" : 0, "host" : "test02:10001" }, { "_id" : 1, "host" : "test03:10002" }, { "_id" : 2, "host" : "test01:10003", "arbiterOnly" : true }, { "_id" : 3, "host" : "192.168.27.215:10004" } ] }
3. 測(cè)試
3.1 主節(jié)點(diǎn)插入數(shù)據(jù)
myrepl:PRIMARY> db.test.insert({"name" : "xiaohuan", "age" : 30});
3.2 從節(jié)點(diǎn)查詢數(shù)據(jù)
myrepl:SECONDARY> rs.slaveOk();
myrepl:SECONDARY> db.test.find();
{ "_id" : ObjectId("530bfc79eee2c2ce39f9cd95"), "name" : "caoqing" }
{ "_id" : ObjectId("530bfd8f3627cb16c15dcb32"), "name" : "xiaobao" }
{ "_id" : ObjectId("530ceed64770e9f00a279900"), "name" : "xiaohuan", "age" : 30 }
4. 把standard節(jié)點(diǎn)變?yōu)閜assive節(jié)點(diǎn)
myrepl:PRIMARY> cfg = rs.conf() { "_id" : "myrepl", "version" : 3, "members" : [ { "_id" : 0, "host" : "test02:10001" }, { "_id" : 1, "host" : "test03:10002" }, { "_id" : 2, "host" : "test01:10003", "arbiterOnly" : true }, { "_id" : 3, "host" : "192.168.27.215:10004" } ] } myrepl:PRIMARY> cfg.members[3].priority = 0; myrepl:PRIMARY> rs.reconfig(cfg); myrepl:PRIMARY> rs.conf(); { "_id" : "myrepl", "version" : 4, "members" : [ { "_id" : 0, "host" : "test02:10001" }, { "_id" : 1, "host" : "test03:10002" }, { "_id" : 2, "host" : "test01:10003", "arbiterOnly" : true }, { "_id" : 3, "host" : "192.168.27.215:10004", "priority" : 0 } ] }