docker 搭建 mongo 集群

一. 準(zhǔn)備工作

注意

  1. docker 通過 unix socket 通信，需要sudo權(quán)限, 每次操作 docker 都需要在命令行前添加 sudo，比較煩，官方給出了方法。安裝 docker 是會(huì)創(chuàng)建docker用戶組，也擁有unix socker讀寫權(quán)限，將當(dāng)前用戶添加至docker用戶組，即可免除命令行前添加sudo。參考
  2. 容器間默認(rèn)通過網(wǎng)橋連接內(nèi)外部網(wǎng)絡(luò)，主機(jī)需要允許網(wǎng)卡轉(zhuǎn)發(fā)
  3. docker 網(wǎng)橋默認(rèn)網(wǎng)段為 172.17.42.1/16 ，公司vpn默認(rèn)對網(wǎng)段
    172.17.0.0/20 路由，會(huì)覆蓋docker網(wǎng)段，導(dǎo)致容器無法與外部網(wǎng)絡(luò)通信，修改/etc/default/docker，添加 DOCKER_OPTS="--bip=192.168.1.0/20"，這里網(wǎng)段是容器間的內(nèi)部網(wǎng)絡(luò)，可以自行修改，改到滿意。
  4. 國內(nèi)使用官方鏡像比較慢，建議使用國內(nèi)第三方鏡像加速。如：DaoCloud，阿里云

二. 實(shí)驗(yàn)

(一) 主從模式

  • 準(zhǔn)備工作
    1. 創(chuàng)建db目錄 mkdir -p /data/mongodbtest/master /data/mongodbtest/slaver
    2. `docker-compose.yml內(nèi)容如下： 
       version: '2'
 services:
   master:
     image: mongo:latest
     volumes:
       - /data/mongodbtest/master:/data/db
     command: mongod --dbpath /data/db  --master
   slaver:
     image: mongo:latest
     volumes:
       - /data/mongodbtest/slaver:/data/db
     command: mongod --dbpath /data/db --slave --source master:27017
     links:
      - master
  • 啟動(dòng)容器docker-compose up -d

注: docker-compose會(huì)默認(rèn)將文件夾名字作為容器名的前綴, 我的文件夾為masterslave，容器明分別為 masterslave_master_1 和 masterslave_slave_1

  • 驗(yàn)證
    在master中插入一條記錄： 
    $ docker-compose exec master mongo
$ use test
$ db.test.insert({msg: "from master", ts: new Date()})
    查看slave中的數(shù)據(jù)，執(zhí)行 
    $ docker-compose exec slaver mongo
$ rs.slaveOk()
$ use test
$ db.test.find()
$ db.test.insert({msg: 'from slaver', ts: new Date()})  // 報(bào)錯(cuò), slaver只有讀權(quán)限
$ db.printReplicationInfo()  // 查看slave服務(wù)信息
    測試故障轉(zhuǎn)移：首先，關(guān)閉master，docker-compose stop master；其次，重新連接 slave，查看服務(wù)信息，插入數(shù)據(jù)。如下： 
    $ docker-compose exec slaver mongo
$ db.printReplicationInfo() //依然是slave, 沒有自動(dòng)切換為master
$ use test
$ db.testData.insert({msg: "from slave", ts: new Date()}) //插入失敗
  • 總結(jié)
    簡單的 master-slave 模型僅僅做了一個(gè)數(shù)據(jù)復(fù)制，而且并不可靠，master 掛了整體將無法進(jìn)行寫操作

(二) 副本集(Relica set)

三實(shí)例

1主 + 2次要
  • 準(zhǔn)備工作

  1. 創(chuàng)建db文件夾

     mkdir -p /data/mongodbtest/replset/rs1 /data/mongodbtest/replset/rs2 /data/mongodbtest/replset/rs2

  2. docker-compose.yml

     version: '3'
 services:
   rs1:
     image: mongo:latest
     volumes:
       - /data/mongodbtest/replset/rs1:/data/db
     command: mongod --dbpath /data/db --replSet myset
   rs2:
     image: mongo:latest
     volumes:
       - /data/mongodbtest/replset/rs2:/data/db
     command: mongod --dbpath /data/db --replSet myset
   rs3:
     image: mongo:2.7.8
     volumes:
       - /data/mongodbtest/replset/rs3:/data/db
     command: mongod --dbpath /data/db --replSet myset

  • 初始化副本級

    docker-compose exec rs1 mongo
rs.initiate()
rs.add('rs2:27017')
rs.add('rs3:27017')
rs.conf() //查看配置
rs.status() //查看副本級狀態(tài)

  • 驗(yàn)證

    • 數(shù)據(jù)復(fù)制功能

      docker-compose exec rs1 mongo
use test
db.test.insert({msg: 'from primary', ts: new Date()})
quit()
docker-compose exec rs2 mongo
rs.slaveOk() //副本集默認(rèn)僅primary可讀寫
use test
db.test.find()
quit()
docker-compose exec rs3 mongo
rs.slaveOk() //副本集默認(rèn)僅primary可讀寫
use test
db.test.find()
quit()

    • 故障轉(zhuǎn)移功能
      副本集在 primary 掛掉以后，可以在 secondary 中選取出新的 primary

      docker-compose stop rs1

      登錄 rs2/rs3 中查看可以看到，選出了新的 primary ，這時(shí)候我們重新啟動(dòng) rs1，它成為了 secondary

      docker-compose start rs1
docker-compose exec rs1 mongo

  • 總結(jié)
    通過客戶端的設(shè)置, 可以進(jìn)行主副節(jié)點(diǎn)讀寫分離:
    a). primary:默認(rèn)參數(shù), 只從主節(jié)點(diǎn)上進(jìn)行讀取操作;
    b). primaryPreferred:大部分從主節(jié)點(diǎn)上讀取數(shù)據(jù), 只有主節(jié)點(diǎn)不可用時(shí)從secondary節(jié)點(diǎn)讀取數(shù)據(jù);
    c). secondary:只從secondary節(jié)點(diǎn)上進(jìn)行讀取操作, 存在的問題是secondary節(jié)點(diǎn)的數(shù)據(jù)會(huì)比primary節(jié)點(diǎn)數(shù)據(jù)"舊";
    d). secondaryPreferred:優(yōu)先從secondary節(jié)點(diǎn)進(jìn)行讀取操作, secondary節(jié)點(diǎn)不可用時(shí)從主節(jié)點(diǎn)讀取數(shù)據(jù);
    e). nearest:不管是主節(jié)點(diǎn),secondary節(jié)點(diǎn), 從網(wǎng)絡(luò)延遲最低的節(jié)點(diǎn)上讀取數(shù)據(jù).
    副節(jié)點(diǎn)不是越多越好, 因?yàn)橐鞴?jié)點(diǎn)做寫操作, 其他副節(jié)點(diǎn)從主節(jié)點(diǎn)復(fù)制數(shù)據(jù), 副節(jié)點(diǎn)越多, 主節(jié)點(diǎn)壓力越大.

1主 + 1副 + 1仲裁

  • 準(zhǔn)備工作

    1. 刪除 /data/mongodbtest/replset/rs[1-3]/ 下的內(nèi)容

    2. docker-compose.yml

      version: '3'
services:
  rs1:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/replset/rs1:/data/db
    command: mongod --dbpath /data/db --replSet myset --oplogSize 128
  secondary:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/replset/rs2:/data/db
    command: mongod --dbpath /data/db --replSet myset --oplogSize 128
  arbiter:
    image: mongo:latest
    command: mongod --dbpath /data/db --replSet myset --smallfiles --oplogSize 128

  • 啟動(dòng)

    docker-compose up -d

  • 初始化副本級

    mongo rs1:27017  
rs.initiate()
rs.add('rs2:27017')
rs.add('rs3:27017', true) // arbiter only
rs.conf() //查看配置
rs.status() //查看副本級狀態(tài)

  • 驗(yàn)證(同上)

  • 總結(jié)
    每個(gè)副本集對主節(jié)點(diǎn)都是全量拷貝, 數(shù)量壓力增大的時(shí)候, 節(jié)點(diǎn)壓力隨之變大. 無法自動(dòng)擴(kuò)張.

限制

在官方文檔中提到了副本集的一些限制:

  • 副本集最多有50個(gè)成員
  • 可以投票的成員最多7個(gè)
  • 如果啟動(dòng) mongod 的時(shí)候沒有通過 --oplogSize 制定 oplog 的大小，默認(rèn) oplog 最大為 50G

分片


MongoDB 提供了水平擴(kuò)展的功能，其 Sharding 機(jī)制使其具備了支撐大數(shù)據(jù)量和大吞吐量的能力。
在一個(gè) Sharding 集群中，有下面三種角色：

  • shard: 每個(gè) shard 存儲整個(gè) sharding 集群數(shù)據(jù)的一個(gè)子集，每一個(gè) shard 都是一個(gè) replset
  • mongos: 查詢路由，客戶端通過其從 shard 中查詢數(shù)據(jù)，也可以理解為 proxy
  • config servers: 配置服務(wù)器，存儲整個(gè) sharding 集群的元數(shù)據(jù)和配置。

MongoDB 3.4 起，要求 config servers 也是 replset。
MongoDB 提供兩種分片策略：hash sharding 和 range sharding，需要根據(jù)自己的業(yè)務(wù)特征和數(shù)據(jù)特征進(jìn)行選擇。

測試版

  • 環(huán)境
    1 config servers(csrs) + 1 mongos + 1shard(1primary + 1secondary + 1arbiter)

  • 準(zhǔn)備工作

    1. 創(chuàng)建文件夾

      mkdir -p /data/mongodbtest/cs/rs1 /data/mongodbtest/cs/rs2 /data/mongodbtest/cs/rs3 # for config server replset
mkdir -p /data/mongodbtest/sh/rs1 /data/mongodbtest/sh/rs2 /data/mongodbtest/sh/rs3 # for sharding 1
mkdir -p /data/mongodbtest/mongos

    2. keyfile
      MongoDB 規(guī)定 sharding 集群內(nèi)部必須有授權(quán)機(jī)制，比如 mongos 去訪問 config server的時(shí)候，我們這里通過key

    3. docker-compose.yml

      version: '3'
services:
  csrs1:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/cs/rs1:/data/db
    command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db
  csrs2:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/cs/rs2:/data/db
    command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db
  csrs3:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/cs/rs3:/data/db
    command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db
  mongos:
    image: mongo:latest
    command: mongos --noauth --configdb csrs/csrs1:27019,csrs2:27019,csrs3:27019
  shrs1:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/sh/rs1:/data/db
    command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs
  shrs2:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/sh/rs2:/data/db
    command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs
  shrs3:
    image: mongo:latest
    volumes:
      - /data/mongodbtest/sh/rs3:/data/db
    command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs

  • 啟動(dòng) docker-compose up -d

  • 配置副本集

    1. 配置 config server

      docker-compose exec csrs1 mongo --port 27019
rs.initiate()

rs.add('csrs2:27019')
rs.add('csrs3:27019')
rs.status() //查看狀態(tài)
quit()

    config server 默認(rèn)端口為 27019

    1. 配置 shard server
      docker-compose exec shrs1 mongo --port 27018
      rs.initiate()
      var cfg = rs.conf()
      cfg.members[0].host = 'shrs1:27018'
      rs.reconfig(cfg)
      rs.add('shrs2:27018')
      rs.add('shrs3:27018')
      quit()

    'shard server' 默認(rèn)端口號為 27018

  • 配置 mongos

    docker-compose exec mongos mongo
sh.addShard('shrs/shrs1:27018')
sh.status() //查看狀態(tài)
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容