mongodb分布式集群架构

释放双眼,带上耳机,听听看~!

一、关于mongodb

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。

二、mongodb分布式应用原理

MongoDB集群包括一定数量的mongod(分片存储数据)、mongos(路由处理)、config server(配置节点)、clients(客户端)、arbiter(仲裁节点:为了选举某个分片存储数据节点那台为主节点)。

1、shards:一个shard为一组mongod,通常一组为两台,主从或互为主从,这一组mongod中的数据时相同的,具体可见《mongodb分布式之数据复制》。数据分割按有序分割方式,每个分片上的数据为某一范围的数据块,故可支持指定分片的范围查询,这同google的BigTable 类似。数据块有指定的最大容量,一旦某个数据块的容量增长到最大容量时,这个数据块会切分成为两块;当分片的数据过多时,数据块将被迁移到系统的其他分片中。另外,新的分片加入时,数据块也会迁移。

2、mongos:可以有多个,相当于一个控制中心,负责路由和协调操作,使得集群像一个整体的系统。mongos可以运行在任何一台服务器上,有些选择放在shards服务器上,也有放在client 服务器上的。mongos启动时需要从config servers上获取基本信息,然后接受client端的请求,路由到shards服务器上,然后整理返回的结果发回给client服务器。

3、config server:存储集群的信息,包括分片和块数据信息。主要存储块数据信息,每个config server上都有一份所有块数据信息的拷贝,以保证每台config server上的数据的一致性。

4、shard key:为了分割数据集,需要制定分片key的格式,类似于用于索引的key格式,通常由一个或多个字段组成以分发数据,比如:

{ name : 1 }

{ _id : 1 }

{ lastname : 1, firstname : 1 }

{ tag : 1, timestamp : -1 }

mongoDB的分片为有序存储(1为升序,-1为降序),shard key相邻的数据通常会存在同一台服务

(数据块)上。

三、mongodb分布式部署方式

服务器部署可以有多种方式。首先,每台config server、mongos、mongod都可以是单独的服务器,但这样会导致某些服务器的浪费,比如config server。下图为物理机共享的集群部署,不需要额外加机器。

当然也有其他的方案,比如把mongos部署在所有的mongod(server1-6)上,又或者在每个运用服务器(server7)上部署mongos。这样部署有个好处在于,appserver和mongos之间的通信建立在localhost interface上,减少了通信成本。当然,此乃官方说法,但本人有想法,尽管减少了appserver和mongos之间的通信成本,但mongos与mongod之间的通信成本却增加了,而且把mongos部署在appserver上并不是很利于sa管理,mongoDB应该是一个相对独立的系统,与应用的耦合度应该尽量降到最低,万一应用想要换数据库,也能多少减少些工作量。

四、mongodb分布式的安装

1、下载

wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.0.4.tgz

2、安装

tar zxvf mongodb-linux-2.0.4.tgz

cp -fr mongodb-linux-*2.0.4/* /data/mongodb/

mkdir -p /data/mongodb/data/ #创建数据存储目录

mkdir -p /data/mongodb/log/ #创建日志存储目录

mkdir -p /data/mongodb/config/ #创建配置存储目录

mkdir -p /data/mongodb/arbiter/ #创建仲裁节点存储目录

3、单机模式以及个参数说明

mongod –fork –bind_ip 127.0.0.1 –port 11811 –dbpath /data0/mongodb/data –directoryperdb –logpath /data0/mongodb/log/db1.log –logappend –nohttpinterface

netstat -ntlp|grep mongod

简单的参数说明:

–logpath 日志文件路径

–master 指定为主机器

–slave 指定为从机器

–source 指定主机器的IP地址

–pologSize 指定日志文件大小不超过64M.因为resync是非常操作量大且耗时,最好通过设置一个足够大的oplogSize来避免resync(默认的 oplog大小是空闲磁盘大小的5%)。

–logappend 日志文件末尾添加

–port 启用端口号

–fork 在后台运行

–only 指定只复制哪一个数据库

–slavedelay 指从复制检测的时间间隔

–auth 是否需要验证权限登录(用户名和密码)

–noauth 不需要验证权限登录(用户名和密码)

五、集群模式mongos,mongod,configsvr

1.Shard分片–

第一组分片

192.168.200.226:

/data/mongodb/bin/mongod –replSet rep1 –fork –port 11813 –maxConns 65535 –dbpath /data/mongodb/data –directoryperdb –logpath /data/mongodb/log/db.log –logappend –nohttpinterface

#启动
rep1分片的一个数据节点

/data/mongodb/bin/mongos –configdb 192.168.201.226:11812 –port 11811 –fork –chunkSize 256 –logpath /data/mongodb/log/ms.log
#启动路由节点,读取201.226上的配置节点的配置文件,(在配置节点启动后启动)

/data/mongodb/bin/mongod –replSet rep1 –fork –port 11814 –dbpath /data/mongodb/arbiter –directoryperdb –logpath /data/mongodb/log/arbiter.log –logappend –nohttpinterface

#启动分片的仲裁节点

192.168.201.226:

/data/mongodb/bin/mongod –replSet rep1 –fork –port 11813 –maxConns 65535 –dbpath /data/mongodb/data –directoryperdb –logpath /data/mongodb/log/db.log –logappend –nohttpinterface

#启动
rep1
分片的第二个数据节点

/data/mongodb/bin/mongos –configdb 192.168.201.226:11812 –port 11811 –fork –chunkSize 256 –logpath /data/mongodb/log/ms.log

#启动第二个路由节点
(在配置节点启动后启动)

2.ConfigServer—

#启动config server

192.168.201.226:

/data/mongodb/bin/mongod –configsvr –dbpath /data/mongodb/config –port 11812 –fork –logpath /data/mongodb/log/mc.log

#启动配置节点,注意配置节点应该优先启动,不然路由节点读取不到配置节点信息则会启动失败。

3.Mongos路由—

#启动mongos,指定config server, chunkSize 256M

192.168.201.226:

/data/mongodb/bin/mongos –configdb 192.168.201.226:11812 –port 11811 –fork –chunkSize 256 –logpath /data/mongodb/log/ms.log

#启动路由节点

由于机器有限,只配置了一个shard分片,该分片里有2个节点,新增加分片只需对应改replSet 名称即可。

4.配置replSet: 连接任一mongod members

mongo 192.168.201.226:11813

config = {_id: 'rep1', members: [

{_id: 0, host: '192.168.200.226:11813', priority: 2},
#priority 为定义优先级,默认为1,高优先级会被认为是主节点优先启用。

{_id: 1, host: '192.168.201.226:11813'},

{_id: 2, host: '192.168.200.226:11814', arbiterOnly: true}]

}

rs.initiate(config);

rs.status()

5.连接mongos增加shard 80G

mongo 192.168.201.226:11811/admin

show dbs

use admin

db.runCommand({addshard:'rep1/192.168.201.226:11813,192.168.200.226:11813',maxsize:81920})

db.runCommand({listshards:1})

6.连接mongos增加创建test库和c1集合,并测试

mongo 192.168.201.226:11811/admin

db.runCommand({enablesharding:'test'})

printShardingStatus()

db.runCommand({shardcollection:'test.auto_increment_id', key:{_id:1}, unique : true})

db.runCommand({shardcollection:'test.c1', key:{_id:1}, unique : true})

for (var
i =
1; i
<</SPAN>= 100; i++)db.c1.save({id:i,value1:"1234567890",value2:"1234567890",value3:"1234567890",value4:"1234567890"})

db.c1.stats()

db.createCollection("cap_coll", {capped:true, size:100000, max:100});

db.mycoll.validate();

7.检查: db.printCollectionStats()

8.管理: mongo 127.0.0.1:11811

show dbs

use admin

show collections

db.serverStatus()

db.shutdownServer()

exit

9.索引:

db.product_data.ensureIndex({data_id: 1}, {unique: true,dropDups: true});
#创建索引

db.product_data.dropIndexes();
#删除索引

至此,mongodb的分布式架构就架起来了,并且通过测试和log的分析,可看服务是否正常,下面就需要php客户端的支持,和程序的运行,之后加到监控里,就可以在线上部署使用了。

六、PHP的MongoDB拓展的安装

# wget http://pecl.php.net/get/mongo-1.2.6.tgz

# tar zxvf mongo-1.2.6.tgz

# cd mongo-1.2.6

# /usr/local/php5/bin/phpize

# ./configure
–enable-mongo=
share
–with-php-config=/usr/local/php5/bin/php-config

# make && make installl

PHP支持mongodb

将生成的拓展mongo.so文件添加到php.ini中,重启php-fpm,或者apache,然后查看下phpinfo()

请编辑php.ini文件。添加如下一行:

extension=
mongo.so

然后用php输出:phpinfo,就可以看到mongo的信息了。。这样就说明你安装成功的了!

**
**

七、
监控配置:

早在去年已经出现
MongoDB

Redis
的Cacti模板,使用它,你可以对你的MongoDB和Redis服务进行流量监控。cacti的模板一直在更新,若企业已经用到nosql这种非关系数据库如mongodb和redis。可按照以下教程,对mongodb和redis进行监控。

该模板可以监控以下资源:

**mongodb:
**

redis:

一、下载模板:

wget 链接地址

二、配置ssh公私钥无需密码登录:

因为cacti监控mongodb是需要登录到mongodb的服务端运行mongo的状态获取命令,所以需要ssh连接登录。

所以需要配置非交互式帐号密码登录。这里采用公私钥模式。

先在监控服务器生成一对公私钥。

ssh-keygen ##如果是root用户,生成的默认目录为/root/.ssh下2个文件
id_rsa(公钥) id_rsa.pub(私钥)

cd /root/.ssh/ && chmod 600 id_rsa*
把这2个文件修改权限,为600

ssh-copy-id -i /root/.ssh/id_rsa root@192.168.200.1
#加被监控节点公私钥认证


id_rsa.pub复制出来,放到被监控机器上,然后公钥的内容追加到需要被监控的主机也就是mongodb和redis的服务端。追加到
.ssh/authorized_keys

然后用ssh连接你所安装mongodb或者redis的服务端,如果不需输密码连接上。则正常。下面就可以开始添加监控文件了。

三、配置监控脚本:

mongodb或redis的监控所需到的是你下载目录中的better-cacti-templates-1.1.8\scripts下的

ss_get_by_ssh.php 这个脚本 这个脚本需要放在
cacti的服务端。

如果你cacti是装到/var/www/html/cacti/目录下。

把该文件放在其下面的scripts目录下。别忘了看下权限。要有执行权限。

然后修改该文件。主要修改一下选项,大概在40行。

# ============================================================================

$
ssh_user =
'root'; # SSH username

$
ssh_port =
22; # SSH port

$
ssh_iden =
'-i /root/.ssh/id_rsa'; # SSH identity

##修改根据你的配置,你的ssh连接用户,还有认证私钥的位置。

大该在50行,还可以修改其默认的去探测的端口(如果redis不是正常默认端口启动需要修改这些)。

$
memcache_port =
11211; # Which port memcached listens on

$
redis_port =
6379; # Which port redis listens on

如果是mongodb不是正常端口启动,则需要这样修改。找到以下字段,添加红色字段,这里注意mongo这个命令一定要找对。

function mongodb_cmdline ( $options ) {

return “echo \”db._adminCommand({serverStatus:1, repl:1})\” |
/usr/local/mongo/mongodb/bin/mongo –port 10000″;

}

配置完后保存退出。

可以先用测试命令测一下。语法如下:

php /var/www/html/scripts/ss_get_by_ssh.php –type mongodb –host 192.168.200.1 –items c,de,df,dg,dh,di,dj,dk,dl,dm,dn,do,dp,dq,dr,ds,dt,du

如果有数据输出。则表示正常。

四、在cacti里添加mongodb和redis模板:

4.1 模板导入

模板目录为better-cacti-templates-1.1.8\templates

4.2 导入后对被监控机添加模板:

4.3 添加后为其绘图:

五:实际效果测试:

给TA打赏
共{{data.count}}人
人已打赏
安全运维

OpenSSH-8.7p1离线升级修复安全漏洞

2021-10-23 10:13:25

安全运维

设计模式的设计原则

2021-12-12 17:36:11

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索