2015
10.26

1.准备4台VPS, 系统是64位ubuntu,创建时开启私有网络(private networking)。使用私有网络的好处是数据库多台机器之间复制数据时如果数据传输是通过私有网络,产生的数据流量将不会计入用户的流量。私有网络只能在同一机房里的机器上设置。目前很多VPS提供商都提供了该功能。
然后按照mongodb官网ubuntu下安装步骤安装mongodb完整版(包括mongo, mongod, mongos等)。
2.在3台VPS上执行以下命令
mkdir -p /data/db
mongod –bind_ip 0.0.0.0 –replSet spock –fork –logpath /var/log/mongod.log
意思是创建存放数据库的目录,并且设置好replica set的名称(这里叫做spock),并且在后台运行。
3.在刚才3台VPS其中1台上执行以下命令
首先登录本地mongodb:mongo –nodb
然后执行以下命令:
config = {“_id”:”spock”, “members”:[{“_id”:0,”host”:”server1:27017″},{“_id”:1,”host”:”server2:27017″},{“_id”:2,”host”:”server3:27017″}]}
db = (new Mongo(“server1:27017”)).getDB(“test”)
rs.initiate(config)
以上server1, server2, server3换成对应3台VPS的private networking ip即可。
注意:我们只需要在其中1台上执行以上命令,mongodb会把以上replica set的配置发给其余2台。
4.验证replica set创建成功
首先我们要知道哪台是primary(只有1台),哪些是secondary。
紧接上一步,在mongodb命令行里输入:rs.status()
我们会看到这个replica set的当前状态,其中members会列出这个replica set里所有服务器的信息(host,端口等),再下一级的stateStr字段会显示每台服务器是PRIMARY或SECONDARY。于是就可以知道哪台是primary,哪台是secondary。
在primary服务器上执行以下:
首先使用命令行进入本地mongodb:mongo –nodb
然后执行:
use test
db.myCollection.insert({“name”:”xiaoming”})
在secondary上执行:
mongo –nodb
use test
db.getMongo().setSlaveOk()
db.myCollection.find()
这里使用setSlaveOK()的目的是让secondary服务器接受读操作,因为默认情况下是不允许读secondary的。
正常情况下,在secondary可以看见刚刚在primary上插入的数据,说明replica set配置成功。
完毕后把测试数据删掉。
返回前面primary的mongodb命令行,执行:
db.myCollection.drop()
secondary上的数据会同步drop掉,所以就不用管了。
5.配置config server
在3台VPS上执行以下命令:
mkdir -p /data/configdb
mongod –configsvr –fork –logpath /var/log/mongo_config.log
意思是创建配置文件的目录,然后启动config server,在后台运行。
config server不会耗费太多的CPU,内存和硬盘等资源,可以和其它应用部署在同一台机器上。这里,它和mongod放在同一台vps上。
6.配置mongos
在第4台上执行以下命令:
mongos –configdb server1:27019,server2:27019,server3:27019 –fork –logpath /var/log/mongos.log
意思是启动mongos服务。这里的server1, server2, server3是3台config server的地址。
然后使用命令行进入本地mongos:mongo –nodb
然后执行以下命令:
sh.addShard(“spock/server1:27017,server2:27017,server3:27017”)
use test
db.record.createIndex({“uid”:1,”time”:1})
sh.enableSharding(“test”)
sh.shardCollection(“test.record”,{“uid”:1,”time”:1})
server1, server2, server3用3台mongod的ip替换掉。
意思是添加shard,然后在collection上创建索引,在数据库级别设置sharding,然后在collection级别设置sharding,指定sharding key(这里用了2个字段,应该根据个人实际情况处理)。
sharding key必须在之前已经建立了索引。
7.创建数据
在mongos服务器上连接本地mongos:mongo
执行以下代码:
for(i=0;i<100000;i++){ db.record.insert({“uid”:Math.ceil(Math.random()*100),”long”:Math.random()*360-180,”lat”:Math.random()*180-90,”time”:new Date(Math.round(Math.random()*new Date().getTime()))}) }
8.添加shard
目前只有一个shard,以后如果遇到数据量增大,读写频率增大,我们可以添加新的replica set作为shard,添加步骤就按照前面的几步。需要注意的是新的replica set的名称不能和已经存在的重复。并且新的replica set里不能包含已经存在的相同名称的collection。
9.停止服务
上面的mongod和mongos服务都可以按照以下相同的方式停止。
使用命令行进入本地mongod或mongos:mongo
然后执行:
use admin
db.shutdownServer()
至于停止config server,可以使用linux kill命令。
关闭顺序:先停止mongos,然后停止mongod和config server。

2015
10.04

1.安装需要的包
sudo apt-get install libc-ares-dev libcurl4-openssl-dev libmysqlclient-dev
2.下载mosquitto源码并编译安装
从http://mosquitto.org/download/ 下载源码并解压到某个目录,进入该目录编译安装
make mosquitto
sudo make install
3.下载mosquitto-auth-plug源码
git clone https://github.com/jpmens/mosquitto-auth-plug.git
并使用copy命令生成config.mk文件:cp config.mk.in config.mk
编辑config.mk:根据需要选择合适的后台。我这里只使用mysql数据库验证用户,BACKEND_MYSQL这一行是yes,其余行都是no。在MOSQUITTO_SRC一行输入mosquitto的源码路径,比如MOSQUITTO_SRC =/root/mosquitto-1.4.4/
。在OPENSSLDIR一行输入openssl的路径,比如OPENSSLDIR = /usr/lib/ssl。
可以使用以下命令得到openssl的路径:openssl version -a
4.进入mosquitto-auth-plug所在目录,使用make命令生成so文件。
5.移动so文件到mosquitto目录(不是源码目录,而是安装后的目录)
mv auth-plug.so /etc/mosquitto/
6.编辑mosquitto配置文件
mosquitto-auth-plug的源码里已经有多种范例配置文件,可以使用这些文件。比如,我用mysql做验证,可以使用 examples目录下的mosquitto-mysql.conf。
mv mosquitto.conf mosquitto.conf.origin(保留原始配置文件,供以后使用)
mv mosquitto-auth-plug目录/examples/mosquitto-mysql.conf mosquitto目录/mosquitto.conf
根据实际情况,编辑文件里的auth_plugin,backend,数据库host,端口,数据库名,用户,密码,sql语句等。
7.运行mosquitto并观察输出
mosquitto -c mosquitto-conf -v

问题:
1. 输出显示Unable to load auth plugin “…/auth-plug.so”
解决:
编辑Mosquitto源码目录下的config.mk:WITH_SRV:=no
然后重新编译:
make clean
make
生成新的so文件。


Hit Counter by http://yizhantech.com/