码农的博客

准备2台服务器，服务器1作为主数据库，服务器2作为从数据库。

1.修改主库的配置
这里使用的是ubuntu下的MYSQL，版本为5.6.30，使用apt-get方式安装。
1)首先修改/etc/mysql/conf.d/mysql.cnf
[mysqld]
bind-address = 0.0.0.0
log-bin=mysql-bin
server-id=1
2)然后修改/etc/mysql/mysql.conf.d/mysqld.cnf。
bind-address = 0.0.0.0
注意：将上面2个文件的bind-address都设置成0.0.0.0，是为了让从库能够连接主库。
3)重启mysql使以上修改生效: service mysql restart

2.在主数据库创建用户
CREATE USER ‘repl’@’10.99.%.%’ IDENTIFIED BY ‘slavepassword’;
GRANT REPLICATION SLAVE ON *.* TO ‘repl’@’10.99.%.%’;
以上ip地址要根据实际情况设置。

3.获取主数据库复制文件名称和复制点位置
首先给数据库上锁，防止数据写入：FLUSH TABLES WITH READ LOCK;
获取主库状态：SHOW MASTER STATUS;
得到File和Potision2个字段的值：
+——————+———-+————–+——————+——————-+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+——————+———-+————–+——————+——————-+
| mysql-bin.000002 | 120 | | | |
+——————+———-+————–+——————+——————-+
记下2个值，然后就可以解锁了：UNLOCK TABLES;

4.配置从数据库
1)编辑从数据库的/etc/mysql/conf.d/mysql.cnf
[mysqld]
server-id=2
注意：如果只想复制某1个库，还要添加以下配置项
replicate-wild-do-table=dbname.%
这里的dbname是想复制的主库的某一个数据库的名字。

2)重启mysql: service mysql restart

3)设置复制配置:
CHANGE MASTER TO
MASTER_HOST=’10.99.0.10′,
MASTER_USER=’repl’,
MASTER_PASSWORD=’slavepassword’,
MASTER_LOG_FILE=’mysql-bin.000002′,
MASTER_LOG_POS=120;
这里MASTER_HOST是主库的ip地址，要根据实际情况指定。
4)启动复制：START SLAVE;

5.试验
主库上新建一个数据库: create database hello
稍等一会儿，在从库上会看到多了hello数据库，说明以上配置成功。
可以用以下命令在从库上查看复制的状态：show slave status;

找到my.cnf，加入如下配置。

[client]
default-character-set=utf8

[mysql]
default-character-set=utf8

[mysqld]
collation-server = utf8_unicode_ci
init-connect=’SET NAMES utf8′
character-set-server = utf8

重启mysql: sudo service mysql restart

如上图所示，iptables会检查设定的规则，如果满足条件则执行对应的action，如果所有规则都不满足，则会执行默认policy。可能的policy有：accept, drop, reject。
只所以叫iptables，是因为在这个防火墙的链路（chain）里会涉及很多tables，常用的有filter，nat。如果只针对本机设定防火墙，一般只涉及filter。
通过对filter设置一系列规则，可以达到对进出的包进行限制的目的，比如drop或reject来自某个ip的包，还可以再进一步，drop或reject目标是本机某个端口的包。
（1）查看现有iptables设置：iptables -L -n
-n的意思是不要进行反查，如果不加则会列出端口对应的服务
结果：
Chain INPUT (policy ACCEPT)
target prot opt source destination

Chain FORWARD (policy ACCEPT)
target prot opt source destination

Chain OUTPUT (policy ACCEPT)
target prot opt source destination
上面显示目前还没有设定规则，3条是默认policy，分别针对input（进入本机的包），forward，output（从本机出去的包）。如果只针对本机，一般只常用input和output。
（2）清除现有规则
iptables -F
会清除掉所有规则，但默认policy不会变。
清除规则前要特别注意，必须查清楚目前的默认policy。比如，如果INPUT的默认policy是drop或reject，那么清除后将无法远程连接这台机器！所以这时候必须先将INPUT的默认policy改成ACCEPT，再做清除操作。
（3）设定默认policy
语法：iptables -P [INPUT, OUTPUT, FORWARD] [ACCEPT, DROP]
例如，将INPUT默认policy改成drop：iptables -P INPUT DROP
（4）设置规则
语法：iptables -AI [INPUT, OUTPUT, FORWARD] -i [lo, eth0, eth1] -o [lo, eth0, eth1] -p [tcp, udp, icmp, all] -s 来源IP -d 目标ip –dport 目标端口 –sport 来源端口 -j [ACCEPT, REJECT, DROP]
-A表示在现有的规则后添加一条新的，假如现在有4条规则，那么新的一条将会是第5条
-I表示插入一条规则在最前面，假如现在有4条规则，那么新的一条将会是第1条，原来的4条变成现在的第2-5条
来源ip和目标ip可以是单个ip（如192.168.1.1），也可以是子网（如192.168.1.1/24）
如果使用–dport 或 –sport，必须要有-p参数，且必须是tcp或udp。
例如，reject所有来自192.168.1.1的TCP包： iptables -A INPUT -p tcp -s 192.168.1.1 -j REJECT
（5）规则的顺序
规则顺序非常重要。因为iptables会按照顺序检查规则，如果顺序不当，会造成意外的结果。
比如: 我的80端口只想接收来自192.168.1.1的tcp包，不接收192.168.1.1/24子网里的其它机器的tcp包，来自其余机器的请求都接收。
假如INPUT的默认规则是ACCEPT。
正确的规则顺序是：
iptables -A INPUT -p tcp -s 192.168.1.1 -j ACCEPT
iptables -A INPUT -p tcp -s 192.168.1.1/24 -j REJECT
如果将以上2条规则颠倒，假设192.168.1.1给我的80端口发1个tcp包，由于满足颠倒后的第1条规则，它被reject掉，跟期望不符。
（6）保存
如果不保存，机器重启后规则会消失。
在ubuntu下使用iptables-persistent来保存。
安装：sudo apt-get install iptables-persistent
编辑完规则后保存规则：sudo dpkg-reconfigure iptables-persistent

1.准备4台VPS, 系统是64位ubuntu，创建时开启私有网络(private networking)。使用私有网络的好处是数据库多台机器之间复制数据时如果数据传输是通过私有网络，产生的数据流量将不会计入用户的流量。私有网络只能在同一机房里的机器上设置。目前很多VPS提供商都提供了该功能。
然后按照mongodb官网ubuntu下安装步骤安装mongodb完整版（包括mongo, mongod, mongos等）。
2.在3台VPS上执行以下命令
mkdir -p /data/db
mongod –bind_ip 0.0.0.0 –replSet spock –fork –logpath /var/log/mongod.log
意思是创建存放数据库的目录，并且设置好replica set的名称（这里叫做spock），并且在后台运行。
3.在刚才3台VPS其中1台上执行以下命令
首先登录本地mongodb：mongo –nodb
然后执行以下命令：
config = {“_id”:”spock”, “members”:[{“_id”:0,”host”:”server1:27017″},{“_id”:1,”host”:”server2:27017″},{“_id”:2,”host”:”server3:27017″}]}
db = (new Mongo(“server1:27017”)).getDB(“test”)
rs.initiate(config)
以上server1, server2, server3换成对应3台VPS的private networking ip即可。
注意：我们只需要在其中1台上执行以上命令，mongodb会把以上replica set的配置发给其余2台。
4.验证replica set创建成功
首先我们要知道哪台是primary(只有1台)，哪些是secondary。
紧接上一步，在mongodb命令行里输入：rs.status()
我们会看到这个replica set的当前状态，其中members会列出这个replica set里所有服务器的信息（host，端口等），再下一级的stateStr字段会显示每台服务器是PRIMARY或SECONDARY。于是就可以知道哪台是primary，哪台是secondary。
在primary服务器上执行以下:
首先使用命令行进入本地mongodb：mongo –nodb
然后执行：
use test
db.myCollection.insert({“name”:”xiaoming”})
在secondary上执行:
mongo –nodb
use test
db.getMongo().setSlaveOk()
db.myCollection.find()
这里使用setSlaveOK()的目的是让secondary服务器接受读操作，因为默认情况下是不允许读secondary的。
正常情况下，在secondary可以看见刚刚在primary上插入的数据，说明replica set配置成功。
完毕后把测试数据删掉。
返回前面primary的mongodb命令行，执行：
db.myCollection.drop()
secondary上的数据会同步drop掉，所以就不用管了。
5.配置config server
在3台VPS上执行以下命令：
mkdir -p /data/configdb
mongod –configsvr –fork –logpath /var/log/mongo_config.log
意思是创建配置文件的目录，然后启动config server，在后台运行。
config server不会耗费太多的CPU，内存和硬盘等资源，可以和其它应用部署在同一台机器上。这里，它和mongod放在同一台vps上。
6.配置mongos
在第4台上执行以下命令:
mongos –configdb server1:27019,server2:27019,server3:27019 –fork –logpath /var/log/mongos.log
意思是启动mongos服务。这里的server1, server2, server3是3台config server的地址。
然后使用命令行进入本地mongos：mongo –nodb
然后执行以下命令：
sh.addShard(“spock/server1:27017,server2:27017,server3:27017”)
use test
db.record.createIndex({“uid”:1,”time”:1})
sh.enableSharding(“test”)
sh.shardCollection(“test.record”,{“uid”:1,”time”:1})
server1, server2, server3用3台mongod的ip替换掉。
意思是添加shard，然后在collection上创建索引，在数据库级别设置sharding，然后在collection级别设置sharding，指定sharding key（这里用了2个字段，应该根据个人实际情况处理）。
sharding key必须在之前已经建立了索引。
7.创建数据
在mongos服务器上连接本地mongos：mongo
执行以下代码：
for(i=0;i<100000;i++){ db.record.insert({“uid”:Math.ceil(Math.random()*100),”long”:Math.random()*360-180,”lat”:Math.random()*180-90,”time”:new Date(Math.round(Math.random()*new Date().getTime()))}) }
8.添加shard
目前只有一个shard，以后如果遇到数据量增大，读写频率增大，我们可以添加新的replica set作为shard，添加步骤就按照前面的几步。需要注意的是新的replica set的名称不能和已经存在的重复。并且新的replica set里不能包含已经存在的相同名称的collection。
9.停止服务
上面的mongod和mongos服务都可以按照以下相同的方式停止。
使用命令行进入本地mongod或mongos：mongo
然后执行：
use admin
db.shutdownServer()
至于停止config server，可以使用linux kill命令。
关闭顺序：先停止mongos，然后停止mongod和config server。

1.安装需要的包
sudo apt-get install libc-ares-dev libcurl4-openssl-dev libmysqlclient-dev
2.下载mosquitto源码并编译安装
从http://mosquitto.org/download/ 下载源码并解压到某个目录，进入该目录编译安装
make mosquitto
sudo make install
3.下载mosquitto-auth-plug源码
git clone https://github.com/jpmens/mosquitto-auth-plug.git
并使用copy命令生成config.mk文件：cp config.mk.in config.mk
编辑config.mk：根据需要选择合适的后台。我这里只使用mysql数据库验证用户，BACKEND_MYSQL这一行是yes，其余行都是no。在MOSQUITTO_SRC一行输入mosquitto的源码路径，比如MOSQUITTO_SRC =/root/mosquitto-1.4.4/
。在OPENSSLDIR一行输入openssl的路径，比如OPENSSLDIR = /usr/lib/ssl。
可以使用以下命令得到openssl的路径：openssl version -a
4.进入mosquitto-auth-plug所在目录，使用make命令生成so文件。
5.移动so文件到mosquitto目录（不是源码目录，而是安装后的目录）
mv auth-plug.so /etc/mosquitto/
6.编辑mosquitto配置文件
mosquitto-auth-plug的源码里已经有多种范例配置文件，可以使用这些文件。比如，我用mysql做验证，可以使用 examples目录下的mosquitto-mysql.conf。
mv mosquitto.conf mosquitto.conf.origin（保留原始配置文件，供以后使用）
mv mosquitto-auth-plug目录/examples/mosquitto-mysql.conf mosquitto目录/mosquitto.conf
根据实际情况，编辑文件里的auth_plugin，backend，数据库host，端口，数据库名，用户，密码，sql语句等。
7.运行mosquitto并观察输出
mosquitto -c mosquitto-conf -v

问题：
1. 输出显示Unable to load auth plugin “…/auth-plug.so”
解决：
编辑Mosquitto源码目录下的config.mk：WITH_SRV:=no
然后重新编译：
make clean
make
生成新的so文件。