基于amoeba实现mysql数据库的读写分离/负载均衡-白红宇

基于amoeba实现mysql数据库的读写分离/负载均衡

阅读量：5889 次

发布时间：2019-06-19

本文共 9195 字，大约阅读时间需要 30 分钟。

更多博文请关注： (www.xuchanggang.cn)

一、Amoeba的简述：[来自百度百科]

Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比，作者强调的是amoeba配置的方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于lua脚本的MySQL Proxy简单）。

Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制，第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符合KISS原则的思想。目前 Amoeba 已在很多企业的生产线上面使用。

二、Amoeba解决的问题及目前存在的劣势：

1.主要解决的问题：

(1). 数据切分后复杂数据源整合

(2). 提供数据切分规则并降低数据切分规则给数据库带来的影响

(3). 降低数据库与客户端连接

(4). 读写分离路由

2.劣势：

(1).目前还不支持事务

(2).暂时不支持存储过程（近期会支持）

(3).不适合从amoeba导数据的场景或者对大数据量查询的query并不合适（比如一次请求返回10w以上甚至更多数据的场合）

(4).暂时不支持分库分表，amoeba目前只做到分数据库实例，每个被切分的节点需要保持库表结构一致

三、基于 Amoeba 实现mysql数据库读写分离的配置

1.测试环境，amoeba的要求，软件提供，简要原理图：

(1).测试环境：

红帽6.3系统

amoeba服务器地址：192.168.1.104

mysql数据库：192.168.1.102:3306(master -- rw)/192.168.1.100:3306(slave -- r)

注：为了方便测试读写分离，我这里是不配置主从。

(2).amoeba的要求：

Amoeba 是基于 java 开发，所以如果要运行 Amoeba，必须先安装 jdk 以便可以运行

(3).软件下载:[大家可以到

(开源中国)下载]

当前测试环境使用的amoeba软件下载地址：

amoeba参考手册：

amoeba项目代码：

(4).简要原理图：

2.我们这里将amoeba相关软件放在/tmp目录下，这里我们先配置JDK

# 解压JDK软件到/usr/local目录下[root@centos tmp]# tar -xf jdk-7u15-linux-x64.tar.gz  -C /usr/local/# 进入相应目录，并建立java目录[root@centos tmp]# cd /usr/local/[root@centos local]# mkdir java# 将解压出来的内容移到java目录[root@centos local]# mv jdk1.7.0_15/*  java# 设置java环境变量[root@centos local]# echo 'export JAVA_HOME=/usr/local/java' >> ~/.bashrc[root@centos local]# . ~/.bashrc# 测试jdk是否正确安装[root@centos local]#  java -version# *******************************# 以下这个方法设置JDK[在下面设置amoeba时，会覆盖，所以这里的配置文件，以最下面amoeba的配置为准][root@centos java]# echo $JAVA_HOME[root@centos java]# vim /etc/profile# 在末尾添加export JAVA_HOME=/usr/locla/javaexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH[root@centos java]# source /etc/profile# *******************************

3.配置amoeba中的dbServer.xml(后端mysql 服务器连接配置)

[root@centos java]# cd /tmp/# 建立相应amoeba目录[root@centos tmp]# mkdir /usr/local/amoeba# 将压缩包解压到指定目录[root@centos tmp]# tar -xf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba[root@centos tmp]# cd /usr/local/amoeba/[root@centos amoeba]# cd conf/# 准备修改配置文件#/*  以下部分为注解#/*  Amoeba总共有7个配置文件，分别如下：#/*  Amoeba主配置文件($AMOEBA_HOME/conf/amoeba.xml)，用来配置Amoeba服务的基本参数，如Amoeba主机地址、端口、认证方式、用于连接的用户名、密码、线程数、超时时间、其他配置文件的位置等。#/*  数据库服务器配置文件($AMOEBA_HOME/conf/dbServers.xml)，用来存储和配置Amoeba所代理的数据库服务器的信息，如:主机IP、端口、用户名、密码等。#/*  切分规则配置文件($AMOEBA_HOME/conf/rule.xml)，用来配置切分规则。#/*  数据库函数配置文件($AMOEBA_HOME/conf/functionMap.xml)，用来配置数据库函数的处理方法，Amoeba将使用该配置文件中的方法解析数据库函数。#/*  切分规则函数配置文件($AMOEBA_HOME/conf/ruleFunctionMap.xml)，用来配置切分规则中使用的用户自定义函数的处理方法。#/*  访问规则配置文件($AMOEBA_HOME/conf/access_list.conf)，用来授权或禁止某些服务器IP访问Amoeba。#/*  日志规格配置文件($AMOEBA_HOME/conf/log4j.xml)，用来配置Amoeba输出日志的级别和方式。# 配置后端mysql 服务器连接[dbServer.xml][root@centos conf]# vim dbServers.xml.........................(省略)        
                      
                               
        
         ${defaultManager}
                                
        
         64
                                
        
         128
        # 设置 mysql 数据库的端口                        
                                
        
         3306
        # 设置缺省的数据库，当连接amoeba时，操作表必须显式的指定数据库名，即采用dbname.tablename的方式，# 不支持 use dbname指定缺省库，因为操作会调度到各个后端dbserver                        
                                
        
         kongzhong
         # 设置amoeba连接后端数据库服务器的账号和密码，需在后端数据库器上创建该用户，并授权amoeba连接                        
                                
        
         kongzhong123
                                
                                
        
         kongzhong123
                        
                       
       
         # 最大连接数[默认]                        
        
         500
         # 最大空闲连接数[默认]                        
        
         500
                                
        
         10
                                
        
         600000
                                
        
         600000
                                
        
         true
                                
        
         true
                                
        
         true
                        
               
       # 设置一个后端的dbServer,名为master ，这个可以随便取，但是为了明确其含义，最好给予特殊含义的单词，这里是主DB SERVER        
                      
       
         # 设置这台DB server 的ip地址                        
                                
        
         192.168.1.102
                        
               
      # 再设置一台后端mysql数据库，这里叫slave，名字需要唯一[这里可以创建N个后端数据库，只要复制下面
      
       ...
      ]        
                      
       
        # 设置这台DB server 的ip地址                        
                                
        
         192.168.1.100
                        
               
      # 指定一个虚拟的dbServer,将上面定义的dbserver加入这个虚拟的dbserver，相当于组成一个组[这里我们将读的数据库组成一个组]# 这里 需要将 name="mul..." 改成自己想要取的名字，这个名字也需要有含义，后面会用到        
                      
                               
        # 选择调度算法 1 是轮询 2 是权重 3 是HA 这里选择1 轮询                        
        
         1
                                
        # 负载均衡,slave1，slave2当成2个服务器进行调度，这模拟量加权的调度算法。# 注意这里使用的dbserver必须是已经定义了的，可以写多个，如slave1，slave2                        
        
         slave

4. 配置 Amoeba 监听端口[amoeba.xml]

[root@centos conf]# vim amoeba.xml.........................(省略)        
                      
                       
                               
         # 设置amoeba监听的端口(这里如果默认，后面测试需要指定端口，就是这里的端口)                        
        
         3306
                                
                                
        .........................(省略)                        
                                        
         
          # 提供客户端连接amoeba时需要使用这里设定的账号 (这里的账号密码和amoeba连接后端数据库服务器的密码无关)                                        
          
           kongzhong
          # 提供客户端连接amoeba时需要使用这里设定的密码                                        
          
           kongzhong
                                                  
                                                          
            
            
             ${amoeba.home}/conf/access_list.conf
             
                                                   
                                          
                                 
                        
       .........................(省略)        
                       
                                
                                         
          
           ${amoeba.home}/conf/rule.xml
                                          
          
           ${amoeba.home}/conf/ruleFunctionMap.xml
                                  
                         
                        
        
         ${amoeba.home}/conf/functionMap.xml
                        
        
         1500
                        
        
         master
                        
        # 把默认注释掉的读写分离选项，把注释去掉并readpool修改成ReadPool(这个名字，我们前面在dbServer.xml里设置一个读数据库组，这里是作为只读池)                
        
         master
                        
        
         ReadPool
                        
        
         true

5. 配置amoeba及JAVA的环境变量

[root@centos conf]# vim /etc/profileJAVA_HOME=/usr/locla/javaAMOEBA_HOME=/usr/local/amoebaexport PATH=$PATH:$AMOEBA_HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin[root@centos conf]# source /etc/profile

6.启动amoeba测试

# 如果确认能够正常启动，就加>>/dev/null 否则还是看一下提示信息[root@centos conf]# amoeba start & >>/dev/null# 检测启动情况[root@centos conf]# netstat -tulnp |grep java# 停止amoeba测试指令是否可用[root@centos conf]# amoeba stop

7.在两台数据库做刚才设置中的相应操作

(1).在主DB server上操作

# 建立配置文件指定的数据库mysql> create database kongzhong;mysql> use kongzhong# 创建用于测试的表mysql> create table t1(name varchar(10));# 插入测试数据mysql> insert into t1 values('102');# 授予amoeba用户连接数据库的权限mysql> grant all privileges on kongzhong.* to 'kongzhong123'@'192.168.1.104' identified by 'kongzhong123';mysql> flush privileges;

(2).在从DB server上操作

# 建立配置文件指定的数据库mysql> create database kongzhong;mysql> use kongzhong# 创建用于测试的表mysql> create table t1(name varchar(10));# 插入测试数据mysql> insert into t1 values('100');# 授予amoeba用户连接数据库的权限mysql> grant all privileges on kongzhong.* to 'kongzhong123'@'192.168.1.104' identified by 'kongzhong123';mysql> flush privileges;

8.在任何一台机器上登陆测试，这里的ip地址指向amoeba所在服务器的ip地址

# 登陆相应数据库，查询当前所在数据库(相应大家都应该懂的，就不详细演示了)[root@client102 ~]# mysql -ukongzhong -p -h192.168.1.104[root@client100 ~]# mysql -ukongzhong -p -h192.168.1.104[root@client104 ~]# mysql -ukongzhong -p -h192.168.1.104

9.遇到的问题

(1).报错1：

The stack size specified is too small, Specify at least 160kError: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.解决方法：[root@centos bin]# cd /usr/local/amoeba/# 修改配置文件[root@centos amoeba]# vim bin/amoeba将下面这行DEFAULT_OPTS="-server -Xms1024m -Xmx1024m -Xss128k"修改为：DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k"

(2).报错2：

Error: JAVA_HOME environment variable is not set.解决方法：[root@centos local]# echo 'export JAVA_HOME=/usr/local/java' >> ~/.bashrc[root@centos local]# . ~/.bashrc

10.需要注意的问题，思路延伸

(1).取消日志生成，不然磁盘容易爆满

[root@centos conf]# vim log4j.xml [此文件在amoeba目录下的conf目录下]修改log4j.xml 取消日志文件生成（太大了，磁盘很容易满）改成

(2).性能优化

[root@centos amoeba]# vim bin/amoebaDEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k"改成DEFAULT_OPTS="-server -Xms512m -Xmx512m -Xmn100m -Xss1204k"

转载于:https://blog.51cto.com/634871/1335129

你可能感兴趣的文章

谈谈javascript中的prototype与继承

查看>>

时序约束优先级_Vivado工程经验与各种时序约束技巧分享

查看>>

minio 并发数_MinIO 参数解析与限制

查看>>

flash back mysql_mysqlbinlog flashback 使用最佳实践

查看>>

mysql存储引擎模式_MySQL存储引擎

查看>>

python类 del_全面了解Python类的内置方法

查看>>

java 重写system.out_重写System.out.println(String x)方法

查看>>

配置ORACLE 11g绿色版客户端和PLSQL远程连接环境

查看>>

ASP.NET中 DataList(数据列表)的使用前台绑定

查看>>

Linux学习之CentOS(八)--Linux系统的分区概念

查看>>

System.Func<>与System.Action<>

查看>>

asp.net开源CMS推荐

查看>>

csharp skype send message in winform

HDFS dfsclient写文件过程源码分析

查看>>