最近团队在进行持续集成时发现,RD团队快速开发的过程中对数据表结构更变的频率非常高,当提测QA团队出现一个致命问题,当前 TAG 数据表比前一个 TAG 的差异性在哪里?

其实不能全怪RD们,在紧张的开发过程中优先都以交付项目为目标,根本无暇顾及这些变更细节,但是做持续集成就必须知道这个版本的差异在哪里,同时快速的进行部署和测试。其本质的目标是保证和产品质量无差异。

根据目前的情况,RD开发机连接的是RD开发数据库服务器3306端口进行通信,同时RD们如果使用客户端工具在办公网进行连接也是走3306端口,那么为什么不能把 3306 作为一个代理的端口,将真实的连接请求转向后端使用MySQL服务,这样是否就能通过转发知道所有的SQL语句,那么匹配出我们需要的 SQL 或许就能解决目前的问题。

流量拓扑图:

流量拓扑图

MySQL Proxy就是这么一个中间层代理,简单的说,MySQL Proxy就是一个连接池,负责将前台应用的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,从而实现读写分离和负载平衡。

对于应用来说,MySQL Proxy是完全透明的,应用则只需要连接到 MySQL Proxy 的监听端口即可。

安装 MySQL Proxy

Lua 依赖 GLIB

cd /usr/local/src/
wget "http://ftp.gnome.org/pub/gnome/sources/glib/2.18/glib-2.18.4.tar.gz"
tar xvf glib-2.18.4.tar.gz
cd glib-2.18.4
./configure
make && make install
cd ..
rm -rf glib-2.18.4

Lua 依赖 readline

cd /usr/local/src/
wget "ftp://ftp.cwru.edu/pub/bash/readline-6.1.tar.gz"
tar xvf readline-6.1.tar.gz
cd readline-6.1
./configure
make && make install
cd ..
rm -rf readline-6.1

Lua

ldconfig -v
cd /usr/local/src/
wget "http://www.lua.org/ftp/lua-5.1.4.tar.gz"
tar xvf lua-5.1.4.tar.gz
cd lua-5.1.4
sed -i '11s/^.*$/CFLAGS= -O2 -Wall -fPIC \$(MYCFLAGS)/g' src/Makefile
make linux  
make install
cp etc/lua.pc /usr/local/lib/pkgconfig/   
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig 
cd ..
rm -rf lua-5.1.4

MySQL Proxy请移步官方下载

tar xvf mysql-proxy-0.8.5.tar.gz
cd mysql-proxy-0.8.5
## 注意若是mysql-5.7版本以上, 需要执行下面命令替换 CLIENT_SECURE_CONNECTION -> CLIENT_RESERVED2
# sed -i 's/CLIENT_SECURE_CONNECTION/CLIENT_RESERVED2/g' `grep -rl "CLIENT_SECURE_CONNECTION"`
./configure --prefix=/usr/local/mysql-proxy-0.8.5
make && make install
cp lib/rw-splitting.lua /usr/local/lib/
cp lib/admin.lua /usr/local/lib/
cd ..
rm -rf mysql-proxy-0.8.5

配置 MySQL-Proxy转发

# 先创建一个LUA脚本 后面在编写,优先保证服务安装和启动时正常的
touch /data/change.lua
echo "
[mysql-proxy]
daemon=false
proxy-backend-addresses=127.0.0.1:3300
proxy-address=0.0.0.0:3306
proxy-lua-script=/data/change.lua
log-file=/var/log/mysql-proxy.log
log-level=debug
keepalive=true
" > /etc/mysql-proxy.cnf
chmod 0660 /etc/mysql-proxy.cnf

# 启动服务
/usr/local/mysql-proxy-0.8.5/bin/mysql-proxy --defaults-file=/etc/mysql-proxy.cnf

服务启动后意味着我们后端的 MySQL 是 3300,MySQL Proxy 占用了 3306 端口进行转发,在转发时可以通过 /data/change.lua 进行自定义转发,与网上很多读写分离原理类似。

Lua监听数据库表结构变更脚本

MySQL Proxy手册:http://dev.mysql.com/doc/mysql-proxy/en/
MySQL Proxy对象关系图(这个对编写代码很关键):http://dev.mysql.com/doc/mysql-proxy/en/mysql-proxy-scripting.html

read_query 是在 Proxy 之前执行。

function read_query( packet )
        -- 判断是QUERY
        if packet:byte() == proxy.COM_QUERY then
                -- 判断是ALTER CREATE DROP前缀
                if is_alter(packet) or is_create(packet) or is_drop(packet) then
                        -- 加入转发队列
                        proxy.queries:append(1, packet)
                        -- 加入一条新的 QUERY : 连接 notify 表
                        proxy.queries:append(2, string.char(proxy.COM_INIT_DB) .. 'notify', {resultset_is_needed = true} )
                        -- 加入一条新的 QUERY : 插入 notify 表当前的变更SQL信息,数据库,时间等
                        proxy.queries:append(2, string.char(proxy.COM_QUERY) .. "INSERT INTO `notify` (`db`, `query`, `datetime`) VALUES('".. get_dbname(packet) .."','".. get_query(packet) .."', '" .. get_datetime() .. "')", {resultset_is_needed = true} )
                        -- 加入一台新的 QUERY : 连接回原来的数据库
                        proxy.queries:append(2, string.char(proxy.COM_INIT_DB) .. get_dbname(packet), {resultset_is_needed = true} )

                        return proxy.PROXY_SEND_QUERY
                end
        end
end

read_query_result 是 Proxy 后得到的结果

function read_query_result(inj)
        -- 如果id是2 也就是属于自己额外连接使用notify的三条数据,不用特殊处理了。
        if inj.id == 2 then
                return proxy.PROXY_IGNORE_RESULT
        end

        -- 否则就写下日志
        write_log(inj)
end

以下是一些辅助函数

function get_datetime()
        return os.date("%Y-%m-%d %H:%M:%S", os.time())
end

function is_create(query)
        return "CREATE" == string.upper(query:sub(2, 7));
end

function is_drop(query)
        return "DROP" == string.upper(query:sub(2, 5));
end

function is_alter(query) 
        return "ALTER" == string.upper(query:sub(2, 6));
end

function get_dbname(query)
        if type( string.match(query, "`(%w+)`%.") ) == 'string' then
                return string.match(query, "`(%w+)`%.")
        else
                return proxy.connection.client.default_db
        end
end

function get_query(query)
        return string.gsub(query:sub(2), "'", '"')
end

function build_notify(inj)
        return "Time: \n\t" .. get_datetime() .. "\nDatabase: \n\t" .. get_dbname(inj.query) .. "\nQuery: \n\t" .. get_query(inj.query) .. "\n"
end

function write_log(inj)
        local file = io.open("/var/log/mysql-proxy-alter", "a")
        file:write(build_notify(inj) .. "\n")
        file:close()
end

在敏捷回顾会议中引导使用ORID

头一次接触ORID方法在2015年的一次敏捷回顾上,但是还不知道它,当天围坐在小会议室中通过该方法总结迭代开发经验,使我很有收获。ORID工作法很好理解,几乎一听就会,只是日常工作中我们总会选择更偷懒的方法,而忽略了总结过程中思考和逻辑的重要性。根据百度百科,ORID是一种...… Continue reading

生产环境Linux部署

Published on July 12, 2017

SVN 迁移到 GitLab

Published on June 17, 2017