[学习交流] 【南京校区】mycat分表分库

本帖最后由大蓝鲸小蟀锅于 2018-1-28 14:08 编辑

MyCat分表分库

1.1 Mycat历史

由于阿里的平台数据越来越大，客户量剧增，以前的架构和数据库难以支撑目前的需求，所以阿里的团队为了解决这一问题，目的在于解决高并发高可用，和解决用户数据达到上亿级，就开发了一个中间件cobar（mycat前身），后期阿里把他开源，也不再有团队维护。再后来这个项目被人间的一个组织看到并修改了其bug，增加了新的功能，在只支持mysql基础上，开始支持mogodb，oracle，redis，memcache等多种数据库。为企业解决了上亿量，高可用的解决方案。当然目前这个组织一直想加入apache，现在apache还没有同意接受。其中Mycat有大功能，一个是分表分库一个是主从复制读写分离。

1.2什么是MyCAT？

Mycat就是一个彻底开源的，面向企业应用开发的“大数据库集群”

支持事务、ACID、可以替代Mysql的加强版数据库

一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群

一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品

MyCAT的目标是：低成本的将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。

1.3 MyCAT的关键特性

支持 SQL 92标准

支持Mysql集群，可以作为Proxy使用

支持JDBC连接ORACLE、DB2、SQL Server，将其模拟为MySQL Server使用

支持galera for mysql集群，percona-cluster或者mariadb cluster，提供高可用性数据分片集群

自动故障切换，高可用性

支持读写分离，支持Mysql双主多从，以及一主多从的模式

支持全局表，数据自动分片到多个节点，用于高效表关联查询

支持独有的基于E-R 关系的分片策略，实现了高效的表关联查询

多平台支持，部署和实施简单

1.4 MyCAT架构

如图所示：MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器，并建立了完整的Schema（数据库）、Table （数据表）、User(用户)的逻辑模型，并将这套逻辑模型映射到后端的存储节点DataNode（MySQL Instance）上的真实物理库中，这样一来，所有能使用Mysql的客户端以及编程语言都能将MyCAT当成是Mysql Server来使用，不必开发新的客户端协议。

2. Mycat解决的问题
l 性能问题

l 数据库连接过多

l E-R分片难处理

l 可用性问题

l 成本和伸缩性问题

2.1对多数据库的支持

2.2分库分表

1.分库：

1.1纵向切割

定义：把不同业务的表放在不同的数据库中（缺点:虽然能解决千万级的数据量，但是数据量达到上亿以上查询还是速度慢，并不能解决亿级的数据）

1.2：横向切割

定义：把原始的一个数据库分为多个库，其中把原始库的一张表分为多张表（所有库的表组合一起是张完整的表）

2.如图分库分表：

纵向切割:（把原始的单库分为多库，每个库对应的是相应的表）

横向切割：（把原始库和表进行分库分表，每一个库里只有一部分表，所有库的表加一起才是一张完整的表）

3.分片策略1.分片规则

MyCAT支持水平分片与垂直分片：

水平分片：一个表格的数据分割到多个节点上，按照行分隔。

垂直分片：一个数据库中多个表格A，B，C，A存储到节点1上，B存储到节点2上，C存储到节点3上。

MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。

1、Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。

2、Table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。

3、DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上

4、DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上

4.Mycat的下载及安装下载mycat

官方网站：

http://www.mycat.org.cn/

github地址

https://github.com/MyCATApache

Mycat安装（linux环境）

第一步：把MyCat的压缩包上传到linux服务器

第二步：解压缩，得到mycat目录

第三步：进入mycat/bin，启动MyCat

启动命令：./mycat start

停止命令：./mycat stop

重启命令：./mycat restart

注意：可以使用mysql的客户端直接连接mycat服务。默认服务端口为8066

5.Mycat分片

需求

把商品表分片存储到三个数据节点上。

安装环境

mysql节点1环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本：1.4release

数据库名 : db1、db3

ip:192.168.25.134

mysql节点2环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本：1.4release

数据库名 : db2

ip:192.168.25.166

MyCat安装到节点1上（需要安装jdk）

配置schema.xml
Schema.xml介绍

Schema.xml作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进行解析。

schema 标签用于定义MyCat实例中的逻辑库

Table 标签定义了MyCat中的逻辑表

dataNode 标签定义了MyCat中的数据节点，也就是我们通常说所的数据分片。

dataHost标签在mycat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。

注意：若是LINUX版本的MYSQL，则需要设置为Mysql大小写不敏感，否则可能会发生表找不到的问题。

在MySQL的配置文件中my.ini [mysqld] 中增加一行

　　lower_case_table_names = 1

Schema.xml配置

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://org.opencloudb/">

</schema>

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"

writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">

<heartbeat>select user()</heartbeat>

<writeHost host="hostM1" url="192.168.25.134:3306" user="root"

password="root">

</writeHost>

</dataHost>

<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"

writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">

<heartbeat>select user()</heartbeat>

<writeHost host="hostM1" url="192.168.25.166:3306" user="root"

password="root">

</writeHost>

</dataHost>

</mycat:schema>

配置server.xmlServer.xml介绍

server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。

Server.xml配置

<property name="schemas">TESTDB</property>

</user>

配置rule.xml

rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法，或者对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule和function。

此配置文件可以不用修改，使用默认即可。

Mycat链接

测试分片
创建表

配置完毕后，重新启动mycat。使用mysql客户端连接mycat，创建表。

-- ----------------------------

-- Table structure for tb_item

-- ----------------------------

DROP TABLE IF EXISTS `tb_item`;

CREATE TABLE `tb_item` (

`id` bigint(20) NOT NULL COMMENT '商品id，同时也是商品编号',

`title` varchar(100) NOT NULL COMMENT '商品标题',

`sell_point` varchar(500) DEFAULT NULL COMMENT '商品卖点',

`price` bigint(20) NOT NULL COMMENT '商品价格，单位为：分',

`num` int(10) NOT NULL COMMENT '库存数量',

`barcode` varchar(30) DEFAULT NULL COMMENT '商品条形码',

`image` varchar(500) DEFAULT NULL COMMENT '商品图片',

`cid` bigint(10) NOT NULL COMMENT '所属类目，叶子类目',

`status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品状态，1-正常，2-下架，3-删除',

`created` datetime NOT NULL COMMENT '创建时间',

`updated` datetime NOT NULL COMMENT '更新时间',

PRIMARY KEY (`id`),

KEY `cid` (`cid`),

KEY `status` (`status`),

KEY `updated` (`updated`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';

-- ----------------------------

-- Table structure for tb_user

-- ----------------------------

DROP TABLE IF EXISTS `tb_user`;

CREATE TABLE `tb_user` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`username` varchar(50) NOT NULL COMMENT '用户名',

`password` varchar(32) NOT NULL COMMENT '密码，加密存储',

`phone` varchar(20) DEFAULT NULL COMMENT '注册手机号',

`email` varchar(50) DEFAULT NULL COMMENT '注册邮箱',

`created` datetime NOT NULL,

`updated` datetime NOT NULL,

PRIMARY KEY (`id`),

UNIQUE KEY `username` (`username`) USING BTREE,

UNIQUE KEY `phone` (`phone`) USING BTREE,

UNIQUE KEY `email` (`email`) USING BTREE

) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用户表';

插入数据

将此文件中的数据插入到数据库：（因为不支持.sql文件，所以把.sql后缀改为txt）

sql语句

table-data.txt (39.31 KB, 下载次数: 26)

分片测试

由于配置的分片规则为“auto-sharding-long”，所以mycat会根据此规则自动分片。

每个datanode中保存一定数量的数据。根据id进行分片

经测试id范围为：

Datanode1：1~5000000

Datanode2：5000000~10000000

Datanode3：10000001~15000000

当15000000以上的id插入时报错：

[Err] 1064 - can't find any valid datanode:TB_ITEM -> ID -> 15000001

此时需要添加节点了。

阿胡婷婷 · 阿胡婷婷

666666，10086个赞！

玉树临风lee公子 · 玉树临风lee公子

牛牛牛~~~·

唐杰 · 唐杰

牛牛牛学习了，这技术总结很棒

帐号		自动登录	找回密码
密码			加入黑马

[学习交流] 【南京校区】mycat分表分库

3 个回复