黑马程序员技术交流社区

标题: 【南京校区】mycat分表分库 [打印本页]
作者: 大蓝鲸小蟀锅    时间: 2018-1-28 14:05
标题: 【南京校区】mycat分表分库
本帖最后由 大蓝鲸小蟀锅 于 2018-1-28 14:08 编辑

MyCat分表分库
1.1 Mycat历史

      由于阿里的平台数据越来越大，客户量剧增，以前的架构和数据库难以支撑目前的需求，所以阿里的团队为了解决这一问题，目的在于解决高并发高可用，和解决用户数据达到上亿级，就开发了一个中间件cobar（mycat前身），后期阿里把他开源，也不再有团队维护。再后来这个项目被人间的一个组织看到并修改了其bug，增加了新的功能，在只支持mysql基础上，开始支持mogodb，oracle，redis，memcache等多种数据库。为企业解决了上亿量，高可用的解决方案。当然目前这个组织一直想加入apache，现在apache还没有同意接受。其中Mycat有大功能，一个是分表分库一个是主从复制读写分离。
1.2什么是MyCAT？
    Mycat就是一个彻底开源的，面向企业应用开发的“大数据库集群”


支持事务、ACID、可以替代Mysql的加强版数据库


一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群


一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server


结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品


一个新颖的数据库中间件产品


MyCAT的目标是：低成本的将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。
1.3 MyCAT的关键特性
支持 SQL 92标准


支持Mysql集群，可以作为Proxy使用


支持JDBC连接ORACLE、DB2、SQL Server，将其模拟为MySQL  Server使用


支持galera for mysql集群，percona-cluster或者mariadb cluster，提供高可用性数据分片集群


自动故障切换，高可用性


支持读写分离，支持Mysql双主多从，以及一主多从的模式


支持全局表，数据自动分片到多个节点，用于高效表关联查询


支持独有的基于E-R 关系的分片策略，实现了高效的表关联查询


多平台支持，部署和实施简单


1.4 MyCAT架构


如图所示：MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器，并建立了完整的Schema（数据库）、Table （数据表）、User(用户)的逻辑模型，并将这套逻辑模型映射到后端的存储节点DataNode（MySQL Instance）上的真实物理库中，这样一来，所有能使用Mysql的客户端以及编程语言都能将MyCAT当成是Mysql Server来使用，不必开发新的客户端协议。


2. Mycat解决的问题
l  性能问题



l  数据库连接过多


l  E-R分片难处理


l  可用性问题


l  成本和伸缩性问题






2.1对多数据库的支持

2.2分库分表
1.分库：

1.1纵向切割


    定义：把不同业务的表放在不同的数据库中（缺点:虽然能解决千万级的数据量，但是数据量达到上亿以上查询还是速度慢，并不能解决亿级的数据）


1.2：横向切割


     定义：把原始的一个数据库分为多个库，其中把原始库的一张表分为多张表（所有库的表组合一起是张完整的表）


2.如图分库分表：    

纵向切割:（把原始的单库分为多库，每个库对应的是相应的表）




横向切割：（把原始库和表进行分库分表，每一个库里只有一部分表，所有库的表加一起才是一张完整的表）


   

3.分片策略1.分片规则
MyCAT支持水平分片与垂直分片：


水平分片：一个表格的数据分割到多个节点上，按照行分隔。


垂直分片：一个数据库中多个表格A，B，C，A存储到节点1上，B存储到节点2上，C存储到节点3上。



MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。




1、Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。


2、Table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。


3、DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上


4、DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上


4.Mycat的下载及安装下载mycat
官方网站：

http://www.mycat.org.cn/

github地址

https://github.com/MyCATApache

Mycat安装（linux环境）
第一步：把MyCat的压缩包上传到linux服务器


第二步：解压缩，得到mycat目录


第三步：进入mycat/bin，启动MyCat


启动命令：./mycat start


停止命令：./mycat stop


重启命令：./mycat restart


注意：可以使用mysql的客户端直接连接mycat服务。默认服务端口为8066
5.Mycat分片
需求
把商品表分片存储到三个数据节点上。
安装环境
mysql节点1环境


操作系统版本 : centos6.4


数据库版本 : mysql-5.6


mycat版本 ：1.4release


数据库名 : db1、db3


ip:192.168.25.134




mysql节点2环境


操作系统版本 : centos6.4


数据库版本 : mysql-5.6


mycat版本 ：1.4release


数据库名 : db2


ip:192.168.25.166




MyCat安装到节点1上（需要安装jdk）



配置schema.xml
Schema.xml介绍
Schema.xml作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进行解析。


schema 标签用于定义MyCat实例中的逻辑库


Table 标签定义了MyCat中的逻辑表


dataNode 标签定义了MyCat中的数据节点，也就是我们通常说所的数据分片。


dataHost标签在mycat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。


  
注意：若是LINUX版本的MYSQL，则需要设置为Mysql大小写不敏感，否则可能会发生表找不到的问题。
  
在MySQL的配置文件中my.ini [mysqld] 中增加一行
  
　　lower_case_table_names  = 1
  

Schema.xml配置
  
<?xml  version="1.0"?>
  
<!DOCTYPE mycat:schema  SYSTEM "schema.dtd">
  
<mycat:schema  xmlns:mycat="http://org.opencloudb/">
  
  
         <schema name="TESTDB"  checkSQLschema="false" sqlMaxLimit="100">
  
                   <!-- auto sharding by id (long) -->
  
                   <table name="TB_ITEM"  dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
  
                   <table name="TB_USER"  primaryKey="ID" type="global"  dataNode="dn1,dn2" />
  
         </schema>
  
         <dataNode name="dn1"  dataHost="localhost1" database="db1" />
  
         <dataNode name="dn2"  dataHost="localhost2" database="db2" />
  
         <dataNode name="dn3"  dataHost="localhost1" database="db3" />
  
         <dataHost name="localhost1"  maxCon="1000" minCon="10" balance="0"
  
                   writeType="0" dbType="mysql"  dbDriver="native" switchType="1"  slaveThreshold="100">
  
                   <heartbeat>select user()</heartbeat>
  
                   <!-- can have multi write hosts -->
  
                   <writeHost host="hostM1"  url="192.168.25.134:3306" user="root"
  
                            password="root">
  
                            <!-- can have multi read hosts  -->
  
  
                   </writeHost>
  
         </dataHost>
  
         <dataHost name="localhost2"  maxCon="1000" minCon="10" balance="0"
  
                   writeType="0" dbType="mysql"  dbDriver="native" switchType="1"  slaveThreshold="100">
  
                   <heartbeat>select user()</heartbeat>
  
                   <!-- can have multi write hosts -->
  
                   <writeHost host="hostM1"  url="192.168.25.166:3306" user="root"
  
                            password="root">
  
                            <!-- can have multi read hosts  -->
  
                   </writeHost>
  
         </dataHost>
  
</mycat:schema>
  
  

配置server.xmlServer.xml介绍
server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。



Server.xml配置
  
<user  name="test">
  
    <property  name="password">test</property>
  
    <property  name="schemas">TESTDB</property>
  
    <property  name="readOnly">true</property>
  
</user>
  

配置rule.xml
rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法，或者对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule和function。


此配置文件可以不用修改，使用默认即可。
Mycat链接

测试分片
创建表
配置完毕后，重新启动mycat。使用mysql客户端连接mycat，创建表。


  
--  ----------------------------
  
-- Table structure for  tb_item
  
--  ----------------------------
  
DROP TABLE IF EXISTS  `tb_item`;
  
CREATE TABLE `tb_item` (
  
  `id` bigint(20) NOT NULL COMMENT '商品id，同时也是商品编号',
  
  `title` varchar(100) NOT NULL COMMENT '商品标题',
  
  `sell_point` varchar(500) DEFAULT NULL  COMMENT '商品卖点',
  
  `price` bigint(20) NOT NULL COMMENT '商品价格，单位为：分',
  
  `num` int(10) NOT NULL COMMENT '库存数量',
  
  `barcode` varchar(30) DEFAULT NULL COMMENT  '商品条形码',
  
  `image` varchar(500) DEFAULT NULL COMMENT '商品图片',
  
  `cid` bigint(10) NOT NULL COMMENT '所属类目，叶子类目',
  
  `status` tinyint(4) NOT NULL DEFAULT '1'  COMMENT '商品状态，1-正常，2-下架，3-删除',
  
  `created` datetime NOT NULL COMMENT '创建时间',
  
  `updated` datetime NOT NULL COMMENT '更新时间',
  
  PRIMARY KEY (`id`),
  
  KEY `cid` (`cid`),
  
  KEY `status` (`status`),
  
  KEY `updated` (`updated`)
  
) ENGINE=InnoDB DEFAULT  CHARSET=utf8 COMMENT='商品表';
  
  
--  ----------------------------
  
-- Table structure for  tb_user
  
--  ----------------------------
  
DROP TABLE IF EXISTS  `tb_user`;
  
CREATE TABLE `tb_user` (
  
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  
  `username` varchar(50) NOT NULL COMMENT '用户名',
  
  `password` varchar(32) NOT NULL COMMENT '密码，加密存储',
  
  `phone` varchar(20) DEFAULT NULL COMMENT '注册手机号',
  
  `email` varchar(50) DEFAULT NULL COMMENT '注册邮箱',
  
  `created` datetime NOT NULL,
  
  `updated` datetime NOT NULL,
  
  PRIMARY KEY (`id`),
  
  UNIQUE KEY `username` (`username`) USING  BTREE,
  
  UNIQUE KEY `phone` (`phone`) USING BTREE,
  
  UNIQUE KEY `email` (`email`) USING BTREE
  
) ENGINE=InnoDB  AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用户表';
  

插入数据
将此文件中的数据插入到数据库：（因为不支持.sql文件，所以把.sql后缀改为txt）
sql语句

table-data.txt (39.31 KB, 下载次数: 54)

分片测试
由于配置的分片规则为“auto-sharding-long”，所以mycat会根据此规则自动分片。


每个datanode中保存一定数量的数据。根据id进行分片


经测试id范围为：


Datanode1：1~5000000


Datanode2：5000000~10000000


Datanode3：10000001~15000000


当15000000以上的id插入时报错：


[Err] 1064 - can't find any valid datanode:TB_ITEM -> ID -> 15000001


此时需要添加节点了。



作者: 阿胡婷婷    时间: 2018-1-28 15:37
666666，10086个赞！
作者: 玉树临风lee公子    时间: 2018-1-28 15:37
牛牛牛~~~·
作者: 唐杰    时间: 2018-1-28 16:12
牛牛牛  学习了，这技术总结很棒



欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2