黑马程序员技术交流社区

标题: 【成都校区】分布式 ID生成器(snowflake)的使用 [打印本页]

作者: 你自己高兴就好    时间: 2019-6-28 17:57
标题: 【成都校区】分布式 ID生成器(snowflake)的使用
数据库分片


      如今随着互联网的发展,数据的量级也是呈指数的增长,从GB到TB到PB。对数据的

各种操作也是愈加的困难,如何解决这个问题呢?此时就需要做数据库集群,为了提高

查询性能将一个数据库的数据分散到不同的数据库中存储,这就是我们通常所说的数据

库分片。

​  如何实现数据库分片?我们通常会使用mycat数据库中间件来解决。

​  MyCat是一个开源的分布式数据库系统,是一个实现了MySQL协议的服务器,前端

用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可

以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库

服务器通信,其核心功能是分表分库,即将一个大表水平分割为N个小表,存储在后端

MySQL服务器里或者其他数据库里。

​  MyCat发展到目前的版本,已经不是一个单纯的MySQL代理了,它的后端可以支持

MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流数据库,也支持MongoDB这

种新型NoSQL方式的存储,未来还会支持更多类型的存储。而在最终用户看来,无论是

那种存储方式,在MyCat里,都是一个传统的数据库表,支持标准的SQL语句进行数据的

操作,这样一来,对前端业务系统来说,可以大幅降低开发难度,提升开发速度。

分布式ID生成解决方案

UUID

常见的方式。可以利用数据库也可以利用程序生成,一般来说全球唯一。
优点:
1)简单,代码方便。
2)生成ID性能非常好,基本不会有性能问题。
3)全球唯一,在遇见数据迁移,系统数据合并,或者数据库变更等情况下,可以从容应
对。
缺点:
1)没有排序,无法保证趋势递增。
2)UUID往往是使用字符串存储,查询的效率比较低。
3 )存储空间比较大,如果是海量数据库,就需要考虑存储量的问题。
4)传输数据量大
5)不可读。

Redis生成ID
当使用数据库来生成ID性能不够要求的时候,我们可以尝试使用Redis来生成ID。这主要
依赖于Redis是单线程的,所以也可以用生成全局唯一的ID。可以用Redis的原子操作
INCR和INCRBY来实现。
优点:
1)不依赖于数据库,灵活方便,且性能优于数据库。
2)数字ID天然排序,对分页或者需要排序的结果很有帮助。
缺点:
1)如果系统中没有Redis,还需要引入新的组件,增加系统复杂度。
2)需要编码和配置的工作量比较大。
3)网络传输造成性能下降。


开源算法snowflake
snowflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID。其核心思想
是:使用41bit作为毫秒数,10bit作为机器的ID(5个bit是数据中心,5个bit的机器
ID),12bit作为毫秒内的流水号(意味着每个节点在每毫秒可以产生 4096 个 ID),最
后还有一个符号位,永远是0









欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2