Twitter分布式自增ID算法snowflake原理解析

存储架构 2018-05-25 阅读原文

以JAVA为例

Twitter分布式自增ID算法snowflake,生成的是Long类型的id,一个Long类型占8个字节,每个字节占8比特,也就是说一个Long类型占64个比特(0和1)。

那么一个Long类型的64个比特,

twitter是这样分配的: 正数位(占1比特)+时间戳(占41比特)+机械id(占5比特)+数据中心(占5比特)+自增值(占12比特)
,总共64比特组成的一个Long类型。

时间戳(占41个比特):毫秒数,大约可以使使用69年

机械id(占5个比特):即2的5次方等于32个机器

数据中心id(占5个比特):即2的5次方等于32个数据中心

自增值(占12比特):2的12次方等于4096。也就是说每毫秒最多可以生成4096个id,如果cpu生产id的速度大于每毫秒4096个,那么需要使线程进行等待到下一毫秒,重新计数获取自增值。

snowflake算法的好处:

# 生成的id是一个数字的Long类型

# 无需链接数据库或者redis,超高性能。

snowflake算法的弊端:

# 每毫秒只能生成4096个id。随着cpu不断的进步,每毫秒4096个id将不能满足。可以不用担心,即便cpu性能超过了这个值,那么只需等待到下一个毫秒

# 只能使用69年

#每毫秒重新计数,空闲时间会浪费很多id空间。

#系统时间不可回退,回退将会导致id重复。另:系统时间可以前进,不受影响。

以上就是对snowflake的一些总结。

snowflake算法改进1:

针对空闲时间会浪费很多id空间,改进:咱们可以把时间戳的单位改为秒。使用31个比特的时间戳(秒),节约了10个比特,2的31次方等于2,147,483,648秒,约为69年。然后我们把节约出来的10个字节交给自增值,此时自增值(12+10=22比特),即2的22次方等于4,194,304。

改进前的snowflake算法结构为: 正数位(占1比特)+时间戳(占41比特)+机械id(占5比特)+数据中心(占5比特)+自增值(占12比特)

改进后的snowflake算法结构为:
正数位(占1比特)+时间戳(占31比特)+机械id(占5比特)+数据中心(占5比特)+自增值(占22比特)

改进后的优点:

# 避免空闲时间会浪费很多id空间,支持每秒生成419万个id。

改进后的snowflake算法同样是使用69年,时间戳以秒为单位,每秒支持约419万个id生成。此时避免使用毫秒时间戳的浪费id空间的弊端。当然还可以继续改进,比如:使用分钟为单位的时间戳(要注意的是:使用分钟为单位的时间戳,如果服务器宕机,那么你需要等待1分钟后才能启动服务器,否则将会导致自增值归零重新计数,当前分钟内生成的id和宕机时生成的id会重复)。

博客园-原创精华区

责编内容by:博客园-原创精华区阅读原文】。感谢您的支持!

您可能感兴趣的

CVaaS计算机视觉即服务 ——从算法,应用到服务的技术演变... 本文是大数据杂谈5月4日社群分享内容整理。 我先自我介绍一下,我叫罗韵,是深圳极视角科技有限公司联合创始人,我们公司是一家做人工智能和计算机视觉应用的创业公司,我们平台目前服务各个细分领域,其中包括零售行业、工业、智能家居、餐饮、...
设计分布式系统—简明粗暴的名字发现服务... 在设计实现分布式系统时,必定离不开名字发现服务: 一个新节点加进来系统里了,怎么样被其他节点感知到,并且能与此节点通信呢? 在此, 我向大家简明扼要的介绍一下 erlang 这个设计了十多年稳定性达到99.99999999%的电话系统的语...
LeetCode算法题-Invert Binary Tree 这是悦乐书的第 194 次更新,第 199 篇原创 01 看题和准备今天介绍的是LeetCode算法题中Easy级别的第55题(顺位题号是226)。反转二叉树。例如: 输入:...
Google: Our Quality Algorithms Don’t Use Mac... John Mueller from Google answered a question about if Google's search quality algorithms, such as Panda, Penguin...
Building Replicated Distributed Systems with Kafka Just a few days I was having this conversation with one of my colleague. The conversation goes as follows: Me: Why we...