memcached协议+bloom filter = mc-bloom-filter,海量数据排重服务器。
2016-05-19
0 0 0
暂无评分
其他
如何获取积分?
Introduction
Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构,它具有很好的空间和时间效率,被用来检测一个元素是不是集合中的一个成员,被广泛使用于各种海量数据排重的场景中。Mc bloom filter是一个全新的排重服务器,它采用memcached的网络层封装了bloom filter的操作,使各种语言php、java、perl、python、go、c等等,都能使用memcached的协议进行bloom filter的操作。
Details
作者
新浪 汤晓刚 何跃 胡鸿 ## bloom filter 的简介 ## bloom\_filter的百度百科 Google黑板报 算法详细介绍 ### mc bloom filter 的特性 ###
- 完全采用memcached的网络层协议,创建、删除、添加、查看状态等。
- mc bloom filter 是一个全内存的排重服务器,所有数据均放在内存中。
- 可以在一个实例中创建多个bloom filter,在内存允许的情况,可以创建几十G大小的bloom filter,支持最高上 百亿 的数据排重。
- 采用google员工写的的高性能hash算法murmurhash,保证bloom filter的hash
协议
memcached
服务器
数据
海量
相关源码推荐
线性回归分析
0
0
暂无评分
利用线性差值处理空值
0
0
暂无评分
lianjia房yuan爬虫
0
0
暂无评分
生成所有子集
0
0
暂无评分
高铁延误数据分析
0
0
暂无评分
暂无评论