大数据下的去重一般指的都是模糊去重，通常来讲不是真的去比较两个文件或者段文本，而是通过一些简单方式模糊粗略的比较；一般来讲如果两个文件或者文本完全相同，那么比较结果一定是相等的，但比较结果相等有极小概率两个文件不相等；下面介绍两种常用的算法SimHash 和 布隆过滤器SimHa 大数据场景下的去重方案（SimHash & 布隆过滤器）
大数据下的去重一般指的都是模糊去重，通常来讲不是真的去比较两个文件或者段文本，而是通过一些简单方式模糊粗略的比较；一般来讲如果两个文件或者文本完全相同，那么比较结果一定是相等的，但比较结果相等有极小概率两个文件不相等；下面介绍两种常用的算法SimHash 和 布隆过滤器SimHa 布隆过滤器原理以及Golang下的简单实现
摘要：判断目标值是否在一个大的集合中是比较常见的业务场景，相应的解决方案有很多，比如大的Hash表、Byte数组、BitSet等方案。当集合非常大的时候，这些方案在内存占用方面都比较大。BitSet方案相对比较可行。 更多编程视频和电子书关注公众号
