大数据排序问题
作者：互联网
问题
一个文件中有9亿条不重复的9位整数，对这个文件中数字进行排序
直接想法
9亿条（9e8）数据，每个数据能用int存储
因此所需要内存 **9e8*4B = 3.6e9B = 3.6GB**,这是装载所需要的 排序复杂度一般都是nlogn
因此需要的内存更大
方法一 数据库排序
将文本文件导入到数据库中，让数据库进行索引排序操作后提取数据到文件。
评价
操作简单， 运算速度较慢，对数据库设备要求较高
方法二 分治法
通过Hash法 将9亿条的数据分为20段，每段大约 5000万条，大概占用** 5e7*4 = 2e8B = 200MB**内存
在文件中依次搜索 0-5000万，5000万+1 - 1亿 ....等等
评价
需要进行20次排序，缩小了每次使用的内存，但编码复杂，速度也慢
方法三 位图法
考虑9位数，所以从0 - 999999999 共10亿个数
然后我们用bit来表示 bit为0，代表不存在，bit为1 代表存在
因此我们需要 10e8 / 8 = 125M内存
然后用bitMap 扫一遍就可以了。
具体代码 稍后写
标签：5000,数据库,问题,内存,bit,排序,数据,亿条 来源： https://www.cnblogs.com/Draymonder/p/10698967.html