字典去重复工具

mortimer7866

本人测试是用的网上找的字典集合

这个包中字典比较多，所以需要的内存比较大，本人使用32G内存测试，数据全部读取完成之后占用内存70%左右

程序运行图：

从图中可以看到所有加载的字典中一共有269451685组密码，大概需要几个小时的处理。
上附件：
大家使用程序的时候如果遇到有什么BUG，可以回帖反馈，有时间我可以改改。
处理完成后结果保存在D盘的result.txt文件中



补充内容 (2018-12-25 11:24):
请前往21楼下载最新程序

补充内容 (2019-12-13 22:52):
请看26楼，本次更新大幅度缩短去重复时间

补充内容 (2019-12-13 22:53):
请看26楼，本次更新大幅度缩短去重复时间

viviczh

mortimer7866 发表于 2018-7-27 09:42
兄弟你觉得我需要做成什么样？

去重其实不难，方法有很多，但是要做到效率与资源占用兼顾就比较两难了。往往一把好刀赛过一堆普普通通的工具。支持楼主！

aiwuxian123

谢谢分享

hu007

谢谢分享了！

mortimer7866

一楼的附件已重新上传，请大家下载最新的使用

yaokq

谢谢楼主分享。

qxhdly

谢谢楼主分享

上上网

兄弟你这个要做出特点才行吧，就去个重就算了？还会有下文不

shemc

谢谢分享了！

mortimer7866

上上网 发表于 2018-7-26 22:50
兄弟你这个要做出特点才行吧，就去个重就算了？还会有下文不

兄弟你觉得我需要做成什么样？

mortimer7866

viviczh 发表于 2018-7-28 09:20
去重其实不难，方法有很多，但是要做到效率与资源占用兼顾就比较两难了。往往一把好刀赛过一堆普普通通的 ...

谢谢版主支持

longshen

谢谢分享