【免费】使用BT5合并字典去重复【超简单无需软件】

mns

看到本坛有人出售的win下软件对大体积文件合并去重复极其容易死机程序崩溃的软件，不爽。给大家分享下我的字典合并去重复方法。
还是要用到BT5。两三条指令搞定。


1.搭建BT5
BT5的下载和安装参见我之前的帖子：
http://www.anywlan.com/thread-115566-1-1.html



3.通过U盘将要合并和去重复的字典拷贝到BT5（如放置到桌面：/root/Desktop）

4.打开终端（Terminal）
输入：
cd /root/Desktop

合并字典
输入：
cat 字典1.txt 字典2.txt 字典3.txt >> 合并后字典.txt

5.去除空白行
输入：
sed -i '/^$/d' 合并后字典.txt

6.去除重复并删除8-16位以外密码且重新排序
grep -P "^.{8,16}$" 合并后字典.txt|sort -u>去重复后字典.txt

注：以上文件名请为英文+数字组合


6.词典大功告成
拷贝回优盘，在win下跑包吧！

补充内容 (2012-4-11 02:15):
补充：
有些人设置密码使用手机号码前10位，那么我们就用电话号码生成器生成完号码后写一条：
cat 电话号码词典.txt|sed 's/.$//'>>电话号码词典2.txt
这样得到的就是10位的电话号码词典，再使用上面所说合并方法合

补充内容 (2012-4-12 23:38):
突然发现 去除最后一位的正则写错了 应该是 cat 电话号码词典.txt| sed 's/..$//g' >>电话号码词典2.txt

oppoa79

感谢大佬分享，windows批处理也能搞定就是速度慢了一些，具体看电脑配置

seed000

回复 1# mns


   通过U盘将要合并

zynh888

看看如何----------------

tuoniao2012

虽然没试过，支持下不拜金的:)楼主

aa95468362

看看如何----------------

Dj疯子

看看，学习一下！

dpxqs

看看，学习一下！

dpxqs

ujhsrtyhurturturturtutr

xxxttyy

看看什么东西

zhwhgdyxy28

看看，学习一下！

turf0315

还要BT5这个大的软件，有点。。

ddd888

实用，学习学习下，谢了！