百G字典如何去除重复

越走越迷茫丶

如题，尝试过linux下awk不过会爆内存，运行到一半运存就占用100%

llddpp2004

用间接办法
3 J3 S- P- a& O; J! T/ g先分割源文件分成若干小的文件
然后对每个小文件排序
人为设置若干字符串作为标准，将小文件再分成若干块
再将其中被相同字符串分割后的部分进行合并，再进行去重复处理，最后合并
: Q: @1 C7 ~! a5 P+ k
如果要求不高，允许一定的重复，可以将源文件等分成几块，每块检查重复，然后再两两合并，对合并后的检查重复，再次两两合并重复上面步骤，直到合并成一个文件，最后的文件重复率不大于1，如果文件够小，可以进行最终的重复检查去除重复，另外不同的两两组合可能最后的文件有差异，

llddpp2004

分割的时候注意分割点处的字符串的完整性

上上网

如题，尝试过linux下awk不过会爆内存，运行到一半运存就占用100%

sort -u
) A& o, N+ Q' s# B) B- \100T也搞得了，就怕你硬盘不够大

yunnanyaic

字典文本导入数据库Oracle、Sybase、SQL Server请随意，然后运行这条命令：
7 k. Q3 Q6 i7 f7 a: V; X/ `) MDELETE * FROM [数据表名] WHERE (字段名) IN (SELECT (字段名) FROM [数据表名] GROUP BY (字段名) HAVING COUNT((字段名)) > 1);

cgl4134

文本字典可以导入数据库吗- -

Ｆ..

只要硬盘没问题，大于字典的3倍空间应就没问题。100G需要300G的空余。