百G字典如何去除重复

越走越迷茫丶

如题，尝试过linux下awk不过会爆内存，运行到一半运存就占用100%

llddpp2004

用间接办法
先分割源文件分成若干小的文件
$ D9 v+ j) I) \: h8 [9 g. f" u( ^然后对每个小文件排序
人为设置若干字符串作为标准，将小文件再分成若干块
+ R- @, c/ B1 Q# d1 ]( h7 l) g( \再将其中被相同字符串分割后的部分进行合并，再进行去重复处理，最后合并

; a% v8 ~' K1 x. V2 ^& t如果要求不高，允许一定的重复，可以将源文件等分成几块，每块检查重复，然后再两两合并，对合并后的检查重复，再次两两合并重复上面步骤，直到合并成一个文件，最后的文件重复率不大于1，如果文件够小，可以进行最终的重复检查去除重复，另外不同的两两组合可能最后的文件有差异，

llddpp2004

分割的时候注意分割点处的字符串的完整性

上上网

如题，尝试过linux下awk不过会爆内存，运行到一半运存就占用100%

/ e4 {9 N9 U( e* T" G/ u" p
# l2 @/ \! ^$ V! }sort -u
+ ^: d/ b8 S3 T$ Z0 G3 R: ?100T也搞得了，就怕你硬盘不够大

yunnanyaic

字典文本导入数据库Oracle、Sybase、SQL Server请随意，然后运行这条命令：
DELETE * FROM [数据表名] WHERE (字段名) IN (SELECT (字段名) FROM [数据表名] GROUP BY (字段名) HAVING COUNT((字段名)) > 1);

cgl4134

文本字典可以导入数据库吗- -

Ｆ..

只要硬盘没问题，大于字典的3倍空间应就没问题。100G需要300G的空余。