TXT巨大文档处理

mijackson

现有需求如下：A .TXT文件 与 B .TXT文件，其中B文件巨大，100G以上，包含有部分A文件的内容，请问有软件能两文件对比 ，不合并只在B文件中去掉与A文件重复的内容，谢谢盼复 备注 文件都比较巨大100G以上

506751

楼猪问题比较刁钻！目前有三个问题，第一个呢，有个软件可以去重复内容，但是必须合并成一个文件。第二个呢，有个批处理能比对两个文本，但是输出也只能输出一个文件。第三个问题楼猪可能不能接受，如果就算能处理，加入用批处理处理的话，预计电脑不断的干1个月才能干好，而且我也没有想到能输出两个文件的代码！
7 r' H  M* M" j4 G! F% r
综上，建议：用软件吧文件合并成一个文件，去了重复后，在分割成小一点的文件，没有更好的解决办法。如果必须要达到楼猪的要求也不是不可以，找个编程群定制软件，预计5位数能给您出专门的软件（当然这个价格我也不清楚）！

爱人1516

有需要可联系我，曾成功处理过，a  b 各500G左右文件

mijackson

爱人1516 发表于 2022-6-6 08:46
- U  N  c  w& e5 N5 Y; j有需要可联系我，曾成功处理过，a  b 各500G左右文件

7 l3 u4 _/ Q: g: N1 H$ H大神如何联系到您

爱人1516

mijackson 发表于 2022-6-6 08:49
1 K- ~; ?* Z' I; l* R0 `  B1 f大神如何联系到您

! r' A" N  V4 v1 B加我头像位置Q号

mijackson

爱人1516 发表于 2022-6-6 08:50
加我头像位置Q号

/ _! D7 T1 O- s: L3 u0 e" e已发q 加下我 名字 天下 万分感谢

gufanking

506751 发表于 2022-6-6 06:32
楼猪问题比较刁钻！目前有三个问题，第一个呢，有个软件可以去重复内容，但是必须合并成一个文件。第二个呢 ...

求第一和第二

随风无限

sort -u a.txt >aa.txt

sort -u b.txt >bb.txt
" L9 `. e- I: k: b. H) b8 s
comm -23 aa.txt bb.txt >a-b.txt
# }" |8 @) j; {& O& F3 E教程出处：
( q- c7 A! J7 @0 g/ v$ _https://www.anywlan.com/thread-440498-1-1.html

随风无限

sort -u a.txt >aa.txt
# f! q$ \2 h1 c2 ]8 c
sort -u b.txt >bb.txt
+ i2 V7 t5 s) V- H6 A- M
5 R4 V; l' i$ F- ]- ~) Xcomm -23 aa.txt bb.txt >a-b.txt
" j; x) W  O+ b2 |$ |教程出处：
https://www.anywlan.com/thread-440498-1-1.html

mijackson

随风无限 发表于 2022-9-7 16:58
  O) c1 R; y0 G% L* L; o# z' nsort -u a.txt >aa.txt

$ Q3 f4 ^/ w' W% Usort -u b.txt >bb.txt

: S2 ~- z+ f& i/ t# m) T- A感谢大神 学习您的帖子终于走少了很多弯路！