跑包区字典制作赛第一季

老AK

随风飘 发表于 2014-7-25 23:26
乍一看到了第四页了

工具：UE+品轩+真空

不算迟，，，来了总比没来的好

随风飘

骇客帝国 发表于 2014-7-25 23:48
原本我也想介绍一下这个方法的，但我估计会用UE这列模式的不会很多，怕解释起来麻烦！

其实 ...

这个字典很多工具都可以……
只是看个人爱好，哪个工具用起来顺手就用哪个了。

今仔细一看，原来你后面有介绍UE列选择。

老AK

品轩0.6合并字典，有一个10到15G之间，有一个是500M的合并不成功是bug么，只要当中有一个是10g以上的就会合并不成功

随风飘

老AK 发表于 2014-7-26 11:54
品轩0.6合并字典，有一个10到15G之间，有一个是500M的合并不成功是bug么，只要当中有一个是10g以上的就会合 ...

type *.txt>>f:\hb.txt
合并这样就可以了

那个那么大估计是电脑运算不出来吧，从不用品轩合并。
一般小工具都很难支持大文件。

老AK

@随风飘      嗯  这个我也知道

随风飘

老AK 发表于 2014-7-25 13:01
嗯  骇客帝国也是制作字典的高手了，很多人都望尘莫及。我相信还有很多高手还没露面来呢！！！

另外对 ...

用UE最大的我处理过论坛最大的那个9G的，打开时由于格式问题增大到19G。
用UE分段就好了。

随风飘

老AK 发表于 2014-7-25 14:21
这命令要对UE版本有选择
用UE21和18的分别试试

空行在半成品字典中可以不考虑，如去重、分位后自然消失了
空行有很多种表达式如^\r\n这个也行的。

老AK

随风飘 发表于 2014-7-26 23:06
用UE最大的我处理过论坛最大的那个9G的，打开时由于格式问题增大到19G。
用UE分段就好了。

什么格式能增大这么多

随风飘

老AK 发表于 2014-7-26 23:14
什么格式能增大这么多

你用UE多了就会知道
注意打开显示行尾符号
这也是很多人UE打不开大文件的原因。

我8G内存打开那个43G的字典也是秒开。

你用cygwin等系统工具处理过的字典再用UE打开就明白了。

hgx67890

大神用UE去重后会出现口字 和汉字怎么去掉

老AK

随风飘 发表于 2014-7-26 23:19
你用UE多了就会知道
注意打开显示行尾符号
这也是很多人UE打不开大文件的原因。

你那个现像是转码问题吧

我打开过118g文件就是合并的那个字典也不是很困难

老AK

hgx67890 发表于 2014-7-26 23:32
大神用UE去重后会出现口字 和汉字怎么去掉

去掉中文点到文件－－转换 UNICODE/UTF-8转UTF-8(Unicode编辑)选项成黑色
正则处理：[^一-龥]
删除中文完成后最好回到之前这一项是灰色的，因为这种格式的文件打开后占地方很大。