寻找整理数据字典爱好人士

上上网

有好多个站点数据，一个人估计是做不来的
一个人做需要时间非常多，我表示很头疼。。。


现在想把这些数据分开几个人来做，这样每个人工作量就变得少了，

寻找一些有文本整理技术基础知识的爱好人士，时间又非常多的富二代三代最适合，因为主要是耗时间，

最困难的时，每一站格式都不同，
要分开单独处理，
另外有一些里面md5还没解密的，要分拣开（因为还没解开密码，对跑包作用不大，应拣开丢弃）

我只能做前期工作，把相同格式归类，分拣开一些没有含有密码格式文件，这步工作我还是可以做，但接下来就不想做了，原因是看着这些零乱文件个人没什么耐心，真的

这事成也好，不成也好，反正都是靠这些愿意付出时间精神的人才可以成功。

做出来后，个人是愿意分享的，
但也尊重你们参与者意愿
最后，自认为有成熟处理经验有兴趣又有耐心又做得好的就报名吧

我先分类出来看看有多少种格式，每人弄一种就会轻松很多

混合格式的数据就比较头晕了

如果你自认为一个人都可以搞定，那也行，就给你一个人弄吧

vcxz

上上网 发表于 2017-9-27 21:37

一、你这个数据100%是你自己捣鼓出问题了。你的原始数据肯定不是这样。捣鼓成这样神仙也没办法给你100%恢复原样。所以，原始数据你一定要保存好。遇到自己操作失误或自己突然来灵感时，好查看原始数据。

二、把你的附件中的数据尽量给你恢复下，供你参考的步骤
1、删除汉字前的内容
2、删除行尾的时间
3、删除行尾的IP
4、删除行尾的数字2、24、7、70
5、删除行首的9位QQ号   9位数字
6、删除行首的1位数字

剩下的基本是密码了（请注意，我没最后整理密码，只是保持原汁原味）。但，准确率估计只能60-70%。我的能力只能到此了，不好意思。

希望以后你自己捣鼓出问题的附件，别再发出来。要发就发出原始的附件

1. aa123456
   
2. 1025939292wang++
   
3. liuting0808aini
   
4. 1995woaini46520
   
5. 8275510570
   
6. linlin00000904
   
7. ddff15015118487
   
8. q963852741
   
9. 123456789
   
10. ]
    
11. ngzhenqi123!
    
12. waini2504
    
13. qwe19840705qaz
    
14. LJXljx1990123
    
15. linbao520+
    
16. qq5cao??
    
17. chan5201314
    
18. zsqzxc520.......
    
19. 20luoyunxiangwo
    
20. 099574xucan
    
21. 64700*.qsa
    
22. g50727383
    
23. a19861012
    
24. dnflixing.123456
    
25. 18785534931.q
    
26. 8785534931.q
    
27. 2577359499
    
28. 533075342
    
29. lp13310770512
    
30. dnf13310770512
    
31. liuhangjing
    
32. luo5201314
    
33. gclovegy1314..
    
34. 3901804158
    
35. yang13612810709
    
36. ZHang+936573715@
    
37. dnf0078*
    
38. 55301462473.
    
39. momo220
    
40. wainqing1314520.
    
41. 1513456qwe
    
42. dnf0078
    
43. ming7701408
    
44. 15121776852A
    
45. wanweiwei850911
    
46. lovekai521
    
47. 2134291871
    
48. [12311451OO]
    
49. 23456.0
    
50. abcd18608574071x
    
51. 5012363051
    
52. 3638861696
    
53. 6436003585
    
54. 123456789
    
55. tiangang123..
    
56. qiucheng134
    
57. 75852100
    
58. wanweiwei
    
59. 4168808f13752136845
    
60. 2134291871
    
61. a1771019948
    
62. 199419584520yan.
    
63. a12345678
    
64. ?13765249289
    
65. agoni00..@
    
66. wei131313
    
67. 846396335295037
    
68. zxc0.0.0.
    
69. tian19951203
    
70. tianmongsong1203
    
71. yin15084460101
    
72. panpanaizhangrui
    
73. yan13988106431ka
    
74. 07448570508x
    
75. 1204986435520
    
76. yan2534580
    
77. zs15961150249
    
78. lvchongmu521
    
79. yangmingqiang520
    
80. yangxihua@
    
81. LOveYOU558204*
    
82. weinidiaolei520
    
83. hangYUANLOVDao
    
84. wangjinzeng1234
    
85. zhangwensong145.
    
86. wgd520`
    
87. 198904188
    
88. 0074323yongyuan1314
    
89. @zhang794523
    
90. asd,,19920612///
    
91. 920918wy21
    
92. heqian932913724q
    
93. k40k40
    
94. bnm456
    
95. chenyuxi
    
96. 1314520.
    
97. 04120313520
    
98. 5789.wangya
    
99. jiangdongzhen520
    
100. 123456789ac
     
101. wodengni
     
102. apge6214530
     
103. lv33650458.,
     
104. 63209.huajun.3w
     
105. qaz294775811
     
106. 5019309946
     
107. 520xuanxuan..
     
108. guozhiqiang1994
     
109. 78791645qq
     
110. 999520.
     
111. FLJ5201314,coma
     
112. longyuncai1217
     
113. xiaoya55..
     
114. xufei08284033
     
115. XIAOyang520
     
116. luoshaojing
     
117. hjrzxszyq0813
     
118. longranaixt1314
     
119. wen242918
     
120. guozhiqiang1994
     
121. 888333992558220
     
122. cui520.
     
123. zhangyan520zxc
     
124. aqnO123
     
125. aqnO123
     
126. wang381719208520
     
127. ai18744839221
     
128. 311329ALAQYJF
     
129. 782017qywa?
     
130. aa15121271453
     
131. ranshao000.
     
132. 
     
133. 
     
134. ai1314
     
135. hexiankai665800.
     
136. .930826bin!
     
137. zhao199462YI
     
138. yang520XIANGNI
     
139. jing0xing0301
     
140. love.1314yaNG21
     
141. 18885027437yangl
     
142. love.1314yaNG21
     
143. asdzxc953209
     
144. sss127136145sss
     
145. loveYAng.
     
146. 
     
147. wywan521.
     
148. 123456789sang21
     
149. qqq479188473qqq
     
150. 19940307...hy
     
151. 
     
152. 
     
153. 1248601903
     
154. 0117958432167li
     
155. ailaohuyou
     
156. abdd135
     
157. liangmengjie
     
158. 4524383wujisu
     
159. XXXXX1314
     
160. zhk19930225
     
161. 18751150946
     
162. WOJIUBUGAOsuNI74
     
163. 13914161603a
     
164. hao703293123456
     
165. 9921014***
     
166. PSX159753...
     
167. zc199611168
     
168. 13408803091win
     
169. LOUFWUDAIHUAMEI
     
170. feng999999999
     
171. 664132595
     
172. 3887391453
     
173. 20jianfei1314
     
174. 3-AFip:
     
175. 0740715145
     
176. 2134291871
     
177. h52013794633770
     
178. 1314520168
     
179. 25829225
     
180. 923528201314
     
181. min941989***
     
182. tara_123xj
     
183. 52406aiNI@@@
     
184. lovingw1314
     
185. 15017846027
     
186. xx13299662991
     
187. longgang147*+
     
188. rick21954030
     
189. longgang520
     
190. woshidj?5063
     
191. 123456zxc!!!
     
192. saTANhao777
     
193. a4251648A
     
194. XinDeMiMa
     
195. zxc2245bb
     
196. 
     
197. huang@5203344
     
198. zhang991117081X
     
199. 593351361..
     
200. zh1820780850
     
201. 15934616721.zz
     
202. sx18286994515..
     
203. yiji9siz13sd
     
204. sx18286994515..
     
205. ainimei...
     
206. 147258yzg5.2.0.
     
207. 215176773q
     
208. jinhua520
     
209. tar97401799tar
     
210. 8294363305
     
211. 1031400554x
     
212. cdlcdl5201314-+
     
213. mqh775854zlj
     
214. 1273566417
     
215. WANG8125900
     
216. wujun.118
     
217. HEHEwoaini,
     
218. 13765749502@@
     
219. liweijian1023.
     
220. 376770521
     
221. qishihenjimo
     
222. zzj1314520
     
223. 78227911314.
     
224. xiaxiaoqin52013
     
225. pengguanhui3969
     
226. yangyun5201314
     
227. 19940709qq
     
228. 46352013143344
     
229. LOVE.13719624005
     
230. wowandixiacheng
     
231. panzer598189612.
     
232. ASDqwe147
     
233. woainima110
     
234. asd573293
     
235. 85026311
     
236. xx.1536415889-+
     
237. 110112wen?/
     
238. wang15086403028
     
239. 5204258013679654
     
240. zfy18856230
     
241. wodezuiai.?@JX
     
242. woaigutiantian
     
243. 20naxiang
     
244. 3728584823xuqing
     
245. q853613805.
     
246. jiacong~~qq123
     
247. 520zhouyujian
     
248. qq510282198210300
     
249. tengxun2020**
     
250. 88888888aaa
     
251. 99202140058
     
252. 19940421pnv
     
253. love520wxyyy&Z!
     
254. 13432329395
     
255. 1534347517.0
     
256. 95jianaimin.
     
257. 82851103
     
258. 26317408771259
     
259. AIWOBIEZOU520.*?
     
260. denbo788qq
     
261. zhangruhua201314
     
262. 13416781049
     
263. xiao18666515572
     
264. shadowkk000
     
265. HDGxll17189859
     
266. ww.b159160!
     
267. HDGxll1258123
     
268. wangba123479
     
269. asdzxc1
     
270. sc15186451822sc
     
271. 1FND5dzh
     
272. 3765586728
     
273. www123789
     
274. zhuzhiboaijm1988
     
275. 1314920xu
     
276. 7749549353*e
     
277. cnmddhz510SYD

复制代码

vcxz

这个帖子好久没人想这事了。必须要来支持下。（目的把手里有新裤子的大牛勾引出来）

不管你的这些裤子是什么样子的（应该是没有新裤子）。绝大部分都提取出来了。你现在的费工费时的工作只有一点：就是里面不包含人造字典。减小了现在已有的字典的体积。（希望我是在瞎说，希望有新货）

请把这个：混合格式的数据就比较头晕了。放出一个小一点的附件上来。我试试看看，能不能按需提取出来。来个抛砖引玉

可否？

上上网

vcxz 发表于 2017-9-25 16:33
这个帖子好久没人想这事了。必须要来支持下。（目的把手里有新裤子的大牛勾引出来）

不管你的这些 ...

确实，就是想减少字典体积，
像21站他们都加了很多进去，其实21站是没有3G这么大的

不管数据新旧，只要是原始数据，都很有用，就看你怎么用，正所谓牛刀要用在牛刃上，毕竟里面数据内容不是一眼就能判断出有没用，
得到原始数据后你可以做测大数据

不管文件新旧
我想都是很有用的吧

我上个零乱数据你

如果你有兴趣...

上上网

vcxz 发表于 2017-9-25 16:33
这个帖子好久没人想这事了。必须要来支持下。（目的把手里有新裤子的大牛勾引出来）

不管你的这些 ...

选了几个   但估计这样的也不多   详细还没查看

vcxz

上上网 发表于 2017-9-25 17:15
选了几个   但估计这样的也不多   详细还没查看

真心实意的咨询你，请问下，你真不明白？还是？

1、你附件中哪有明文密码？
2、你要这些md5干什么？
3、数据库的都没内容，你放上来干什么用？

总之。你附件中的内容，神仙也提取不出密码的（排除能出一个半个的密码，没意义）

上上网

vcxz 发表于 2017-9-25 17:32
真心实意的咨询你，请问下，你真不明白？还是？

1、你附件中哪有明文密码？

你既然能够分辨出这些没用的   看来也算是经验丰富了

yunnanyaic

楼猪先准备4TB存储吧，然后 select * from * 你懂得


请随意...


那些年的就不要折腾啦！已阅！差评！

随风飘

干这个还不如干这种那些年的数据太老了，没什么用。


西南1区 此处QQ ........  woaini1314...... 21  ip:222.243.18.160   
西南1区 此处QQ ........ deopuif 77  ip:58.42.238.4   
西南1区 此处QQ ........ meishenm   ip:219.131.122.98   
西南1区 此处QQ ........ ASD987654321....   ip:222.87.184.163   
西南1区 此处QQ ........ szc235690 24  ip:220.164.250.170   
西南1区 此处QQ ........ chengjin...   ip:222.87.184.163   
西南1区 此处QQ ........ 13985700561rr   ip:61.159.153.232   
西南1区 此处QQ ........ woaini@520 70  ip:220.165.251.170   
西南1区 此处QQ ........ ysywan520 60  ip:220.165.251.170   
西南1区 此处QQ ........ dacong@306   ip:223.68.162.138   
西南1区 此处QQ ........ qwas744231   ip:14.115.86.253   
西南1区此处QQ ........deopuif 17  ip:42.242.87.192   .
.
.
.
.
.
.
.
.

随风飘

@yunnanyaic那不是你的小号吧。

上上网

yunnanyaic 发表于 2017-9-25 21:42
楼猪先准备4TB存储吧，然后 select * from * 你懂得

那些年的就不要折腾啦！已阅！差评！

哈哈  原来是论坛前辈  失敬失敬了

vcxz

看到有大牛来了，很高兴

抛砖引玉，说几句看到的以前的裤子里的密码的感受，供参考

以前的已经有的字典假如除去人工增补的字典外，就纯粹的提取出的密码，绝大部分包含有：QQ号、注册用的ID、类似邮箱的数据（或邮箱的形式变异）、因为裤子的不完整或变异造成的提取出来的密码严重错误、或疑似MD5的位数少的数据、等等

为什么会造成那么多错误？简单说，就是想快速自动提取。不耽误很多时间，或因长时间工作来提取，烦了，观察不仔细，接下来后面的工作就想图省事了。

总之，我的意思是，字典中含有数量巨大的错误密码。但，没法再把这些重新删除掉，只能存在在里面。

有人要问了，就不能精准仔细提取？答案是：不可能。因为裤子太复杂且体积巨大。费工费时，且长时间观察数据后，人极容易疲劳，结果是烦躁，后面的工作就会偷懒出错。


根据我的实战经验，仔细精准提取，能把现在的已有字典的准确率提高10-20%同时体积缩小三分之一以上（估计）。但，耗费大量的时间，且是紧盯屏幕的枯燥工作，并具有非常专业的临时变换处理代码的能力的人。少之又少

但，再苦再累，也会有人来做。没有它就没有字典。只是做出来的字典质量不同而已


下面我结合“随风飘”大牛的附件中的数据  命名为8.txt  谈谈我提取的感受

先说下（没有狂妄的意思），比起“老AK”大牛来，真是无地自容，为了学习，我还是要说的

就，该附件的提取，不用下面说的这么复杂就能完成。也就是1分钟左右的时间完成工作，

但，我要展开来按一般规律操作说一说，做到仔细精准提取。这样做一清二楚不会有遗漏。

1、要先保证8.txt中的第二列全部是QQ号码，并且是8-11位的纯数字（QQ号）。提取这样的数据，命名为a.txt

2、把8.txt中的a.txt删除，只保留剩余不包含部分，命名为b.txt

3、提取a.txt中的第四列含有1-4位的纯数字的数据，命名为81txt。并取反，提取剩余不包含部分，命名为82.txt

4、最后分别提取真正的密码部分。提取81.txt的第三列、提取82.txt的第三列、再加上b.txt的整理提取。最终合并整理出结果




最后，给出只提取密码（只去掉汉字，其它原汁原味保留）

vcxz

请楼主放出一个你的小文件的附件出来（你认为不太好处理的。要有明文的）
我可以结合你的数据，再分析下，共参考