分割xml/html等文件必备：xmlsplit

hyln9

) }. L6 P; W; |
' T' n4 G3 K* [9 s. O之前打算制作英文维基20131104（https://www.pdawiki.com/forum/thread-11455-1-1.html），47.2GB的xml实在是让我无语，后来在o大的指导下找见了不错的replace pioneer,但是分割处理这么大的文件依然不给力。几经周折，找见了这款鲜为人知但是功能极为强大的xml分割工具，可以分割我的47.2gb的xml。售价貌似99刀，我只是想试用一下，没想到有1gb限制，所以自编程序怒破解之，分享给大家，但是仅限私下使用哦

1 N' i4 Z4 m1 c" d" `, D7 T此软件为英文，但是功能确实很强大，截几张图给大家吧：

5 o( N# c" c7 u7 S) l





ps:不知道为什么i-wiki大大的引擎出了什么问题，无法转换。问题是我随便转了某个较小的外语xml成功，转换这个却失败，悲催啊，求教 所以先放出这个工具给大家带来点方便。

破解方法：先安装程序。之后把XmlSplit_Crack.exe改名为XmlSplit.exe放入程序文件夹内覆盖原文件（源文件必须备份），运行程序，随便输XXX就注册成功了，然后恢复原来的XmlSplit.exe即可。天杀的360竟然报毒！请关闭360，注册完以后就可以打开360了。
! ~; f/ G" b2 o$ L* E
http://pan.baidu.com/s/1eQoIY
1 l* e6 P+ d  `8 i) y5 m! [密码pqw4
  u2 ^& f$ z. |5 t

hyln9

此楼备用

Oeasy

关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.html相册里都100+张图了），再从相册中选择图片插入，注意验证回答上方“本地化远程图片”前的复选框不要勾选！！！这样图片就能大大地显示出来了。{:5_227:}

hyln9

Oeasy 发表于 2013-11-24 22:50
  |) S# F' {1 R5 l- z关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.htm ...

4 `+ w! N" s* u/ y- Y我说是怎么回事，谢谢了！

yisdict

可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

hyln9

yisdict 发表于 2013-11-24 22:55
7 }* a' F  d' p, L6 W可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

谢谢，我试试！不过aard是什么？

hyln9

4 t& j, V( }4 S% ^1 I% e

hyln9 发表于 2013-11-24 23:05
谢谢，我试试！不过aard是什么？

- U( T7 k  F4 a5 ^2 K/ k哦，aard查到了，比我现在用的好啊！我现在用fastwiki和kiwix，前者有公式制作工具不过排版一般，后这简直是完美的无图wiki，但是英文版太大了只更新到了2012年，中文有2013的，不过有mdict版的了，也就不用了。
# H& q5 N* Z, [$ g# R
现在没有linux环境，看来得过一段时间再说了。另外期待唯吾无为老大的新引擎！

STFU

lz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

hyln9

STFU 发表于 2013-11-25 01:37
! T0 D3 t* Y$ A' v( [5 Ulz可以寫破解的程式?!
' @6 c1 g/ R* `3 q! S* U那怎麼沒試試寫解析的引擎?!

# x8 z  y# ^8 ?2 c5 z# G' d引擎太复杂，我又没时间其实这个程序破解起来还是比较容易的,我就是把它的验证给替换了一下而已。

hyln9

图片算是显示完整了

louislaolu

凡是能够编写程序，我都100分的崇拜。

163.wangg

辛苦支持

blueyi

能不能再发分享一次，谢谢

blueyi

楼主能不能把那XMLSPLIT再给我分享一份，谢谢

timrabin

求分享xmlsplit，打不开了。谢谢！

GL_n

请问楼主@hyln9能否重新分享一下你的百度盘链接？

zengjatzau

网盘链接已失效，能否再分享一次?

mikeee

1. '''
   
2. Based on xmllarge.py
   
3. '''
   4 o. u3 q  _$ M/ z2 i% U
4. # from pyquery import PyQuery as pq
   ' l- G; ]8 s& |" S+ n1 A, ]
5. from pathlib import Path
   1 |- D: C& L, h# w3 }4 U
6. 
   
7. 
   ( f- J- k! K6 [) n& G
8. def xml_iter(file, tag):
   % F- k1 @+ m) y* g5 R7 n
9.     '''
   , H. |1 W6 R9 p- ~( K
10.     Process huge xml files
    6 C# b8 C. J. j# X5 N2 S
11.     <tag> </tag> need to be in separate lines
    " B. L" l: F- i$ y; D! n6 }; B
12.     # TODO: in the middle of lines
    2 }) I. f. e, @$ S# o
13. 
    ' b: d9 |' _3 Q8 }) k, e
14.     :file: file path
    
15.     :tag: element to retrieve
    , w& v' R8 A% v1 l6 i$ E
16.     '''
    ; s$ z$ H$ W2 g9 z
17.     tagb1 = '<' + tag + '>'
    
18.     tagb1 = tagb1.encode()
    - @8 ^6 _: P7 A+ E6 h
19. 
    
20. 
    . E# y' c) q, m5 `+ W- N1 {
21.     tagb2 = '<' + tag + ' '
    # m( L% Z$ Q4 r- b4 O% s5 r: h
22.     tagb2 = tagb2.encode()
    ; r/ _- b" _: b* [  Y# Z4 [5 `3 u6 E' ^
23. 
    
24.     tagb3 = '</' + tag + '>'
    / z% H9 ]& p  ?2 J# [
25.     tagb3 = tagb3.encode()
    
26. 
    
27.     with open(file, 'rb') as inputfile:
    
28.         append = False
    5 m7 z; ?* `; r; ^$ L# q  |& `
29.         for line in inputfile:
    
30.             #~ if b'<tu>' in line or b'<tu ' in line:
    4 ]* f1 D7 j( b1 D3 o9 t
31.             if tagb1 in line:
    4 ?  v: S5 E8 K1 Q5 Y0 ]% A; x/ J
32.                 inputbuffer = line[line.index(tagb1):]
    , L0 g( |4 e  r2 z- \0 P' X
33.                 append = True
    
34.             elif  tagb2 in line:
    . G9 b2 ~% J, H% h: `, U
35.                 inputbuffer = line[line.index(tagb2):]
    : H, Z% Q9 A1 j8 q- H
36.                 append = True
    
37.             #~ elif b'</tu>' in line:
    6 L+ H" W7 s! \, m2 J+ Y5 ~! S
38.             elif tagb3 in line:
    
39.                 inputbuffer += line[:line.index(tagb3) + len(tagb3)]
    
40.                 append = False
    
41.                 yield inputbuffer
    
42.                 #~ docitem = process_buffer(inputbuffer, id_num)
    / y! _+ S/ o1 p" e7 h7 j
43.                 #~ print(id_num)
    
44.                 #~ id_num += 1
    
45.                 inputbuffer = b''
    " h3 ]5 Q$ _+ _; ^
46.             elif append:
    
47.                 inputbuffer += line

复制代码

. F5 H, o1 S6 C$ f这么多人找这东西？我过一阵打包发个小工具。

上面的python3函数用法
resu = ''
8 I5 f6 g. z) \' b2 G6 l' Hfor elm in xml_iter(filename, 'tu'):
    resu += elm
5 [, E  M, [& e6 S" q
  t- }( N# o8 s7 ?内存足迹极小……不管文件多大。

jonah_w

这个工具链接失效了，可以再分享下么

jonah_w

mikeee 发表于 2018-11-16 21:27
这么多人找这东西？我过一阵打包发个小工具。

上面的python3函数用法

( ?% Q" F! \  f# t5 K  j' }, c( [就喜欢这种一言不合自己写工具的，后面看看你的代码