分割xml/html等文件必备：xmlsplit

hyln9

/ w( O7 w! w+ A6 S$ x8 M& P& d之前打算制作英文维基20131104（https://www.pdawiki.com/forum/thread-11455-1-1.html），47.2GB的xml实在是让我无语，后来在o大的指导下找见了不错的replace pioneer,但是分割处理这么大的文件依然不给力。几经周折，找见了这款鲜为人知但是功能极为强大的xml分割工具，可以分割我的47.2gb的xml。售价貌似99刀，我只是想试用一下，没想到有1gb限制，所以自编程序怒破解之，分享给大家，但是仅限私下使用哦
3 |4 [- A, X3 M, i/ l" N" {
此软件为英文，但是功能确实很强大，截几张图给大家吧：

( Z, `. Z8 ?2 ^5 w' V/ g

" c4 K; x' d+ X% _2 L



% ?) F9 g" @! j. C$ W4 `( Yps:不知道为什么i-wiki大大的引擎出了什么问题，无法转换。问题是我随便转了某个较小的外语xml成功，转换这个却失败，悲催啊，求教 所以先放出这个工具给大家带来点方便。
; A! \* `. V% K, G
破解方法：先安装程序。之后把XmlSplit_Crack.exe改名为XmlSplit.exe放入程序文件夹内覆盖原文件（源文件必须备份），运行程序，随便输XXX就注册成功了，然后恢复原来的XmlSplit.exe即可。天杀的360竟然报毒！请关闭360，注册完以后就可以打开360了。

$ U/ L2 ?0 h1 c% @* ?; X5 Vhttp://pan.baidu.com/s/1eQoIY
0 V! o+ Z! Z2 s: o% v, ]密码pqw4

hyln9

此楼备用

Oeasy

关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.html相册里都100+张图了），再从相册中选择图片插入，注意验证回答上方“本地化远程图片”前的复选框不要勾选！！！这样图片就能大大地显示出来了。{:5_227:}

hyln9

Oeasy 发表于 2013-11-24 22:50
关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.htm ...

我说是怎么回事，谢谢了！

yisdict

可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

hyln9

yisdict 发表于 2013-11-24 22:55
可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

! m5 T4 y  X& S8 l1 p谢谢，我试试！不过aard是什么？

hyln9

- i* Y# F* ]3 [/ Q0 i5 m  k

hyln9 发表于 2013-11-24 23:05
+ G- y6 V6 M7 ]谢谢，我试试！不过aard是什么？

! E# S) P0 w( W9 D* A) Z
, K/ U" B/ M/ E% J: y哦，aard查到了，比我现在用的好啊！我现在用fastwiki和kiwix，前者有公式制作工具不过排版一般，后这简直是完美的无图wiki，但是英文版太大了只更新到了2012年，中文有2013的，不过有mdict版的了，也就不用了。

现在没有linux环境，看来得过一段时间再说了。另外期待唯吾无为老大的新引擎！

STFU

lz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

hyln9

STFU 发表于 2013-11-25 01:37
4 h9 Q  ~! O' J- I$ Rlz可以寫破解的程式?!
+ y" m6 p* d: B* b" S$ S那怎麼沒試試寫解析的引擎?!

引擎太复杂，我又没时间其实这个程序破解起来还是比较容易的,我就是把它的验证给替换了一下而已。

hyln9

图片算是显示完整了

louislaolu

凡是能够编写程序，我都100分的崇拜。

163.wangg

辛苦支持

blueyi

能不能再发分享一次，谢谢

blueyi

楼主能不能把那XMLSPLIT再给我分享一份，谢谢

timrabin

求分享xmlsplit，打不开了。谢谢！

GL_n

请问楼主@hyln9能否重新分享一下你的百度盘链接？

zengjatzau

网盘链接已失效，能否再分享一次?

mikeee

1. '''
   
2. Based on xmllarge.py
   % D3 V+ @. b5 l! O8 K' M
3. '''
   
4. # from pyquery import PyQuery as pq
   , m. c5 Y5 R7 r. h# `* E
5. from pathlib import Path
   + \, {* n. c/ ?4 f6 X* k
6. 
   : K7 j: Z6 y; p) W' A2 j& {! x2 g* `! ~# y
7. 
   7 s: e- p# m9 O7 F( j
8. def xml_iter(file, tag):
   
9.     '''
   
10.     Process huge xml files
    3 V. `! k2 Z% z4 p
11.     <tag> </tag> need to be in separate lines
    - K) `) j. G7 y& E/ n
12.     # TODO: in the middle of lines
    
13. 
      z  b! v4 m1 O, |" D
14.     :file: file path
    
15.     :tag: element to retrieve
    
16.     '''
    
17.     tagb1 = '<' + tag + '>'
    
18.     tagb1 = tagb1.encode()
    * X& O8 d, U; h; {
19. 
    
20. 
    , @9 v8 o7 {+ h) ~5 E5 q
21.     tagb2 = '<' + tag + ' '
    # ^# k4 s2 j3 [1 F, D3 a
22.     tagb2 = tagb2.encode()
    2 s5 [2 d! h4 H" B$ u
23. 
    ' ?7 Z: A" h& L
24.     tagb3 = '</' + tag + '>'
    
25.     tagb3 = tagb3.encode()
    , [  I8 e( c" S- d
26. 
    7 c0 X" w& Y  ^9 j+ k8 m1 A
27.     with open(file, 'rb') as inputfile:
    
28.         append = False
    0 f6 T. z, l' H; t: p; _
29.         for line in inputfile:
    4 h1 X$ ^# x3 T3 E
30.             #~ if b'<tu>' in line or b'<tu ' in line:
    ' X5 V9 B9 \) e
31.             if tagb1 in line:
    ' w' K+ Y/ O; x) |  k% [
32.                 inputbuffer = line[line.index(tagb1):]
    
33.                 append = True
    2 j1 o- U' Q5 ^1 W) Z: X
34.             elif  tagb2 in line:
    . g3 ~$ j$ ^% r
35.                 inputbuffer = line[line.index(tagb2):]
    6 U" [2 d+ g9 z3 O) z6 O% n. U/ W
36.                 append = True
    ' W% @! H$ ~1 P8 X5 X
37.             #~ elif b'</tu>' in line:
    
38.             elif tagb3 in line:
    0 U6 l' N* r, A3 M8 y
39.                 inputbuffer += line[:line.index(tagb3) + len(tagb3)]
    / t3 \8 |: ?' L6 {. G( p/ m! w
40.                 append = False
    
41.                 yield inputbuffer
    
42.                 #~ docitem = process_buffer(inputbuffer, id_num)
    
43.                 #~ print(id_num)
    9 ~+ G/ E8 w: R0 }$ H6 B& t
44.                 #~ id_num += 1
    
45.                 inputbuffer = b''
    ; V# G/ U' L6 G& j* o8 Q
46.             elif append:
    
47.                 inputbuffer += line

复制代码

" |/ a6 p  ?1 R- ]8 `! {) U
这么多人找这东西？我过一阵打包发个小工具。
0 m& Y7 i2 c/ [* W$ ?) h& _; ]
' b9 l* b( I) r" q上面的python3函数用法
resu = ''
, `- S, o  a' v; h+ x6 ~for elm in xml_iter(filename, 'tu'):
8 l2 t% U/ L( A; g6 T4 H. b    resu += elm
4 e4 i: i; T* \  D3 i, ?# F
内存足迹极小……不管文件多大。

jonah_w

这个工具链接失效了，可以再分享下么

jonah_w

mikeee 发表于 2018-11-16 21:27
这么多人找这东西？我过一阵打包发个小工具。
1 \/ `! F3 U! q, P
  q3 p$ R" o( M5 Q* z上面的python3函数用法

* b8 b5 T0 i. t7 `2 W. Z就喜欢这种一言不合自己写工具的，后面看看你的代码