分割xml/html等文件必备：xmlsplit

hyln9 · 发表于 2013-11-24 17:50:00

本帖最后由 hyln9 于 2013-11-24 22:55 编辑

之前打算制作英文维基20131104（https://www.pdawiki.com/forum/thread-11455-1-1.html），47.2GB的xml实在是让我无语，后来在o大的指导下找见了不错的replace pioneer,但是分割处理这么大的文件依然不给力。几经周折，找见了这款鲜为人知但是功能极为强大的xml分割工具，可以分割我的47.2gb的xml。售价貌似99刀，我只是想试用一下，没想到有1gb限制，所以自编程序怒破解之，分享给大家，但是仅限私下使用哦

此软件为英文，但是功能确实很强大，截几张图给大家吧：

ps:不知道为什么i-wiki大大的引擎出了什么问题，无法转换。问题是我随便转了某个较小的外语xml成功，转换这个却失败，悲催啊，求教

所以先放出这个工具给大家带来点方便。

破解方法：先安装程序。之后把XmlSplit_Crack.exe改名为XmlSplit.exe放入程序文件夹内覆盖原文件（源文件必须备份），运行程序，随便输XXX就注册成功了，然后恢复原来的XmlSplit.exe即可。天杀的360竟然报毒！请关闭360，注册完以后就可以打开360了。

http://pan.baidu.com/s/1eQoIY
密码pqw4

hyln9 · 发表于 2013-11-24 22:45:37

此楼备用

Oeasy · 发表于 2013-11-24 22:50:06

关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.html相册里都100+张图了），再从相册中选择图片插入，注意验证回答上方“本地化远程图片”前的复选框不要勾选！！！这样图片就能大大地显示出来了。{:5_227:}

hyln9 · 发表于 2013-11-24 22:51:41

Oeasy 发表于 2013-11-24 22:50 $ G+ ?: M$ @9 n$ w
关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.htm ...

我说是怎么回事，谢谢了！

yisdict · 发表于 2013-11-24 22:55:32

可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

hyln9 · 发表于 2013-11-24 23:05:42

yisdict 发表于 2013-11-24 22:55 7 S I! R: L( o: p
可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

谢谢，我试试！不过aard是什么？

hyln9 · 发表于 2013-11-24 23:08:59

本帖最后由 hyln9 于 2013-11-24 23:16 编辑

hyln9 发表于 2013-11-24 23:05 2 U9 @5 P5 O- C x8 ?
谢谢，我试试！不过aard是什么？

哦，aard查到了，比我现在用的好啊！我现在用fastwiki和kiwix，前者有公式制作工具不过排版一般，后这简直是完美的无图wiki，但是英文版太大了只更新到了2012年，中文有2013的，不过有mdict版的了，也就不用了。

现在没有linux环境，看来得过一段时间再说了。另外期待唯吾无为老大的新引擎！

STFU · 发表于 2013-11-25 01:37:03

lz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

hyln9 · 发表于 2013-11-25 17:20:44

STFU 发表于 2013-11-25 01:37 % o( d% r1 e- A8 [5 j0 p
lz可以寫破解的程式?!! b+ L0 `% a7 _" d5 w+ Y* t, _
那怎麼沒試試寫解析的引擎?!

引擎太复杂，我又没时间

其实这个程序破解起来还是比较容易的,我就是把它的验证给替换了一下而已。

hyln9 · 发表于 2013-12-3 18:52:58

图片算是显示完整了

louislaolu · 发表于 2013-12-3 19:28:37

凡是能够编写程序，我都100分的崇拜。

163.wangg · 发表于 2014-11-26 11:07:25

辛苦支持

blueyi · 发表于 2014-12-29 13:56:42

能不能再发分享一次，谢谢

blueyi · 发表于 2014-12-31 13:10:51

楼主能不能把那XMLSPLIT再给我分享一份，谢谢

timrabin · 发表于 2018-5-14 00:42:57

求分享xmlsplit，打不开了。谢谢！

GL_n · 发表于 2018-5-14 06:21:32

请问楼主@hyln9能否重新分享一下你的百度盘链接？

zengjatzau · 发表于 2018-11-16 20:03:31

网盘链接已失效，能否再分享一次?

mikeee · 发表于 2018-11-16 21:27:49

'''
$ F3 _6 T- J& o7 m
Based on xmllarge.py) ]6 K# { P+ @5 j7 ?9 g. H! Z
'''
2 v6 Q5 Z$ E& ]2 w% w% w
# from pyquery import PyQuery as pq$ T: `- }) ^+ N F0 \
from pathlib import Path
2 K& Z+ {6 D- f7 O
! \% _/ i# y, f$ w/ o3 S+ T
& @- ?! U; n* x6 n0 u" T
def xml_iter(file, tag):+ L( v. v+ o0 K& v s' f
'''7 D: D- U3 {) _) } J( \" P
Process huge xml files% t Q+ {9 N, ~, L8 G
<tag> </tag> need to be in separate lines
: h# k7 e9 \' w% L! f" K
# TODO: in the middle of lines
8 F i. B) m' y
" I+ G( R9 B" S- G% X
:file: file path3 d% h/ I6 A5 V/ K: T. y, F
:tag: element to retrieve1 n- I7 h8 V0 m- E, B
'''2 t( S* M* u) y# W7 S2 M* D: t
tagb1 = '<' + tag + '>'; k+ ?8 }0 V% ^
tagb1 = tagb1.encode()
7 k: x* ]9 x& {6 \ D
1 ^* j; a3 f$ J# k
7 Y C& T, u% k$ N/ Y9 @
tagb2 = '<' + tag + ' '/ B$ p% F _2 q0 ^: x; @; c
tagb2 = tagb2.encode()
5 ]$ F7 I- h6 d! G
& H' v' A6 ?1 _9 I# F
tagb3 = '</' + tag + '>'
8 j. b9 P [- [9 }0 z
tagb3 = tagb3.encode()
0 \3 {* m1 q$ O& l* q
- J5 L% Z6 R; t& ~, l) Y5 Y
with open(file, 'rb') as inputfile:
; A" B; S* x$ e. M* ~5 n4 {9 b! K3 [
append = False* b+ Q# a4 {4 ?3 e: v6 v; F
for line in inputfile:
. m( X( U; ~5 e4 J( H# b
#~ if b'<tu>' in line or b'<tu ' in line:% p) V) p/ Z a- h z8 U
if tagb1 in line:* T* { U$ X0 {# {
inputbuffer = line[line.index(tagb1):]2 ~$ I8 q- L. z0 {/ j( c- x
append = True3 Z4 t' x. T- b& @/ R( Y
elif tagb2 in line:. A, n2 }; ~+ b9 q
inputbuffer = line[line.index(tagb2):]2 `9 i$ n4 G3 Z1 s9 ]
append = True" G y9 N) [; l: M; ~
#~ elif b'</tu>' in line:0 Z4 D9 v6 S+ `* n6 r
elif tagb3 in line:* F+ k$ F8 T6 G+ w" s! P
inputbuffer += line[:line.index(tagb3) + len(tagb3)]. L3 o% a) u& k2 n7 l( T% U+ W; F
append = False* I. m2 K# X& p8 x" I2 C3 H
yield inputbuffer2 p3 L/ u1 N6 a) d+ [& N; I' S
#~ docitem = process_buffer(inputbuffer, id_num). X. u1 D( Y! B1 P% C; _& Z2 J0 O
#~ print(id_num)
3 {: l/ q, \6 v
#~ id_num += 1: a% t" v5 x. A8 |% T
inputbuffer = b''+ a( L& E- ^- E" m' E+ d+ m" q
elif append:1 x* i& E+ \( c1 E2 g5 e7 F8 r
inputbuffer += line

复制代码

这么多人找这东西？我过一阵打包发个小工具。

上面的python3函数用法
resu = ''
for elm in xml_iter(filename, 'tu'):
resu += elm

内存足迹极小……不管文件多大。

jonah_w · 发表于 2019-1-19 18:47:48

这个工具链接失效了，可以再分享下么

jonah_w · 发表于 2019-1-19 18:48:19

mikeee 发表于 2018-11-16 21:275 {9 @6 p& S, I" \: M/ F
这么多人找这东西？我过一阵打包发个小工具。
% A b, I0 i9 _3 A( N, N9 X- [$ n, T; S& N- Z
上面的python3函数用法

就喜欢这种一言不合自己写工具的，后面看看你的代码

		自动登录	找回密码
密码			免费注册

[工具] 分割xml/html等文件必备：xmlsplit

本帖子中包含更多资源