分割xml/html等文件必备：xmlsplit

hyln9 · 发表于 2013-11-24 17:50:00

本帖最后由 hyln9 于 2013-11-24 22:55 编辑

之前打算制作英文维基20131104（https://www.pdawiki.com/forum/thread-11455-1-1.html），47.2GB的xml实在是让我无语，后来在o大的指导下找见了不错的replace pioneer,但是分割处理这么大的文件依然不给力。几经周折，找见了这款鲜为人知但是功能极为强大的xml分割工具，可以分割我的47.2gb的xml。售价貌似99刀，我只是想试用一下，没想到有1gb限制，所以自编程序怒破解之，分享给大家，但是仅限私下使用哦

此软件为英文，但是功能确实很强大，截几张图给大家吧：

ps:不知道为什么i-wiki大大的引擎出了什么问题，无法转换。问题是我随便转了某个较小的外语xml成功，转换这个却失败，悲催啊，求教

所以先放出这个工具给大家带来点方便。

破解方法：先安装程序。之后把XmlSplit_Crack.exe改名为XmlSplit.exe放入程序文件夹内覆盖原文件（源文件必须备份），运行程序，随便输XXX就注册成功了，然后恢复原来的XmlSplit.exe即可。天杀的360竟然报毒！请关闭360，注册完以后就可以打开360了。

http://pan.baidu.com/s/1eQoIY
密码pqw4

hyln9 · 发表于 2013-11-24 22:45:37

此楼备用

Oeasy · 发表于 2013-11-24 22:50:06

关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.html相册里都100+张图了），再从相册中选择图片插入，注意验证回答上方“本地化远程图片”前的复选框不要勾选！！！这样图片就能大大地显示出来了。{:5_227:}

hyln9 · 发表于 2013-11-24 22:51:41

Oeasy 发表于 2013-11-24 22:50
/ r) {6 k2 Z, H, [ x. l# K9 n3 l关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.htm ...

我说是怎么回事，谢谢了！

yisdict · 发表于 2013-11-24 22:55:32

可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

hyln9 · 发表于 2013-11-24 23:05:42

yisdict 发表于 2013-11-24 22:55 % u, i4 W+ z8 [$ y; c
可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

谢谢，我试试！不过aard是什么？

hyln9 · 发表于 2013-11-24 23:08:59

本帖最后由 hyln9 于 2013-11-24 23:16 编辑

hyln9 发表于 2013-11-24 23:05 , O2 k8 Z- f! d/ a( U7 v" X
谢谢，我试试！不过aard是什么？

哦，aard查到了，比我现在用的好啊！我现在用fastwiki和kiwix，前者有公式制作工具不过排版一般，后这简直是完美的无图wiki，但是英文版太大了只更新到了2012年，中文有2013的，不过有mdict版的了，也就不用了。

现在没有linux环境，看来得过一段时间再说了。另外期待唯吾无为老大的新引擎！

STFU · 发表于 2013-11-25 01:37:03

lz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

hyln9 · 发表于 2013-11-25 17:20:44

STFU 发表于 2013-11-25 01:37 / S+ X, [8 `( W( G- d
lz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

引擎太复杂，我又没时间

其实这个程序破解起来还是比较容易的,我就是把它的验证给替换了一下而已。

hyln9 · 发表于 2013-12-3 18:52:58

图片算是显示完整了

louislaolu · 发表于 2013-12-3 19:28:37

凡是能够编写程序，我都100分的崇拜。

163.wangg · 发表于 2014-11-26 11:07:25

辛苦支持

blueyi · 发表于 2014-12-29 13:56:42

能不能再发分享一次，谢谢

blueyi · 发表于 2014-12-31 13:10:51

楼主能不能把那XMLSPLIT再给我分享一份，谢谢

timrabin · 发表于 2018-5-14 00:42:57

求分享xmlsplit，打不开了。谢谢！

GL_n · 发表于 2018-5-14 06:21:32

请问楼主@hyln9能否重新分享一下你的百度盘链接？

zengjatzau · 发表于 2018-11-16 20:03:31

网盘链接已失效，能否再分享一次?

mikeee · 发表于 2018-11-16 21:27:49

'''
, k" P# X3 k1 T: h1 P
Based on xmllarge.py
& s- _ N2 u" g$ x
'''
! d/ J2 O W1 {6 y9 S
# from pyquery import PyQuery as pq
% S" _( v; A% V9 `( M. s
from pathlib import Path
6 R8 F% s2 j k$ P3 t3 v5 p
$ R3 x6 S7 G! Y' e
7 m+ N8 k% H4 }! u3 Y# d& A# W: h
def xml_iter(file, tag):
1 _9 Z: Q) ~( G- t; M9 e* V' U
'''; k d" d; T4 I `: [0 w
Process huge xml files
; B1 x; s+ f5 `& ]0 ]
<tag> </tag> need to be in separate lines7 p. h, H4 \$ }: H3 [; q; Z; X
# TODO: in the middle of lines1 e Q( q' x3 d N/ {' B
6 k7 \5 J4 x# v n# @1 O1 y" P# H
:file: file path# W4 |$ a% |4 Y. y" U+ j
:tag: element to retrieve
# V- s" f0 u1 w, W/ e# F5 X' w
'''
j& ~4 [# L! e6 n! A5 ~' J
tagb1 = '<' + tag + '>'% y& D5 I# w2 M! I% h G0 A: T, `8 B: [
tagb1 = tagb1.encode()) {0 f6 o; K, T9 o; E4 ]' V8 j0 F
- F3 L2 E, C* a' r1 t% s8 {) o. Q
- l' r. ?: _. \
tagb2 = '<' + tag + ' '/ u4 p2 @: b6 @: X
tagb2 = tagb2.encode()9 \7 ~ F9 o+ E
( P5 C! B k. {: N5 m! Z
tagb3 = '</' + tag + '>'
8 w; X' |# w' m1 n; p6 X+ I
tagb3 = tagb3.encode(). H* n p$ L0 J& {: C9 \5 O
- c) z* {7 q8 M: }' u o
with open(file, 'rb') as inputfile:& t; [! v, ^% M+ A
append = False
8 w5 m3 U$ a, s! Q7 u0 Y4 R
for line in inputfile:2 ^4 O5 o4 J: T3 ~& B, o/ B
#~ if b'<tu>' in line or b'<tu ' in line:
- H+ J F6 W' q# K, W. S5 w
if tagb1 in line:
& w4 f/ }! Y% C: v
inputbuffer = line[line.index(tagb1):]
7 x( t) Q" R T2 v& W- J" q' Z* o
append = True' p6 I: z, \1 q) k5 ], F/ H. R
elif tagb2 in line:
* j& s5 [3 |! k k6 I
inputbuffer = line[line.index(tagb2):]9 G. i& }: a% ~. }, \
append = True c; `+ `" y0 v ` R
#~ elif b'</tu>' in line:3 h: Q) f. n( _2 E
elif tagb3 in line:
. t2 F# A% R; T4 c: I) y
inputbuffer += line[:line.index(tagb3) + len(tagb3)]
( u6 c1 B* I& k" |, G
append = False0 w/ z1 a( ?; u! f1 @8 e8 K, ?0 _
yield inputbuffer! q2 R; a4 E9 I W7 z1 N
#~ docitem = process_buffer(inputbuffer, id_num)
9 @7 s! p3 U5 y: T ]+ q) ^, D8 F/ p
#~ print(id_num)
, c: V9 }. h6 u4 P# m; M
#~ id_num += 1& U$ F8 y a8 ]- o* _7 w
inputbuffer = b''
( l/ X* `) j/ q, P* u
elif append: W# V( P5 N3 J, W, I. h: g+ Z
inputbuffer += line

复制代码

这么多人找这东西？我过一阵打包发个小工具。

上面的python3函数用法
resu = ''
for elm in xml_iter(filename, 'tu'):
resu += elm

内存足迹极小……不管文件多大。

jonah_w · 发表于 2019-1-19 18:47:48

这个工具链接失效了，可以再分享下么

jonah_w · 发表于 2019-1-19 18:48:19

mikeee 发表于 2018-11-16 21:27
, I% m3 o6 a+ S0 _$ r8 x这么多人找这东西？我过一阵打包发个小工具。! [, M! L* x; y: U- L

3 J& J* Q a& k( Q" @上面的python3函数用法

就喜欢这种一言不合自己写工具的，后面看看你的代码

		自动登录	找回密码
密码			免费注册

[工具] 分割xml/html等文件必备：xmlsplit

本帖子中包含更多资源