分割xml/html等文件必备：xmlsplit

hyln9 · 发表于 2013-11-24 17:50:00

本帖最后由 hyln9 于 2013-11-24 22:55 编辑

之前打算制作英文维基20131104（https://www.pdawiki.com/forum/thread-11455-1-1.html），47.2GB的xml实在是让我无语，后来在o大的指导下找见了不错的replace pioneer,但是分割处理这么大的文件依然不给力。几经周折，找见了这款鲜为人知但是功能极为强大的xml分割工具，可以分割我的47.2gb的xml。售价貌似99刀，我只是想试用一下，没想到有1gb限制，所以自编程序怒破解之，分享给大家，但是仅限私下使用哦

此软件为英文，但是功能确实很强大，截几张图给大家吧：

ps:不知道为什么i-wiki大大的引擎出了什么问题，无法转换。问题是我随便转了某个较小的外语xml成功，转换这个却失败，悲催啊，求教

所以先放出这个工具给大家带来点方便。

破解方法：先安装程序。之后把XmlSplit_Crack.exe改名为XmlSplit.exe放入程序文件夹内覆盖原文件（源文件必须备份），运行程序，随便输XXX就注册成功了，然后恢复原来的XmlSplit.exe即可。天杀的360竟然报毒！请关闭360，注册完以后就可以打开360了。

http://pan.baidu.com/s/1eQoIY
密码pqw4

hyln9 · 发表于 2013-11-24 22:45:37

此楼备用

Oeasy · 发表于 2013-11-24 22:50:06

关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.html相册里都100+张图了），再从相册中选择图片插入，注意验证回答上方“本地化远程图片”前的复选框不要勾选！！！这样图片就能大大地显示出来了。{:5_227:}

hyln9 · 发表于 2013-11-24 22:51:41

Oeasy 发表于 2013-11-24 22:50 : Z! @: Y+ e" w9 E4 |7 G5 {
关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.htm ...

我说是怎么回事，谢谢了！

yisdict · 发表于 2013-11-24 22:55:32

可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

hyln9 · 发表于 2013-11-24 23:05:42

yisdict 发表于 2013-11-24 22:55 ' M7 d; A' g3 J# h L' k
可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

谢谢，我试试！不过aard是什么？

hyln9 · 发表于 2013-11-24 23:08:59

本帖最后由 hyln9 于 2013-11-24 23:16 编辑

hyln9 发表于 2013-11-24 23:05 % W' t& O5 m8 M" I9 D4 E8 U1 {9 b
谢谢，我试试！不过aard是什么？

哦，aard查到了，比我现在用的好啊！我现在用fastwiki和kiwix，前者有公式制作工具不过排版一般，后这简直是完美的无图wiki，但是英文版太大了只更新到了2012年，中文有2013的，不过有mdict版的了，也就不用了。

现在没有linux环境，看来得过一段时间再说了。另外期待唯吾无为老大的新引擎！

STFU · 发表于 2013-11-25 01:37:03

lz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

hyln9 · 发表于 2013-11-25 17:20:44

STFU 发表于 2013-11-25 01:37
+ W: g6 A. x2 d" f8 Ulz可以寫破解的程式?!: y! S6 e6 E! w) p8 N0 Q+ W5 l4 Z
那怎麼沒試試寫解析的引擎?!

引擎太复杂，我又没时间

其实这个程序破解起来还是比较容易的,我就是把它的验证给替换了一下而已。

hyln9 · 发表于 2013-12-3 18:52:58

图片算是显示完整了

louislaolu · 发表于 2013-12-3 19:28:37

凡是能够编写程序，我都100分的崇拜。

163.wangg · 发表于 2014-11-26 11:07:25

辛苦支持

blueyi · 发表于 2014-12-29 13:56:42

能不能再发分享一次，谢谢

blueyi · 发表于 2014-12-31 13:10:51

楼主能不能把那XMLSPLIT再给我分享一份，谢谢

timrabin · 发表于 2018-5-14 00:42:57

求分享xmlsplit，打不开了。谢谢！

GL_n · 发表于 2018-5-14 06:21:32

请问楼主@hyln9能否重新分享一下你的百度盘链接？

zengjatzau · 发表于 2018-11-16 20:03:31

网盘链接已失效，能否再分享一次?

mikeee · 发表于 2018-11-16 21:27:49

'''/ ^, Z) U K) |6 h
Based on xmllarge.py9 D% A# g# t; n K, R6 I: I" z2 t: Z
'''; Q. V: Z3 H. d0 ~8 p. ~8 A
# from pyquery import PyQuery as pq
" y4 F# E) y. C, @4 Z
from pathlib import Path
. g$ F' A0 a" q; V. @2 T3 R7 H& ?& q
5 s: S) |+ S' e9 g) c1 A" H
; b! s2 _. _+ [/ o
def xml_iter(file, tag):
6 `7 @6 q3 ], C" y$ I4 }& [
'''3 o/ h' `$ Q0 S
Process huge xml files
3 f+ `0 k; J! X4 S' w q" a
<tag> </tag> need to be in separate lines- h$ a+ q/ n6 Y9 J8 o& t
# TODO: in the middle of lines
$ N' f# N) k) D) x0 H9 v; E! N
" Z2 N* s q# a' d' }& w
:file: file path
) V6 _# L( m0 } G b2 U% E, |
:tag: element to retrieve
# A. }( P5 T3 C+ K" I
'''
. M9 c, S: S( ^
tagb1 = '<' + tag + '>'( ~) h: R$ ?6 k6 `7 W) ~- ]6 B
tagb1 = tagb1.encode()) o# L! L# S6 e5 |5 _
6 {7 Y7 Z5 Q: g2 v
+ l8 r R1 l7 @" u* x5 @7 M7 n7 A
tagb2 = '<' + tag + ' '
5 I& H p) c ^( }. o- i( I% Q
tagb2 = tagb2.encode()' _$ T& B$ b& D- @
. t/ \" f- V; k' N' |
tagb3 = '</' + tag + '>'9 G7 U9 R# @/ e4 n
tagb3 = tagb3.encode()5 r# t6 E# q9 G
+ |" f8 w( z# z8 e% T/ {
with open(file, 'rb') as inputfile:
* j7 k7 b( _9 L
append = False
s7 ^8 N/ R" C5 x6 Y, f
for line in inputfile:, T/ p/ B$ `0 D. f d4 C- v
#~ if b'<tu>' in line or b'<tu ' in line:. j* H5 ]: l. s# n" L# Z
if tagb1 in line:) X! Y5 C+ H3 Z9 v" T0 W: A
inputbuffer = line[line.index(tagb1):]4 [/ p0 H1 F1 r% r4 D1 o! w' `, H
append = True, `6 U5 n; X4 O1 M
elif tagb2 in line:
8 M) C% e2 b. Y _1 X4 B* }/ ]
inputbuffer = line[line.index(tagb2):]! n( p- q2 H; ]0 M
append = True
1 c+ v; |7 |' I9 f
#~ elif b'</tu>' in line:; M5 W& ]( d) L4 P3 {# D
elif tagb3 in line:
- o5 N( V1 s( f" W* v
inputbuffer += line[:line.index(tagb3) + len(tagb3)]0 h `6 p7 a/ A7 n2 a* B3 ~
append = False9 b# [2 g8 L8 \
yield inputbuffer! X' W" ]- x [, d) A
#~ docitem = process_buffer(inputbuffer, id_num)
) M! C3 Q2 X9 j5 I: [' W
#~ print(id_num)
' G, K7 ~# |2 J* _& k- [
#~ id_num += 1
* c* ^/ `$ H) V6 z( U
inputbuffer = b''
$ t) i8 _/ P/ w/ E
elif append:+ m% j0 B' |' l. w% X7 ~) F5 `
inputbuffer += line

复制代码

这么多人找这东西？我过一阵打包发个小工具。

上面的python3函数用法
resu = ''
for elm in xml_iter(filename, 'tu'):
resu += elm

内存足迹极小……不管文件多大。

jonah_w · 发表于 2019-1-19 18:47:48

这个工具链接失效了，可以再分享下么

jonah_w · 发表于 2019-1-19 18:48:19

mikeee 发表于 2018-11-16 21:277 {1 y% Z# m- _: {. O
这么多人找这东西？我过一阵打包发个小工具。! v1 u- D1 g7 J3 K' M8 ?* x0 i; A* J

7 X$ [) K' w2 H# l) S上面的python3函数用法

就喜欢这种一言不合自己写工具的，后面看看你的代码

		自动登录	找回密码
密码			免费注册

[工具] 分割xml/html等文件必备：xmlsplit

本帖子中包含更多资源