维基百科转mdx源文件制作工具

发哥

功能：
将所有mediawiki生成的dump文件转换为mdx html utf-8格式 可处理链接等一些东东。在条目大于1000000条时，会自动分割。如果想放到一起，可以用textforever再合并（超过1000000w条得wiki太大了。。，应该是其他语言的，非中文）

; L2 P: I& v8 u5 {生成的文件名为wiki2mdx0.txt wiki2mdx1.txt等等

适用范围：
9 C3 F, Y1 @; lhttp://download.wikipedia.org里所有的xml文件:lol
0 g$ K1 B4 s7 r1 w( R( ?* ]
: }- T) h# B. C4 R. f
用法：
5 E; R4 s/ O& w5 ]: C9 b6 j) O1.cmd下 wiki2mdx abkdkeaf.xml
2.解压到和xml文件相同的目录下，把xml文件拖到此程序上，自动开始转换
  ?5 j# P5 z8 d9 m; m
下载地址：http://daminghome.com/tools/wiki2mdx.rar

! {  P0 S; Q  Z2 a; s! \http://blog.daminghome.com/tools/wiki2mdx.rar
4 C. |, ?% h; X) I1 U' Y

优点：
' g6 i$ R2 B/ ^* y- E基本不占内存，不影响正常上网。

缺点：
结构过于简单。最后会报一下无法找到吓一条的错误。懒得加判断了。～


1 n7 u0 t: _# \7 w作者：

: K* [1 Q6 d& o. i我码出来的。。。

: K. T0 D5 |; N6 H[ 本帖最后由 发哥 于 2009-3-14 19:26 编辑 ]

发哥

速度视CPU牛B与否而定。
& ]2 H5 ^; z8 b. U# w) ^% U至强四核酷睿二大概是50页每秒
t5500的笔记本开最低频率是17页每秒左右。
4 [' v4 O6 m' t3 [0 D' D/ R生成的txt文件html标签较多，压缩率在26%左右。生成的txt比xml文件大一些。

发哥

增加了一个自由指定最大页数的版本。
% [: y) c' f3 \  s- W就是不能拖动着用了
http://daminghome.com/tools/wiki2mdxa.rar

发哥

压缩率20%
试了个日文的。

ldlcau

不错的帖子，谢谢楼主的努力和辛苦。

第3001人

感谢提供

ern

呵呵，感谢一下。

tony4d

原帖由 发哥 于 2009-1-14 19:59 发表
5 c4 z1 G( Q# K( i增加了一个自由指定最大页数的版本。
就是不能拖动着用了
' Z. ~: v2 U" k1 _http://daminghome.com/tools/wiki2mdxa.rar

1 i+ p2 n; Y5 G- ^运行后提示说"MUST SPECIFY THE MAX PAGE OF THE FILE"
; ?+ g5 S0 m& P( j' Q请问怎么指定最大页数？

tony4d

今天提取WIKI DIC日语版时出现错误提示无法转换：
$ _: c7 T1 q3 f' D! S9 u9 _6 l+ @"unable to handle any case setting besides 'first-letter' at w2.pl line 18."

发哥

原帖由 tony4d 于 2009-2-6 08:57 发表
; C) [" Q2 `  ?6 k) L% e今天提取WIKI DIC日语版时出现错误提示无法转换：
# {, U2 c0 K* _7 X"unable to handle any case setting besides 'first-letter' at w2.pl line 18."

7 X0 Q& g# J6 O  K, W别理会这个..你看生成文件了没..
我忘记怎么指定页数了..
. f! n8 j: Q! X& H- s, E你在cmd下敲一下这个命令看看...

tony4d

没有任何文件生成
/ c4 C, Q5 t& h要不你下载这个维基日文词典源文件看下是怎么回事
http://www.namipan.com/d/0203.xm ... 73d014c0094af5b5a03

发哥

不能处理分段的。。只能一次读一个整dump文件。。

tony4d

啥意思啊。是我下载错了，还是维基词典的格式就是不行？
那MAC那英文维基词典是用什么工具做的啊，可否分享一下，我想做下这个日语维基词典。

发哥

我只分析了维基百科和文库。辞典没注意过。貌似差不多吧。。这个程序本来是我写来处理英文维基的副产品。。
9 O8 c' h  c( F( q8 F6 e
mac的词典是用原先的一个工具做的。。你发短信找他要就对了。

Macli

转换工具在这儿：
: K# R" N2 a1 E
https://pdawiki.com/forum/viewth ... mp;highlight=wikito

shinsenlin

wiki2mdx转换后找不到生成的文件

tony4d

在 C:\Documents and Settings\用户名\

borton

几位大佬授人以渔，实在感谢。

santich

报告使用结果：
7 G1 t7 R9 ]# Q5 ^我在转换西班牙文维基时报错，没有生成任何文本。西班牙文维基词条超过100万，xml文件体积在1.6G左右。
, Q, s) S( [9 |5 p- u: }0 G
/ h2 a, K8 u' }0 d  S: g+ E1 g还请楼主解惑，谢谢了。

pdawiki

wiki的图片文件是哪一个？
怎样制作有图片的wiki百科？
" p: ]! v2 F/ ~- T: N! g% U6 W3 L; s谢谢！