掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 7973|回复: 19

[工具] 维基百科转mdx源文件制作工具

[复制链接]
  • TA的每日心情
    开心
    2018-7-19 02:16
  • 签到天数: 20 天

    [LV.4]偶尔看看III

    发表于 2009-1-14 19:17:42 | 显示全部楼层 |阅读模式
    功能:
    8 @/ i4 K  ^! a& h  V将所有mediawiki生成的dump文件转换为mdx html utf-8格式 可处理链接等一些东东。在条目大于1000000条时,会自动分割。如果想放到一起,可以用textforever再合并(超过1000000w条得wiki太大了。。,应该是其他语言的,非中文)
      h- k8 z3 I* U. i% R
    8 ^! ?( a$ Y: V% _" K. [4 J, F生成的文件名为wiki2mdx0.txt wiki2mdx1.txt等等! ]" M1 a; z( D3 e( S3 k8 H, g
    + S) S1 z  {1 `
    适用范围:, i8 _4 c3 E- d& U
    http://download.wikipedia.org里所有的xml文件:lol9 a' w  C9 t4 k  @% q3 P
    1 a8 k- \& Q4 N4 V9 {* Z& t  v
    ) a. a( g8 g# u- S3 H, v4 c6 c* k
    用法:
    * I1 ?! P5 n! x9 H& L9 K6 _# v1.cmd下 wiki2mdx abkdkeaf.xml
    9 g$ u9 w/ u7 H7 ?( [2.解压到和xml文件相同的目录下,把xml文件拖到此程序上,自动开始转换
    5 @/ a  J8 s. y+ G- b2 ^
    & D+ n: j) i! ]4 w下载地址:http://daminghome.com/tools/wiki2mdx.rar
    / ]1 y) C* l/ T! _/ b) F: s. j/ ^- h9 T* I" W: W. }2 B
    http://blog.daminghome.com/tools/wiki2mdx.rar5 X7 u2 \8 Q# G! |, S/ ^$ ~+ [
    0 J3 w% d- m( S, M( n! X6 l7 A2 r
    ; ~( l( [4 `: ?* R, S
    优点:' x: `4 t" Y, Q3 s6 A
    基本不占内存,不影响正常上网。
    8 Q0 E, T; f5 j- m
    % {, [& c( r$ F7 B$ R9 Q缺点:
    & c( u: ^: {' G结构过于简单。最后会报一下无法找到吓一条的错误。懒得加判断了。~
    ( D9 Y3 u: d5 c6 R! P9 _, j: n" G  i; R& y  u
    9 R+ R& l/ V( R- K+ s$ k
    作者:) d* w8 W! x) A1 m) J; T8 m
    9 \! H9 U- I1 D! r- ^+ `8 V# e
    我码出来的。。。- N% V# P) }3 p3 P" U

    0 f. J  Q: B+ M2 r/ F/ i+ X[ 本帖最后由 发哥 于 2009-3-14 19:26 编辑 ]

    评分

    1

    查看全部评分

  • TA的每日心情
    开心
    2018-7-19 02:16
  • 签到天数: 20 天

    [LV.4]偶尔看看III

     楼主| 发表于 2009-1-14 19:30:16 | 显示全部楼层
    速度视CPU牛B与否而定。
    * E  d3 j; D" _: v6 q/ h/ s! C至强四核酷睿二大概是50页每秒
    ; f3 R9 y  ~2 r1 mt5500的笔记本开最低频率是17页每秒左右。* Y! ~" I# f, r5 a& o
    生成的txt文件html标签较多,压缩率在26%左右。生成的txt比xml文件大一些。
  • TA的每日心情
    开心
    2018-7-19 02:16
  • 签到天数: 20 天

    [LV.4]偶尔看看III

     楼主| 发表于 2009-1-14 19:59:31 | 显示全部楼层
    增加了一个自由指定最大页数的版本。, Q- ^" [& x- x8 }+ h
    就是不能拖动着用了
    ! c$ D, m8 b3 \# x9 W: V' H- @http://daminghome.com/tools/wiki2mdxa.rar
  • TA的每日心情
    开心
    2018-7-19 02:16
  • 签到天数: 20 天

    [LV.4]偶尔看看III

     楼主| 发表于 2009-1-14 23:58:42 | 显示全部楼层
    压缩率20%
    ( D# M' {; I  |' C6 G' O; L' [试了个日文的。
  • TA的每日心情
    开心
    2018-10-17 09:01
  • 签到天数: 18 天

    [LV.4]偶尔看看III

    发表于 2009-1-15 10:48:50 | 显示全部楼层
    不错的帖子,谢谢楼主的努力和辛苦。

    该用户从未签到

    发表于 2009-1-17 11:50:21 | 显示全部楼层
    感谢提供

    该用户从未签到

    发表于 2009-1-20 23:01:56 | 显示全部楼层
    呵呵,感谢一下。

    该用户从未签到

    发表于 2009-1-22 15:58:17 | 显示全部楼层
    原帖由 发哥 于 2009-1-14 19:59 发表 - e  n' n# L6 }  W- ]- z# r
    增加了一个自由指定最大页数的版本。
    0 b2 ]5 C3 @* s3 G就是不能拖动着用了
    1 I. c9 G' P$ q/ |8 K' _0 zhttp://daminghome.com/tools/wiki2mdxa.rar
    ! H6 c& a2 ~! M, l, }$ `) @

    4 E' M0 U( L6 |2 \- W6 R, G( @: R  Z运行后提示说"MUST SPECIFY THE MAX PAGE OF THE FILE"
    & g, a* S$ W. ^% _, o请问怎么指定最大页数?

    该用户从未签到

    发表于 2009-2-6 08:57:31 | 显示全部楼层
    今天提取WIKI DIC日语版时出现错误提示无法转换:9 ]# u; w4 t- s2 j- @: |
    "unable to handle any case setting besides 'first-letter' at w2.pl line 18."
  • TA的每日心情
    开心
    2018-7-19 02:16
  • 签到天数: 20 天

    [LV.4]偶尔看看III

     楼主| 发表于 2009-2-6 11:41:49 | 显示全部楼层
    原帖由 tony4d 于 2009-2-6 08:57 发表 ) D9 `4 h/ i$ A* J& b5 d( w
    今天提取WIKI DIC日语版时出现错误提示无法转换:
    3 o/ x0 f) v" B; M2 b5 {"unable to handle any case setting besides 'first-letter' at w2.pl line 18."
    " z5 x* T& B, }- c4 k6 N
    别理会这个..你看生成文件了没..# r" ]/ K/ l0 d) f" ^1 f
    我忘记怎么指定页数了..
    " n% |. }. G& \+ r你在cmd下敲一下这个命令看看...

    该用户从未签到

    发表于 2009-2-6 12:20:33 | 显示全部楼层

    回复 10楼 发哥 的帖子

    没有任何文件生成5 z; h4 u; ^+ D0 t, F5 {* x
    要不你下载这个维基日文词典源文件看下是怎么回事
    0 S6 f' T- |6 B/ ^7 n: B. E( Rhttp://www.namipan.com/d/0203.xm ... 73d014c0094af5b5a03
  • TA的每日心情
    开心
    2018-7-19 02:16
  • 签到天数: 20 天

    [LV.4]偶尔看看III

     楼主| 发表于 2009-2-6 16:17:47 | 显示全部楼层
    不能处理分段的。。只能一次读一个整dump文件。。

    该用户从未签到

    发表于 2009-2-6 16:47:50 | 显示全部楼层

    回复 12楼 发哥 的帖子

    啥意思啊。是我下载错了,还是维基词典的格式就是不行?
    & j- ], @& Q9 \7 I( x: t' V那MAC那英文维基词典是用什么工具做的啊,可否分享一下,我想做下这个日语维基词典。
  • TA的每日心情
    开心
    2018-7-19 02:16
  • 签到天数: 20 天

    [LV.4]偶尔看看III

     楼主| 发表于 2009-2-6 18:15:15 | 显示全部楼层
    我只分析了维基百科和文库。辞典没注意过。貌似差不多吧。。这个程序本来是我写来处理英文维基的副产品。。
    & o& J5 j; H, g0 f1 ]
    ; {5 Q, K. D- n7 x+ o% Tmac的词典是用原先的一个工具做的。。你发短信找他要就对了。

    该用户从未签到

    发表于 2009-2-6 21:37:44 | 显示全部楼层
    转换工具在这儿:/ ~6 p8 V- f6 Q9 j( q
    & L, a& v8 J) h" r: T+ O
    https://pdawiki.com/forum/viewth ... mp;highlight=wikito
  • TA的每日心情
    开心
    2018-4-28 13:02
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2009-3-7 10:08:24 | 显示全部楼层

    wiki2mdx文件生成

    wiki2mdx转换后找不到生成的文件

    该用户从未签到

    发表于 2009-3-7 11:38:02 | 显示全部楼层
    在 C:\Documents and Settings\用户名\

    该用户从未签到

    发表于 2009-3-7 23:35:33 | 显示全部楼层
    几位大佬授人以渔,实在感谢。

    该用户从未签到

    发表于 2009-3-18 03:08:57 | 显示全部楼层
    报告使用结果:3 t- t9 \9 |" D. s2 x
    我在转换西班牙文维基时报错,没有生成任何文本。西班牙文维基词条超过100万,xml文件体积在1.6G左右。: V( T5 _: _5 H) a
    1 m# R/ O: {( t& A  I6 G- U  q
    还请楼主解惑,谢谢了。

    该用户从未签到

    发表于 2009-5-6 20:31:44 | 显示全部楼层
    wiki的图片文件是哪一个?
    3 M, e9 Y4 i; `8 Z& S! e9 X8 x- C; d3 }怎样制作有图片的wiki百科?
    0 u, s* }0 ?4 b# f" ~谢谢!
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2024-4-19 09:56 , Processed in 0.219194 second(s), 15 queries , MemCache On.

    Powered by Discuz! X3.4

    Copyright © 2001-2023, Tencent Cloud.

    快速回复 返回顶部 返回列表