掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 58514|回复: 107

[工具] 分享:i-wiki的中文WJ新引擎及教程

[复制链接]

该用户从未签到

发表于 2012-7-15 11:37:27 | 显示全部楼层 |阅读模式
本帖最后由 i-wiki 于 2013-4-9 08:59 编辑 + O2 W7 X2 m. W; M) H
0 _5 J' _1 \$ P' Y, H3 D
四月至今,发布了两个WJ百科词典,参见:( E, C5 B' q& ~8 b2 u# [
https://pdawiki.com/forum/thread-8946-1-6.html
7 Q3 i0 z8 F) h; C, Q4 Ghttps://pdawiki.com/forum/thread-9378-1-1.html! I# I# M) Q, m5 x
你还期待i-wiki继续发布新的吗?
% Q% c) a. W, _: g# ?% [谢谢大家的支持!可是,也许要让大家失望了,我不会再继续更新,除非有新的突破。" g) Q3 w: t. |  p, U' u
所以,今后大家要自己制作词典了。古语有云:“授人鱼,不如授人以渔”。虽然i-wiki不再发布新的词典,但是他自制的中文维基引擎就要和大家分享了,你也一样可以制作出精美的维基词典!8 X" u: C. O0 i! y5 I

0 C( N; ^* a* w. Z之前也有坛友问到试用引擎的事,可是程序还不完善,不好意思拿出来和大家见面。经过这一段时间的修改,自我感觉基本可用了,加上现在程序编写也遇到了瓶颈,索性就放出来让大家一起来试用,在使用中逐步改进。
3 @5 n+ l' p" n7 r0 o" q如果你能容忍6-13版的缺点,那么请接着往下看。. c- U, X3 P- `( u& q' h; ]
先上图,揭开新引擎的面纱。
# u4 O- R2 ^' p
5 c( k2 n, y% I5 p+ \( Y& C8 {
; k  Q5 }+ m9 m, `3 W" E' a8 S

5 d4 s0 i( Y, e( i2 \一、硬件要求:
2 u6 B8 L; t7 [配置总之越高越好。我自己制作2012-6-13版时用的笔记本是几年前的ThinkPad X200,CPU是酷睿II双核P8200(2.2GHz),内存2GB。大家现在的配置应该比这更好。$ \: J# q& \1 c( A4 C* Y+ e1 Z
* E5 l: a" x) H# A( U
二、软件环境:% a, @8 R, S+ ~- W" O7 e
在Windows XP中新引擎是绿色的,无需安装可直接运行。XP前的系统恐怕不行,之后的其他系统我没有测试,大家不妨试一试。& ?- Q9 [9 _2 c+ {( r

+ r% ?- ?! s, j三、操作步骤:
* E/ X9 m* I, b. _+ {$ U1、先下载中文维基文档,解压为XML;+ |9 O, `0 K0 ^
2、将此大文档分解为若干个100M左右的小文档;
7 g" J+ m7 E9 {7 s  c1 ^& ^0 A' G& s3、复制本程序到xml文档所在目录,或生成与本程序同名的.ini文本文件:
( T+ q6 I  \4 _8 d2 c    src=待处理的XML文件目录
4 {9 D8 L5 M, H% V8 X7 i! J    tar=输出目录
. K+ m$ F) E' g5 _    xml文件名列表) `% V3 u  g! `7 ^
4、运行本程序,处理完毕后可执行生成的.bat批处理文件将输出文件合并! U  w# M" }& D' Z+ a7 u) J7 }
5、将生成的cfg文件复制到MdxBuilder目录( B* B: ~' h5 b$ D7 I' E' n8 s; R
6、运行MdxBuilder.exe,制作词典。
+ I) u' r3 {% `+ S) a0 f& U5 h8 D2 e8 L6 c" }% G
四、简要说明:
" ~, q2 _4 w; Z( k7 U  A.本程序主要用于解析维基百科的Dump数据文件,生成符合MDict格式的Html文本文件。
& J  `; ~3 F. ^4 a! @% W  B.Dump数据文件必须分割为小于128MB的部分以便处理,超过128MB的文件会被忽略。! n$ j6 O! x. L( d% L
  C.操作步骤是可选的,点击链接可执行相应的步骤,第6步包含了第5步的复制操作。
1 m' ?' h6 \; G: L4 l6 r  D.如直接点击处理按钮则相当于从第3步开始,即对程序所在目录下的XML文件转换。$ }  a* P: W0 {1 U3 o: n% }+ X
  E.本程序遵循Copyleft规范,详见维基百科中的相关条目。
8 a8 G' M. m0 h  d6 |) w. ~9 D0 L9 n  W" e# v6 K
新引擎在这里5 D5 q4 r/ \5 g' O6 ~

1 N* ?: Z3 _% z
4 P% N; z7 i* @! K4 y8 J% J0 I3 ]. S4 O' ]1 X# O
五、文件说明:
3 l6 @; I" A+ n, h7 ]8 a" T, ^下载后只有1个主文件W2T.exe,Examples目录是给大家测试用的。运行后会在程序目录生成:
2 f, ~' d( [1 P) @' \E2C.ini        英中对照表。想到好多坛友都是英语高手,所以放出来让大家帮忙修改,如果看到条目中信息框中翻译得不好的、没有翻译的,大家就在这个表中修改、添加。
! p# g, R/ l" H. a3 T, D, GW2T.ini        待处理XML文件列表。运行完毕会删除。
$ q/ Y" [2 N- [  [% o; a# l1 z在源文件夹下,执行“分解”操作后会生成:(如Dumps解压文件为w.xml)
$ T" m/ r) j% V( r. c) h( _w01.xml        <128MB的分块
( S; w9 V+ |5 x6 x8 a9 P; [w02.xml- r+ ~/ y! {; q+ I8 Q
# G/ J, y* b- {0 m4 ]8 {" X
w.idx        索引文件。没有它也可以的,就按article中的关键字生成超链接,但是有些链接(在线维基中的红色关键字)实际没有相应条目。2 \4 K1 b% |. I/ a2 y& l& n8 N
在目标文件夹下,运行后会生成:3 ]0 F% S: y/ w" ^. K5 L; N
w01.xml.txt) |' D. ^- y$ {0 V+ k
w02.xml.txt* ^- J$ ~) K1 J, {3 Y* _
9 Z, n1 \! T" L: }6 Q+ M& h
wiki.bat        合并生成wiki.txt的批处理程序
7 ^0 m* {2 B9 X! C' [mdxconfig.cfg
3 `/ x! |0 I; U: n' M5 ?: g$ Y还有数据文件夹. b# D5 ^" v/ T8 u: Z7 \
data\
& R0 B* D3 A$ |其中包含三个文件:# f7 `9 l3 q* I# ]' o0 G
wiki.css        层叠样式表,大家可以修改成你喜欢的格式。% H; E) r  u$ f0 O# a$ N
link.gif  x, o: _' z: X* [! h
wiki.png: i- h6 ~. c$ N
和很多两字母命名的文件夹,里面是公式图片4 N/ Y# X6 }4 I  b+ r! q' }2 z6 `+ a# \
/ K5 [" r* M$ l- ?5 E, X
因为论坛里附件不能下载的原因,所以想尝试的朋友可以到网盘
' }; F0 G% q) r3 e3 c' Ohttp://pan.baidu.com/share/link?shareid=253240&uk=19473610

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?免费注册

x

评分

2

查看全部评分

本帖被以下淘专辑推荐:

该用户从未签到

发表于 2014-7-12 15:15:03 | 显示全部楼层
本帖最后由 abdallha 于 2014-7-14 15:24 编辑 + Y( h) w, b; B4 G6 t2 Q( p
他乡游子 发表于 2013-6-17 12:55
! k/ u8 x$ O  x. H1 g, I9 v# W) v有些词无法解析
5 h7 ?. E, {( R3 l如:藍岩鬣蜥
6 ]* }. H7 ]- h/ x/ ~5 v, s( J    神韵艺术团

" `7 V' ]( P9 y6 P: V6 V) B
% Q& j& Q4 p( }. j6 c1 U我正在转换20140705的dump,在第17个文件碰到了“藍岩鬣蜥”,和楼上同学反映的一样程序出错了。经过反复试验,发现是在这一句中出错的:
  1. “ 另外,傳統的農地變更成畜牧的草場也影響藍岩鬣蜥的次級棲息地。<ref name="iucn">{{IUCN2006|assessors=Burton, F.J.|year=2004|id=44275|title=Cyclura lewisi|downloaded=9 May 2006}}</ref>”
复制代码
仔细研究后发现是该句中的标签<ref name="iucn">漏了加斜杠符号。于是用Ultraedit编辑该xml文件,将该标签改成<ref name="iucn"/>,以UTF-8格式保存,重新运行i-wiki引擎,就顺利通过了。' h- _' X) N# t# r% o2 g* b
- s8 u7 ^6 `  Y) @" w8 Z
然后在第26个文件碰到“神韵艺术团”,报同样错。发现是在:
  1. “還有扇子、筷子和水袖等。<ref name="=A dazzling show with a clear message"/><ref name="Women flow like water in spectacle"/>{{cite news|language= {{en}} | author = Sid Smith | coauthors = | url =http://articles.chicagotribune.com/2008-01-28/features/0801270151_1_dance-chinese-traditional |title = Women flow like water in spectacle |publisher =Chicago tribune | pages =| date = 2008-01-28|accessdate = 2012-12-29|In many respects, the Chinese New Year Spectacular resoundingly lives up to its name. The term "spectacular" may whiff of self-promotion, but the show, which played Arie Crown Theater over the weekend, is indisputably a spectacle. Dozens of dancers and musicians flood the stage in a parade of brightly colored, intricately detailed silken costumes, while the instrumentation ranges from traditional drums to bunches of chopsticks.}}</ref>”
复制代码
这句出错,仔细研究后发现是该句中的标签<ref name="Women flow like water in spectacle"/>多加了一个斜杠符号,删去该斜杠,保存,重新运行,OK了。
( F, N9 o3 X0 e5 C  c; |( J$ c% K+ t
  • TA的每日心情
    开心
    2025-4-9 14:45
  • 签到天数: 18 天

    [LV.4]偶尔看看III

    发表于 2021-11-11 22:56:03 | 显示全部楼层
    请问大家,把XML分割成128M一下大小文件,用的什么工具。我在网络上找了几款,比如WXR FILE SPLITTER等,把XML导入后程序都是卡住不动,& m  ^# |3 A, ]/ e2 t
    我现在用的版本是2021年11月1号的,大小2.12G,解压缩后的XML达到9.41G。
    $ o6 P: j, e" g, S谢谢啦
  • TA的每日心情
    开心
    2018-4-28 13:02
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2014-10-28 22:07:13 | 显示全部楼层
    glsgls123 发表于 2012-8-21 14:154 b2 Y! }4 l- F: n  `" t
    楼主~转换日文wiki,到part7 “捕手”出现这个怎么办?在google上查了一下,有一种可能是地区码设置引起 ...

    4 c7 L8 X, U7 N直接在源文件里把这个捕手条目删除就好了。有2个。

    该用户从未签到

    发表于 2012-7-15 12:33:50 | 显示全部楼层
    本帖最后由 2000ml 于 2012-7-18 10:00 编辑
    $ S: }; a/ _& T1 e/ \. {: y# b% `& H
    当然期待!在大侠你有时间和精力的前提下,希望可以精益求精、与时并进。感谢!//可是,做一名优秀的渔夫也需要潜质和条件…//还是谢谢楼主用心良苦!
  • TA的每日心情
    慵懒
    2020-12-11 08:19
  • 签到天数: 104 天

    [LV.6]常住居民II

    发表于 2012-7-15 12:40:58 | 显示全部楼层
    期待中!

    该用户从未签到

    发表于 2012-7-15 15:43:57 | 显示全部楼层
    挺好的啊,我两个都下了,因为我对公式很关注,所以公式一般就是我评判好坏的唯一标准. `0 [" e* X5 q# P6 g
    6月13的版本可以说公式已经非常完美了,和superfan的相同,也是用图片来表示公式的,而且图片比superfan老大的小一些清晰一些,这个我感觉非常好,但是整体来说,总感觉排版没有superfan老大的清爽,可能和字体的选择和大小有关,楼主可以拿“导数”词条做个对比1 l6 Q0 O& f4 ]5 C
    我用的是手机,640*480的屏,供楼主参考
    5 ~! w9 w0 {" G非常感谢,感觉以后应该会更好

    该用户从未签到

    发表于 2012-7-15 16:32:52 | 显示全部楼层
    我打算在9月份以后先HTTP请求简体中文页面,做一个图文版。到时公开数据包的文件路径,这样大家就可以制作图文版。* v3 t& h- u2 m( f; W* ?5 O) R1 m

    $ j% i* q7 e! n% a以下为废话……
    ' l" ~* K4 {# T& G5 b* y: C我的Wiki引擎还在构思中,目前的难题是解析模板和函数。至于数学公式,我想自学下Latex相关部分。
  • TA的每日心情

    2018-6-16 00:08
  • 签到天数: 197 天

    [LV.7]常住居民III

    发表于 2012-7-15 17:48:29 | 显示全部楼层
    当然当然,非常期待哈。
  • TA的每日心情
    郁闷
    2018-5-28 23:05
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2012-7-15 18:42:28 | 显示全部楼层
    期待图文版
  • TA的每日心情

    2018-1-21 02:01
  • 签到天数: 2 天

    [LV.1]初来乍到

    发表于 2012-7-15 19:33:03 | 显示全部楼层
    很期待,你做的比所有的XD做的都要精美一些,如果可能,希望XD 能一直更新哪!

    该用户从未签到

    发表于 2012-7-15 21:56:43 | 显示全部楼层
    非常期待! 跪求!
  • TA的每日心情
    奋斗
    2020-11-29 07:39
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2012-7-15 23:47:05 | 显示全部楼层
    太强大了
    ) Z; G' U* C  G& E6 B3 T4 R+ v6 M( f* ?
    就有些名词词组,例如,HTC发布的很多机型的的词条重新定向,点击链接后,就单独个词条在那里,而没有具体内容……
  • TA的每日心情
    开心
    2018-7-14 15:08
  • 签到天数: 11 天

    [LV.3]偶尔看看II

    发表于 2012-7-16 06:31:35 | 显示全部楼层
    挺好的啊,我两个都下了,因为我对公式很关注,所以公式一般就是我评判好坏的唯一标准
    5 m$ P+ q, W# H' u* E0 a/ U3 l2 r5 @6月13的版本可以说公式已经非常完美了,和superfan的相同,也是用图片来表示公式的,而且图片比superfan老大的小一些清晰一些, ..., d' O' K0 h2 S) o+ s/ H# c
    glacierrr 发表于 2012-7-15 15:43

    4 z  Q/ }+ Z  |1 s* y& m
    ; F3 G3 a5 T  Q/ s期待着,Superfan制作的也非常精美,一直是我常常使用的,他也说过要写一个详细的教程,可是我等呀,等呀%……

    该用户从未签到

    发表于 2012-7-16 09:16:28 | 显示全部楼层
    非常期待,希望LZ能在下个版本中修复点击链接转跳,只有一个空的词条的bug。

    该用户从未签到

     楼主| 发表于 2012-7-16 09:23:12 | 显示全部楼层
    谢谢大家的支持!可是,可能要让大家失望,我不会再继续更新了。

    该用户从未签到

     楼主| 发表于 2012-7-16 09:32:49 | 显示全部楼层
    4# glacierrr * g3 M0 E2 B3 N- m

    / S! S9 e- `9 S* M你的视角很独特,公式的确是维基百科中重要的组成部分,刚开始我没有注意到的,经坛友提醒才发现问题。还好,这个难题用图片解决了。与Superfan类似,用Tex工具生成图片来处理。

    该用户从未签到

     楼主| 发表于 2012-7-16 09:49:11 | 显示全部楼层
    本帖最后由 i-wiki 于 2012-7-16 10:32 编辑
    + o2 ^' S- ?0 B
    ! W/ ~% B' o& P4 z 5# 惟吾无为 - r( J0 F( u! X$ m
    $ x7 i: R( f4 I) `  [
    无为老弟的百度百科不错,几十GB的东西是很难下载和处理的,可你做到了。用Http方式也许是获得最接近在线维基版式的一种方法,期待你的加入,不过要考虑G.F.W会有一点影响。

    该用户从未签到

    发表于 2012-7-16 10:09:39 | 显示全部楼层
    很期待 高作

    该用户从未签到

     楼主| 发表于 2012-7-16 10:31:11 | 显示全部楼层
    12# qiyue2001 10# xianjue114 3 [. g" I+ a) ^7 y
    6 ~# K. e: t' h2 Q( [+ o
    经查看,的确是一个BUG。因为每一个关键字都要验证在索引中是否存在,如不存在则不作链接处理。程序中对于英文字串的比较有BUG,已修改。

    该用户从未签到

    发表于 2012-7-16 13:15:05 | 显示全部楼层
    15# i-wiki
    4 v" T. S5 x- K( [5 f- l, I
    ; R: J. @# n- s* G) b% [) H/ Z! T; I
    只是设想,而且为了保证不影响服务器,到时会每个页面等待几秒,图片亦同。所以整体速度会慢些。+ G) C9 R" m. V8 x( ^
    到时先请求社区帮助,不然就只有逐个页面下载了。

    该用户从未签到

     楼主| 发表于 2012-7-16 17:48:25 | 显示全部楼层
    除非有新的突破,否则我不会再继续更新了。

    该用户从未签到

     楼主| 发表于 2012-7-17 08:49:46 | 显示全部楼层
    所以,今后大家要自己制作词典了。

    该用户从未签到

     楼主| 发表于 2012-7-17 17:18:32 | 显示全部楼层
    2012-07-16 05:26:45 zhwiki: Dump complete
      v7 X+ K  X+ M  e. T6 p4 h
    最新的数据你下载了没有?

    该用户从未签到

    发表于 2012-7-17 18:16:35 | 显示全部楼层
    收藏一个先,可以直接做意大利文的维基百科吗?

    该用户从未签到

    发表于 2012-7-17 19:27:23 | 显示全部楼层
    谢谢楼主分享制作工具和教程!!!{:soso_e113:}
  • TA的每日心情
    开心
    2018-1-27 00:16
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2012-7-20 15:11:05 | 显示全部楼层
    无限感谢大大!等过几天有时间了试试日语的版本如何还有维基词典,文库等。一直在用大大制作的维基词库,受益匪浅。

    该用户从未签到

    发表于 2012-8-21 09:44:19 | 显示全部楼层
    被杀毒软件-金山当作木马删掉囧只好关掉杀软
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2025-7-9 17:31 , Processed in 0.029205 second(s), 31 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表