掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 58511|回复: 107

[工具] 分享:i-wiki的中文WJ新引擎及教程

[复制链接]

该用户从未签到

发表于 2012-7-15 11:37:27 | 显示全部楼层 |阅读模式
本帖最后由 i-wiki 于 2013-4-9 08:59 编辑
7 j! b$ c& W4 i4 _, ?  t5 C4 t6 ]" l' D. e6 O- j8 W9 T6 y5 D) a9 f. P
四月至今,发布了两个WJ百科词典,参见:7 C. r& a6 V% o) w
https://pdawiki.com/forum/thread-8946-1-6.html9 `2 x* a$ i$ B! h
https://pdawiki.com/forum/thread-9378-1-1.html
% x. |$ e: O/ W3 \8 _- m你还期待i-wiki继续发布新的吗?, s% U6 m# b' q2 \% j. N
谢谢大家的支持!可是,也许要让大家失望了,我不会再继续更新,除非有新的突破。6 F0 ?1 a5 V! M4 w
所以,今后大家要自己制作词典了。古语有云:“授人鱼,不如授人以渔”。虽然i-wiki不再发布新的词典,但是他自制的中文维基引擎就要和大家分享了,你也一样可以制作出精美的维基词典!
: r0 p1 A0 D7 N) v
6 h6 \9 F% X% r, \! G3 A2 w9 M之前也有坛友问到试用引擎的事,可是程序还不完善,不好意思拿出来和大家见面。经过这一段时间的修改,自我感觉基本可用了,加上现在程序编写也遇到了瓶颈,索性就放出来让大家一起来试用,在使用中逐步改进。+ A  i" }; e6 [& i3 V
如果你能容忍6-13版的缺点,那么请接着往下看。0 a' B. [# M3 U* d8 g5 U# N- ]7 t
先上图,揭开新引擎的面纱。2 \; z" ]% w# O8 u: e! n9 W1 d

; e, W4 `  ~1 f0 F. Q4 h! \
! h3 n+ ?- [9 u1 o! y% m7 [. E& A; C  y- S4 r5 K

$ d* K; {+ o, o/ T; J2 V一、硬件要求:
4 p! }# B- V& a# F# k2 E配置总之越高越好。我自己制作2012-6-13版时用的笔记本是几年前的ThinkPad X200,CPU是酷睿II双核P8200(2.2GHz),内存2GB。大家现在的配置应该比这更好。
& Z/ t: H5 A2 F# [* N; L1 T' w! e6 y
二、软件环境:
% h$ @( _( q5 F7 I在Windows XP中新引擎是绿色的,无需安装可直接运行。XP前的系统恐怕不行,之后的其他系统我没有测试,大家不妨试一试。
% a  h1 |5 ?' v$ \+ u0 [
( X9 C) f& z- Y& N8 F7 ~三、操作步骤:8 S! H+ O% \" K3 ]/ Y( N
1、先下载中文维基文档,解压为XML;- p1 N% d! `0 ^  h4 Q  |  ]
2、将此大文档分解为若干个100M左右的小文档;3 `2 F- m  U& J7 q' Q
3、复制本程序到xml文档所在目录,或生成与本程序同名的.ini文本文件:
3 c, [( }$ [+ p" P; f    src=待处理的XML文件目录! v8 Q; l) J* {3 x
    tar=输出目录: B% y0 }; j' ?- S& F! S
    xml文件名列表- q5 N. Z6 A  V- v1 G6 K# q4 Q! I
4、运行本程序,处理完毕后可执行生成的.bat批处理文件将输出文件合并# u) M( t4 l% j
5、将生成的cfg文件复制到MdxBuilder目录
# j' Y' X5 P- S1 V7 [6、运行MdxBuilder.exe,制作词典。+ l0 X# f5 C0 E

7 C# Z& B6 r  N' o( \0 @; Z1 o: K0 V四、简要说明:
  J7 S% B5 ]3 u/ ^! f- y/ F( w  A.本程序主要用于解析维基百科的Dump数据文件,生成符合MDict格式的Html文本文件。) ~5 @" O. F9 [6 q+ q! A# C8 h* k. l
  B.Dump数据文件必须分割为小于128MB的部分以便处理,超过128MB的文件会被忽略。/ A; R# d' g- V7 h
  C.操作步骤是可选的,点击链接可执行相应的步骤,第6步包含了第5步的复制操作。( E6 b7 `" q7 X, z$ z+ ]/ ]$ a7 j
  D.如直接点击处理按钮则相当于从第3步开始,即对程序所在目录下的XML文件转换。
  p! H3 R2 n# i! p# C( x/ I- H  E.本程序遵循Copyleft规范,详见维基百科中的相关条目。+ Q+ e& F  p- g. G& j& ^& U' y

# n; n3 A. Q/ H! H! n新引擎在这里+ c& r4 N5 ]" Y! z, U/ Q8 b

& X3 Z: Y1 e/ y$ J
6 Z. W2 e& ?; s1 j9 x7 v) m6 g
五、文件说明:+ ~4 V/ [0 g: e9 V' ]( j0 {  y
下载后只有1个主文件W2T.exe,Examples目录是给大家测试用的。运行后会在程序目录生成:
# G3 _: E9 l5 X5 Z9 s" h/ B8 tE2C.ini        英中对照表。想到好多坛友都是英语高手,所以放出来让大家帮忙修改,如果看到条目中信息框中翻译得不好的、没有翻译的,大家就在这个表中修改、添加。
/ X  W$ q8 u. W; d( ?) F  }W2T.ini        待处理XML文件列表。运行完毕会删除。
0 o  Z- {) M3 s1 H+ s6 L8 ^, Z; J% |在源文件夹下,执行“分解”操作后会生成:(如Dumps解压文件为w.xml). u. R6 s" O) m: }( }' ~7 \* Z. a4 i8 B6 [
w01.xml        <128MB的分块# ^- A9 v" H. s( X! T
w02.xml
$ I" }+ G  `7 }' e  [: e7 d8 n( Q* o3 G) c- \7 o/ ~7 ~' O  `3 G
w.idx        索引文件。没有它也可以的,就按article中的关键字生成超链接,但是有些链接(在线维基中的红色关键字)实际没有相应条目。
7 b: [% t0 K* P2 r9 }在目标文件夹下,运行后会生成:
% w. n# T3 B* z' F2 {2 bw01.xml.txt2 \7 o& g2 }. D  a7 p- S6 U
w02.xml.txt" u  D5 ~6 P0 h. C; Q% s$ r
7 p7 h- f4 _4 [% l* i4 ^  u9 Q
wiki.bat        合并生成wiki.txt的批处理程序9 b# C$ P! I, M- `& n
mdxconfig.cfg
8 s) u( q2 g. ^* a4 d( c还有数据文件夹$ [$ G5 ~+ D. M( Z
data\
9 }8 |5 R( H0 d+ Z3 I3 o其中包含三个文件:* Z/ x% j- L9 g. x
wiki.css        层叠样式表,大家可以修改成你喜欢的格式。. I4 ^6 x" ?$ g9 f; o8 }/ C5 @
link.gif! R' S& L9 [1 [. S# M
wiki.png2 A+ R( G1 F, g' k2 i' T: u) h3 A
和很多两字母命名的文件夹,里面是公式图片( D- s8 L! r  s" G7 z
/ X4 @* B% D0 ^2 v  H
因为论坛里附件不能下载的原因,所以想尝试的朋友可以到网盘
3 L+ q/ T  n0 v! [http://pan.baidu.com/share/link?shareid=253240&uk=19473610

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?免费注册

x

评分

2

查看全部评分

本帖被以下淘专辑推荐:

该用户从未签到

发表于 2014-7-12 15:15:03 | 显示全部楼层
本帖最后由 abdallha 于 2014-7-14 15:24 编辑
+ t& h8 h8 _5 D
他乡游子 发表于 2013-6-17 12:55
  p9 i. D# V* K$ k  {: G: B$ p有些词无法解析
+ c" y, O+ x6 d! t+ f如:藍岩鬣蜥3 v1 N4 o) m5 c
    神韵艺术团

, @. q9 a/ b, Z
. ?7 m& O6 F: k' t& }: B8 V5 F2 y; J) q我正在转换20140705的dump,在第17个文件碰到了“藍岩鬣蜥”,和楼上同学反映的一样程序出错了。经过反复试验,发现是在这一句中出错的:
  1. “ 另外,傳統的農地變更成畜牧的草場也影響藍岩鬣蜥的次級棲息地。<ref name="iucn">{{IUCN2006|assessors=Burton, F.J.|year=2004|id=44275|title=Cyclura lewisi|downloaded=9 May 2006}}</ref>”
复制代码
仔细研究后发现是该句中的标签<ref name="iucn">漏了加斜杠符号。于是用Ultraedit编辑该xml文件,将该标签改成<ref name="iucn"/>,以UTF-8格式保存,重新运行i-wiki引擎,就顺利通过了。
* N' B8 j5 N) ]  t8 U
2 ~% @+ @( b9 N, L3 d5 C9 |( q然后在第26个文件碰到“神韵艺术团”,报同样错。发现是在:
  1. “還有扇子、筷子和水袖等。<ref name="=A dazzling show with a clear message"/><ref name="Women flow like water in spectacle"/>{{cite news|language= {{en}} | author = Sid Smith | coauthors = | url =http://articles.chicagotribune.com/2008-01-28/features/0801270151_1_dance-chinese-traditional |title = Women flow like water in spectacle |publisher =Chicago tribune | pages =| date = 2008-01-28|accessdate = 2012-12-29|In many respects, the Chinese New Year Spectacular resoundingly lives up to its name. The term "spectacular" may whiff of self-promotion, but the show, which played Arie Crown Theater over the weekend, is indisputably a spectacle. Dozens of dancers and musicians flood the stage in a parade of brightly colored, intricately detailed silken costumes, while the instrumentation ranges from traditional drums to bunches of chopsticks.}}</ref>”
复制代码
这句出错,仔细研究后发现是该句中的标签<ref name="Women flow like water in spectacle"/>多加了一个斜杠符号,删去该斜杠,保存,重新运行,OK了。8 a& _% G6 `  b+ Y, K
  • TA的每日心情
    开心
    2025-4-9 14:45
  • 签到天数: 18 天

    [LV.4]偶尔看看III

    发表于 2021-11-11 22:56:03 | 显示全部楼层
    请问大家,把XML分割成128M一下大小文件,用的什么工具。我在网络上找了几款,比如WXR FILE SPLITTER等,把XML导入后程序都是卡住不动,. e: W, N4 }+ E: A0 q8 n
    我现在用的版本是2021年11月1号的,大小2.12G,解压缩后的XML达到9.41G。9 A( e- A- q$ K/ r
    谢谢啦
  • TA的每日心情
    开心
    2018-4-28 13:02
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2014-10-28 22:07:13 | 显示全部楼层
    glsgls123 发表于 2012-8-21 14:15+ p* O# f' s0 S; z( W/ I
    楼主~转换日文wiki,到part7 “捕手”出现这个怎么办?在google上查了一下,有一种可能是地区码设置引起 ...
    - K2 t" E: ?( l
    直接在源文件里把这个捕手条目删除就好了。有2个。

    该用户从未签到

    发表于 2012-7-15 12:33:50 | 显示全部楼层
    本帖最后由 2000ml 于 2012-7-18 10:00 编辑
    3 F- E: n/ W2 N; P
    1 c+ j2 [1 }$ z* }当然期待!在大侠你有时间和精力的前提下,希望可以精益求精、与时并进。感谢!//可是,做一名优秀的渔夫也需要潜质和条件…//还是谢谢楼主用心良苦!
  • TA的每日心情
    慵懒
    2020-12-11 08:19
  • 签到天数: 104 天

    [LV.6]常住居民II

    发表于 2012-7-15 12:40:58 | 显示全部楼层
    期待中!

    该用户从未签到

    发表于 2012-7-15 15:43:57 | 显示全部楼层
    挺好的啊,我两个都下了,因为我对公式很关注,所以公式一般就是我评判好坏的唯一标准
    & u# Z7 m1 O) [/ j+ }6月13的版本可以说公式已经非常完美了,和superfan的相同,也是用图片来表示公式的,而且图片比superfan老大的小一些清晰一些,这个我感觉非常好,但是整体来说,总感觉排版没有superfan老大的清爽,可能和字体的选择和大小有关,楼主可以拿“导数”词条做个对比3 J7 \1 S# d$ I5 T3 V& M2 ~
    我用的是手机,640*480的屏,供楼主参考" O8 y2 g3 p4 N6 q/ m* |' G
    非常感谢,感觉以后应该会更好

    该用户从未签到

    发表于 2012-7-15 16:32:52 | 显示全部楼层
    我打算在9月份以后先HTTP请求简体中文页面,做一个图文版。到时公开数据包的文件路径,这样大家就可以制作图文版。
    ; _; U* H  @/ L* [
    9 J" _! |0 y' r0 S" N以下为废话……' t2 }, `1 H5 U' a- L) I
    我的Wiki引擎还在构思中,目前的难题是解析模板和函数。至于数学公式,我想自学下Latex相关部分。
  • TA的每日心情

    2018-6-16 00:08
  • 签到天数: 197 天

    [LV.7]常住居民III

    发表于 2012-7-15 17:48:29 | 显示全部楼层
    当然当然,非常期待哈。
  • TA的每日心情
    郁闷
    2018-5-28 23:05
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2012-7-15 18:42:28 | 显示全部楼层
    期待图文版
  • TA的每日心情

    2018-1-21 02:01
  • 签到天数: 2 天

    [LV.1]初来乍到

    发表于 2012-7-15 19:33:03 | 显示全部楼层
    很期待,你做的比所有的XD做的都要精美一些,如果可能,希望XD 能一直更新哪!

    该用户从未签到

    发表于 2012-7-15 21:56:43 | 显示全部楼层
    非常期待! 跪求!
  • TA的每日心情
    奋斗
    2020-11-29 07:39
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2012-7-15 23:47:05 | 显示全部楼层
    太强大了
    1 j7 Z8 S" ~0 T; N7 w$ v9 _) A3 g3 N$ s. p/ I
    就有些名词词组,例如,HTC发布的很多机型的的词条重新定向,点击链接后,就单独个词条在那里,而没有具体内容……
  • TA的每日心情
    开心
    2018-7-14 15:08
  • 签到天数: 11 天

    [LV.3]偶尔看看II

    发表于 2012-7-16 06:31:35 | 显示全部楼层
    挺好的啊,我两个都下了,因为我对公式很关注,所以公式一般就是我评判好坏的唯一标准
    : \' [6 }6 p8 X2 y7 d6 D6月13的版本可以说公式已经非常完美了,和superfan的相同,也是用图片来表示公式的,而且图片比superfan老大的小一些清晰一些, ...; J+ H" B' n' r! ~1 @6 h* ?
    glacierrr 发表于 2012-7-15 15:43

    , F, m* H& \% V/ w5 v
    . z/ Z" T8 Y/ w  ~4 R4 G" h5 d期待着,Superfan制作的也非常精美,一直是我常常使用的,他也说过要写一个详细的教程,可是我等呀,等呀%……

    该用户从未签到

    发表于 2012-7-16 09:16:28 | 显示全部楼层
    非常期待,希望LZ能在下个版本中修复点击链接转跳,只有一个空的词条的bug。

    该用户从未签到

     楼主| 发表于 2012-7-16 09:23:12 | 显示全部楼层
    谢谢大家的支持!可是,可能要让大家失望,我不会再继续更新了。

    该用户从未签到

     楼主| 发表于 2012-7-16 09:32:49 | 显示全部楼层
    4# glacierrr 0 o4 n3 S' n. c3 u8 u

    . J( k1 h+ N8 s! k- i8 u; N你的视角很独特,公式的确是维基百科中重要的组成部分,刚开始我没有注意到的,经坛友提醒才发现问题。还好,这个难题用图片解决了。与Superfan类似,用Tex工具生成图片来处理。

    该用户从未签到

     楼主| 发表于 2012-7-16 09:49:11 | 显示全部楼层
    本帖最后由 i-wiki 于 2012-7-16 10:32 编辑 - l" l& ?8 F& J* s) c4 w

    % N1 ?# O1 ~) X! r% l) L, { 5# 惟吾无为
    ( {7 N6 w  Q: t/ t
    ; a8 k) b2 [( O无为老弟的百度百科不错,几十GB的东西是很难下载和处理的,可你做到了。用Http方式也许是获得最接近在线维基版式的一种方法,期待你的加入,不过要考虑G.F.W会有一点影响。

    该用户从未签到

    发表于 2012-7-16 10:09:39 | 显示全部楼层
    很期待 高作

    该用户从未签到

     楼主| 发表于 2012-7-16 10:31:11 | 显示全部楼层
    12# qiyue2001 10# xianjue114
    : \  X! T2 _0 ?0 ?: ^# Q! [
      A1 P; @0 F$ }经查看,的确是一个BUG。因为每一个关键字都要验证在索引中是否存在,如不存在则不作链接处理。程序中对于英文字串的比较有BUG,已修改。

    该用户从未签到

    发表于 2012-7-16 13:15:05 | 显示全部楼层
    15# i-wiki
    ; K5 l0 \; g  N9 c' z% k' }4 Y* t# c# w6 k% p

      m0 q4 x- n- [- E只是设想,而且为了保证不影响服务器,到时会每个页面等待几秒,图片亦同。所以整体速度会慢些。
    / j6 z4 r9 _3 S0 {" }! ?5 \到时先请求社区帮助,不然就只有逐个页面下载了。

    该用户从未签到

     楼主| 发表于 2012-7-16 17:48:25 | 显示全部楼层
    除非有新的突破,否则我不会再继续更新了。

    该用户从未签到

     楼主| 发表于 2012-7-17 08:49:46 | 显示全部楼层
    所以,今后大家要自己制作词典了。

    该用户从未签到

     楼主| 发表于 2012-7-17 17:18:32 | 显示全部楼层
    2012-07-16 05:26:45 zhwiki: Dump complete

    5 m/ z9 l& w% O' Q最新的数据你下载了没有?

    该用户从未签到

    发表于 2012-7-17 18:16:35 | 显示全部楼层
    收藏一个先,可以直接做意大利文的维基百科吗?

    该用户从未签到

    发表于 2012-7-17 19:27:23 | 显示全部楼层
    谢谢楼主分享制作工具和教程!!!{:soso_e113:}
  • TA的每日心情
    开心
    2018-1-27 00:16
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2012-7-20 15:11:05 | 显示全部楼层
    无限感谢大大!等过几天有时间了试试日语的版本如何还有维基词典,文库等。一直在用大大制作的维基词库,受益匪浅。

    该用户从未签到

    发表于 2012-8-21 09:44:19 | 显示全部楼层
    被杀毒软件-金山当作木马删掉囧只好关掉杀软
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2025-7-9 14:10 , Processed in 0.029140 second(s), 31 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表