Python辅助MDX转MOBI（以AHD5th为例）

nullname

一、前言
9 a7 v- u! o7 t  u
本篇文章的所有部分均来源于书伴的《如何把 MDX 格式词典转换成 Kindle 字典》 ，只是仅通过该教程的方法所转出来的词典基本没法用，原因是Kindle不支持@LINK跳转、不需要音频、以及需要添加Kindle支持的变形词搜索功能。经过几天的摸索，逐渐有了点头绪，并制作了AHD5th，试用两天后觉得尚可。便于昨天发布。帖子见此：[Kindle词典]美国传统词典American Heritage Dictionary 5th（精制版）。
  E6 j" f4 D$ E& n+ @
, Y/ w, p5 U& }; c本文章展示如何通过Python来最大限度的优化以生成体验较好的Kindle MOBI词典，为各位提供一种思路，以期众人群策群力，制作出更多好用的Kindle词典。

为了文章的连续性和完整性，对于完全相同的部分将全文引用这篇文章《如何把 MDX 格式词典转换成 Kindle 字典》 的内容。

. R: n4 U/ m: A5 i7 x- v
二、正文        

) G. d+ x! o! `0 a8 J: ?, @+ c书伴的这篇教程共有四步，还用到了一些工具。工具请自行下载，因下面所用的代码是Python 3的，所以除了Python 2 ，Python 3 也需要安装。第一步和第二步是一样的，不赘言，仅截一张图于此。
' F" u# k7 A$ ]% O6 O
! s) a7 w: G3 X* h# B# m8 D



, a; ~/ C& S& h3 o工具准备好后，选择你想转制的MDX词典（本文只针对英文词典，即英英/英汉），下面以论坛里的American Heritage Dictionary 5th [IPA]为例。

# B5 J% l/ X/ ~& l6 p8 ~1 G
经过第一步和第二步的处理，我们会得到一个体积较大（视MDX而定）的TXT文件。其内容格式应该是这样的：
, q8 X- h: h/ V5 y8 T* {6 Y


* R% W; d. t9 p: x

8 y* J$ v" G/ n! V7 M. i  H- X  n得到该TXT文件后，我们可以选择几行看一下或者搜索一下如".jpg", "<img", ".wav",="" ".mp3"之类的关键词，把图片和音频等等鸡肋全部删掉。同时，这类CSS引用也可以删掉，以减少文件体积，提高后续处理的速度。CSS引用可以在最后一步添加。比如随便看一下，扫一下就有这些：


/ ?# b8 U( D' _


9 U6 g. K- M6 d3 W6 ]& y* W我用的是Notepad++，以下是我用来替换的正则表达式：

0 x( {- T0 p8 u! s6 f' p: Z; Q  o( `        图片：<img.*?>
  l. P5 U# T, f5 ]' [' s. [1 G        
( T9 H4 X7 @. e, d9 ~' j1 x        音频：<a href="sound://.*?"></a>
5 h; O+ v; d: n
        注释行：<!--.*?-->
        
! T6 q# O- p6 Q$ n/ I1 K7 C可能还有一些冗余的标签，视词典而定，比如我这里就有<span> </span>，直接全词匹配删掉即可。

& Y4 R7 m! k  }2 e  R0 E( O我这里这样处理了一下之后，文件的体积直接下降了25%（约100MB --> 约75MB）。
3 R' T7 M; S5 |) x2 v+ h
3 Y3 W, x7 I2 ?简单处理完之后，便是正式处理@LINK跳转了。TXT文件的格式只有这两种：单词 + Tab + 意项  或者 单词 + Tab + @@@LINK=另一个单词

- G, J& h  L6 Z3 V这里我们主要要将跳转词后@@@LINK的跳转链接替换成目标词的意项，因为Kindle不支持@LINK跳转。为方便后续称呼的方便，我在此做个定义。以开头两个词条为例：


' @) ]2 n! V7 r9 X$ _

4 ?6 k) q$ k+ ?+ i2 s
$ w( V, x8 x/ q- c8 s+ V% E$ ]5 H但是这里也要分情况，因为如果一股脑全部将@LINK跳转都替换为目标词意项的话，看起来简单。但实际上会导致文件的体积无比巨大，因为里面存在着大量的像这样的跳转：

, f8 \- K3 I0 i/ U

$ M4 y0 b6 d1 s5 G3 l" |8 a' t/ y  `

2 v9 k/ n) |3 O+ U: i' D9 F" A+ n仅仅是advocate这样一个词，就有七个变形词，它们的目标词都是一样的，如果只是粗暴的替换，那么最后生成的词典肯定无比庞大，甚至如果你内存低点最后都不够用来生成词典。（猜想而已，我没这么干过，有兴趣有空闲的朋友可以试试）
! r- C5 {$ _6 \4 U. o2 o) m
因为Kindle词典支持为某个单词添加不同的变形词，利用这一特点，我们可以在此处判断，如果跳转词是目标词的一个简单变形，那就跳过该词条。判断的依据来源于dsl2mobi这个工具里面附带的英语单词变形词列表。文件名称：forms-EN.txt，内容如下：
- U5 a* L2 F2 J' y2 X- ?6 P2 O
$ \! E9 y! T+ L/ I7 B, Z( s

        
9 G& T0 q: ^% d( K  h$ u
/ M  Z) b$ S7 y2 i, s4 b简单总结一下，做了个程序流程图：
3 w8 q+ _, c& G" `5 j; w

  }4 _9 j( p0 P. D+ l5 v; J
/ b. C, Y3 F6 ]+ c3 f5 w  u
% ~6 C4 b0 G3 m
$ C+ A7 D; j9 o9 J' u  m这是代码，你需要修改第3、4、5行的文件路径和第50、51行endswith方法和replace方法中的值改为你操作的字典的实际值。详细的内容请看注释。
1 ?9 t9 m1 a; |
5 e) _/ I4 v: R1 ?7 c7 @
4 I' A& O: e, t
8 h; C1 T& Q0 r% G
  z' Z- x- @* V2 D+ `2 b
7 ^7 W0 a2 i2 n& ?, L, M, W


: i& \. w$ ^+ Y8 n+ ]注意：Fix_Redirections.py有一个同级文件夹wordforms，文件夹内有forms-EN.txt，请勿修改。

" S9 B) C2 v0 `
( \# L$ g6 L0 K9 ^# C* n; z# @修改完了然后执行代码，你看到的图应该是这样的：
7 B8 W5 d$ [1 y. q0 c: }5 c& m3 ]) H
- G3 k7 `- X, c  T- N
( j2 t, Z3 k, m# N7 L* i: b! b
, V# D# l% n1 {

这一过程的速度取决于你的电脑配置和词典的词头数，我跑这部AHD大概花了大半天的功夫。
6 V, f/ T* c6 E  h( u( `
& K6 x4 I9 k& ]" g, y5 e9 U跑完之后的文件可能存在很多空行（不一定，看词典），这里附上一个去空行的脚本，使用方法：
$ J& V( V7 B  |9 V5 L



8 i. {) [/ l$ f5 G- d
' Q/ Y0 {+ ?  b9 z& v& ~5 z8 Q
7 ^3 Y* ~. q) R* [
6 x/ y; M9 D' B. K6 M5 L; }% T执行完成后会在处理的文件目录下生成一个名字带_stripped的文件，这就是去除了空行的文件。

( B/ s, M- q" Z+ W* T9 O$ ?
% W, R. Q/ {  u1 [& d# }3 y
5 \; P* ^- Z5 c

& R! I" `+ x6 m: y1 w: |: |这时候可以打开文件看一看，应该是满屏紧凑，没有空行，没有@LINK跳转的，就像这样：
2 @! ^5 o( n3 Q8 k% I+ d3 W
) B0 @: C! m' N) I

& W0 ^9 b) Y. E. B/ R0 b5 H
) X- ~4 B# A9 @& b4 F" ]
5 ^" m+ G. n% Y1 x9 r到了这里，就可以开始正式进行第三步了。这里用到的是tab2opf.py这个工具，该工具基于py2，所以要用py2来执行。从书伴直接下载的tab2opf虽然没问题，但是根据我的经验，把253行的print df给注释掉，速度会提升许多，而且出错的机率也会减少。除此之外，由于词典的不规范及其他特殊原因，我们上述生成的xxx_stripped.txt难免会有几个或十几个错误行（MDX词典本身的问题），因此，最好加一个异常处理的块，遇到错误行直接提示一下就跳过，免得程序中止运行，你们可以参照下图修改，注意红色箭头的地方。
- j  t! D$ K+ w' z5 Y# d) h0 `+ ?
. I/ c! z: K" P" ~" n6 s4 ^- P
0 N8 K$ ^+ V' }2 w
7 K% n7 Y5 ~6 [3 z9 d* c0 r
8 y& D. J: G0 t1 M$ c; Z
然后执行命令：python2 tab2opf.py -utf xxx_stripped.txt

执行完毕后会生成一个opf文件和一堆html文件，如下图所示：
) w5 i5 k5 J. p4 J5 `
1 i  l1 x8 I' e+ V6 n


5 m# \7 I* c" `9 {" e  m
% l- K  z. _7 l& s. b在进行下一步之前，我们还得写好CSS，我的电脑配置不行，打开太大的HTML文件很卡很卡，因此我提取一些意项较多的词条来单独修改建议"go", "take", "in", "the"等，这里我提取“go”词条，复制"go"词条所在的一整块<idx:entry> </idx:entry>，然后加上头和尾（头尾可在任意一个html文件中复制即可），保存为html即可。如图所示：
" Q3 Z% y9 s9 A% G( }2 g5 i! p: ?0 U



7 N2 w0 H; k( e' e, L
因为我们要测试css，所以再添加一个head标签并在其中用link标签引用一个css文件，然后就可以写css了。
3 P1 p. O7 ^: ?' H

3 q/ L" b; U1 ]5 g) T6 g# _


- |! H2 Y! l% J, _9 T2 VMOBI的字典只能生成v7版本，该版本对CSS的支持极其有限，margin只支持left其他方向都不支持，即使是看起来有效的margin-left，也不过是在转化过程中替换为blockquote而已。所以只考虑粗体、斜体、下划线和颜色即可，当然不管这里用什么颜色，Kindle上都是浅灰色。
$ `* M/ L2 V" R& |
这是我修改完毕后的效果。
' S  n  o  c3 @) C, z% d, k




css满意后，那就可以给所有的html文件批量添加link引用了，这里notepad++可以单独完成，就不写脚本了。方法如下：
" x; ]/ |) K" s* `0 U& S
打开任意一个html，Ctrl + F，然后切换到文件查找选项卡，下面注意选择正则表达式，如图所示：
% Z8 i/ |) R8 @6 }) ?- P/ ?+ U
# S' g. w/ h" R) S; @, P
$ y8 i1 l( d0 o' |4 b: [/ X
1 C# J( i3 m" U


查找目标： (<html.*?>)

替换为：\1<head><link rel="stylesheet" type="text/css" href="test.css" /></head>

% ?  s3 w; l9 O! U0 p0 K" c文件类型：*.html
& ^3 J5 E4 N+ w
7 b) E# M1 v; K0 @目录：即html文件所在的目录
2 r+ Z$ Z  K. U. j2 @+ G
9 L' l3 b6 }. W" L5 a1 H

然后点击文件中替换即可，这样，所有HTML都添加了CSS引用了。
6 p9 Q- ?1 ?# c
1 W$ F- X5 o. X! Q7 F* Q4 ^, {现在到了另一个重要时刻了：为即将生成的Kindle词典添加变形词，原理就是检测forms-en.txt里面的单词然后提取出变形词添加进去，上面说过了，此处不再赘言。

代码很长，不贴了。用法很简单：Add_Infl.py html文件所在的目录


5 O9 n0 _% u+ P$ V


$ W9 J0 `/ ?  N5 @: M- I( q$ x文件在此，解压后其他文件和文件夹勿动，以免程序不能正常运行。
/ V; U9 N  y/ m7 o# j
" Y! j9 u. C$ l6 q8 h+ c. U
( c3 s! ?4 X& p8 w0 [; `& n
7 r7 {0 n0 e( f然后会在目录下生成一个名为OK的新目录，新的HTML文件即在此。
4 Z: H" ]) B' F+ n1 K. W- `, B
; T1 F0 _: l. K' ]最后就是把之前的opf和css复制进去，然后用mobigen.exe生成即可，mobigen.exe -unicode xxxx.opf

6 r! h/ T6 w0 T" o) |如果你想修改生成后的词典名称，打开opf，修改这一行即可
* ~# z( ?- G  J6 D6 Q& _

0 D' _/ E9 x; v8 K5 Q: {

$ h8 S, y% h: D
完。

三、结束
' G$ N- ]1 G# |% i  Q  H
第一次写这种教程帖，步骤、截图等等都很繁琐，几次我都差点晕了。简单看了几遍，算不上流畅但也不至于晦涩。若诸位有什么问题或发现什么错误也可以在下面回复，希望能有更多优秀的Kindle词典出现。

另外：关于Kindle上的汉语词典，我发现kindle支持将繁体作为简体的变形词，意味着若处理得当，那就直接为简体词头添加繁体的变形就够了，不必再另添词条，词典体积将大大减少。各位有兴趣可以试试。

卡拉奇

这种技术贴，要好好给楼主点赞

wrscn

技术文章，不错。

Gyngreenlie

给技术型楼主，点赞。

cocowind

过程详细，及时总结惠己惠人

999阿彌陀佛

这种技术贴，要好好给楼主点赞，惠人以漁！

Wallacebai

喜欢技术贴， 感谢楼主。

陟彼高冈

大妙好！！！！！！！！！！！