转发一个有关数据提取的贴子，供高手参考！

louislaolu

词典内置权威辞典制作
% T( \  {) u2 h) N; c7 F# Y: t; Z& lhttp://hi.baidu.com/jihuafeijiabcd/blog/item/6eb46ad984c6192a11df9be5.html

上边讲了提取高阶第6版数据可用UWSC实现。是不是意味着其它电子词典数据提取都可以依法炮制？

[ 本帖最后由 louislaolu 于 2008-10-30 22:45 编辑 ]

louislaolu

词典内置权威辞典制作
以下将手把手教你制作词典
: I8 \5 R! w+ P; h. p6 L第一步 提取文本
7 S* g  ?8 E5 K; I【1】下载词典的光盘镜像，用虚拟光驱软件(Daemon Tools)打开安装。
6 V: f$ \9 G# P- r【2】提取各词典的方法
$ O) z0 W5 v/ [. U( y9 C* [+ D■提取高阶第4版可用按键精灵实现，编写脚本的步骤如下
此主题相关图片如下：
http://bbs.iq168.com/uploadImages/200632921403978439.jpg
    1.设置屏幕保护程序等待6小时以上。关闭当前在前台运行的所有程序。在桌面上点右键，选择外观，窗口和按钮中选择Windows经典样式，色彩方案中选择白色高对比度，点击右下角高级按钮，在项目中选择滚动条，大小改为8。安装OALD4，安装后需要把光盘镜像插入虚拟光驱。安装超级兔子魔法设置。
    2.打开OALD的主界面，打开记事本。将OALD窗口调整到桌面左上角将记事本窗口调整到桌面的右上角，注意两个窗口的边界不要重复。打开超级兔子魔法设置，打开里面的超级兔子内存整理，将其调整到右下角(注意不要让任务栏把CPU使用率这一行挡住了)。
    3. 点击任务栏上的OALD，在Word Search窗口中输入a(第一次)，点击该窗口右上角的像手电筒的图标即显示该单词的解释，然后点击下一个图标，按回车键，然后再点击word Search右上角的图标，点击拷贝按钮，出现Copy To Clipboard对话框，按回车键。点击任务栏上记事本，按键Ctrl+End,输入一串特殊符号(如"########")按键Alt+E, 按键Ctrl+V。这样就完成了拷贝一条词的操作。
8 D" ?4 x: T5 c1 f- ?" [    4. 判断Match List框中是否有两个以上的词。通过判断下图
+ P$ K9 u, d! d( t. K6 y此主题相关图片如下：
http://bbs.iq168.com/uploadImages/200632921393489491.bmp
中箭头所指的位置是红色还是白色，如果是白色，则表明只有一个词，跳到第三步；如果是白色，则表明有两个以上的词，点击任务栏上的OALD，按向下键，点击拷贝，点击记事本拷贝进去。怎样判断已经拷贝完了呢？判断是否已经拷贝完了可以通过识别该窗口的滚动条的向下的按钮的上边界是什么颜色，如果是白色，表明滚动条还未到底，继续按向下键，然后拷贝，如果是黑色，表明滚动条已经到底了，跳到第三步。
. n/ G$ X% \, u    5. 细节问题。以上步骤必须精简到没有一个多余的操作，还要加入测试CPU是忙还是闲，这个可以通过超级兔子魔法设置，打开里面的超级兔子内存整理，将其调整到右下角(这个在第二步就应该打开)，脚本中循环测试CPU是否达到20%(大概估计，不要超过30%)以上时，如果达到，让脚本延迟1毫秒，这个也是通过判断20%点的颜色是蓝色还是灰色实现的。在脚本中尽量多的重复这个过程，以控制进程，尤其是在拷贝解释较长的词条时，这个过程相当有用，不会丢词。
# }% ^0 q! \- [$ a% K; k    6.拷贝时间大概有4，5个小时(看到一直在拷贝zulu一词后就表明已经拷完了，这时按下脚本停止快捷键)。注意这期间千万不要动鼠标和键盘(在按下启动脚本的快捷键后把键盘放到一边，把鼠标翻过来)。
2 W, ?' f& j! a  P# {$ H8 N    7.拷贝完成后，保存文本，备份一份，用内码转换软件TextPro打开，点击菜单转换， 点击BIG5-GBK，保存。
) K; a5 J1 @2 ?1 L: C2 m■提取高阶第6版可用UWSC实现，原理如下
    1.初始化。装上英文版XP。安装OALD6要在完成后重启后再输入序列号。打开OALD6，把滚动条拖到最上面，点击A。
: G5 [3 Q( T' O& j    2.重复按键Ctrl+PageDown20次，点击拷贝按钮，写入一个文本文件(不用打开记事本，UWSC内有文件操作)，写入一串特殊符号，按3下向右键(键盘上的)。
    3.重复第二步十万次。
: C) k2 S3 Q6 \8 i    4.细节问题。因为UWSC有CPUUSERATE()函数，直接判断是否超过20%，故无需超级兔子魔法设置了。
5 n6 W, t& v5 y0 u    5.拷贝时间大概需要20小时。因为是英英词典，故无需转内码。
" o" P7 z. Z" J' F* }- p% _■提取《朗文第四版》和《柯林斯》，可以使用小程序提取
    1.安装ruby。
- Q8 n3 M/ e7 S. _3 ]7 }* E    2.解压缩ldoce4conv103.zip 和cobuildconv132.zip到根目录下。
    3.运行cmd.exe，跳转到第二步解压的目录。
    4.提取朗文当代请输入命令：
+ p+ D! I3 f. b( a       ruby -Ks LDOCEConv.rb [option] homeDir [outDir, [drive]
       各参数解释如下
       Option 有-A，-B，-C，-D四个参数
       -A   Activator
; x0 L# m+ \; C& h% M1 u% `# S8 @       -B   Bank (例文和惯用句)
, b5 A1 B, M+ d/ p) R( `' _       -C   Col[] (连语)
       -D   Dictionary 词典本体,也可缺省
; g/ `- h7 o; o7 T* ^       homeDir为 Longman 4所在目录。
" P) s" ~9 z: S+ l1 M       outDir为输出提取出来的数据所在目录。
# \* n9 X7 @  W( V* k) K0 Q       注：朗文可以在2个小时内提完。
    5.提取柯林斯的命令类似，可参看解压目录下的cobuildconv.html。柯林斯可以在20分钟内提完。
! L/ l- G+ {/ x* z■提取金山词霸数据可以使用小程序KSDrip提取
  _" _  d  S+ P4 D    把KSDrip.exe放入金山词霸的词典文件(.dic)目录下，命令行下进入该目录，输入KSDrip 词典文件名.dic
7 S$ }( S6 ]6 o: ?■提取PDA上的KDIC词典的文本
    下载KDIC词典(下面附有懒虫字典大合集的链接，注意其中的牛津和朗文都不完整)，下载KDIC字典解码器，解压DeKDic到KDIC词典(*.PDB)所在目录，左键拖动*.PDB到DeKDic.exe上然后松开手，即自动反编译词典，得到一个*.tab的文本。
3 S8 _! \4 A0 |0 S第二步 处理文本
$ l  @8 Q+ l" \) b【1】下载UltraEdit，打开上一步提取得到的文本。如果你编程方面比较强，可以编个小程序处理文本。
【2】处理成的格式如下，以便导入到Access。
   ▲词条▲■▲解释▲
  _6 n9 S8 H  K9 P$ E9 G+ l1 b* T" w   其中▲是文本识别符，■是字段分隔符。
' [1 N7 c: h( |5 |   这里的▲和■也可以用别的字符代替，但不要用文本中已存在的字符，建议使用这两个符号，因为看起来比较明显，有利于检查错误。
   要批量替换文本，请仔细研究UltraEdit的帮助文件中的正则表达式的定义。
/ |0 t% K& D" o- u   1.把提取文本时输入的一串特殊符号(如"########")替换成▲^p▲。
6 f9 I4 X$ ]. D( z% M# L. l7 A   2.把词条和音标之间的空格替换成▲■▲。
   3.如果要使用"词典制做工具"(老版)做成词典，需要在16进制下(按键Ctrl+H)把每个音标替换成码位转换对照表中的学习机码位。
此主题相关图片如下：
http://bbs.iq168.com/uploadImages/200632923525097163.jpg
如果要使用"新词典制做工具V1.0"(新版)做成词典，需要把各个音标替换成相应的区别与别的字符串的特殊字符串(保存这个列表)。
此主题相关图片如下：
# U" c) D; I& q4 Z5 Nhttp://bbs.iq168.com/uploadImages/200632923533544684.jpg
' a9 [9 [5 a. P2 [   4.处理到自己感觉已经基本成形了，就可以导入到Access中(导入到Access主要是为了检查错误，一般来说，处理文本不可能一次成功的)。
; T+ W/ J- X& l: c! B7 b( n' ?   5.导入Access之前一定要将(▲■)这两个字符替换成单字节的符号如(#@$^)等等,但不要使用文件中以有的字符。导入时选择获取外部数据——〉导入——〉文件类型选择文本——〉导入文本向导下点击高级，按照下图填上各项。
此主题相关图片如下：
+ v7 `0 U* c" r! Q/ |2 d. A  http://bbs.iq168.com/uploadImages/2006330928395223.jpg
   6.导入后一般都会有错误，请对照错误项，再在UltraEdit中查找问题所在。
   7.不停的修改文本中的错误，再导入，重复之，直到导入后没有错误为止。
   8.导入没有错误并不意味着现在就可以继续导入到词典制做工具了，现在还需要检查是否有空字段和词条分割不合理的地方存在。在Access中点击"表"下面的"查询"，双击"在设计视图中创建查询"，在接下来出现的显示表中点击该词库的名字，点添加。下面的选择查询视图中按照下图填写
! i+ ^+ v8 e2 a4 |& ?0 P此主题相关图片如下：
http://bbs.iq168.com/uploadImages/20063309282124108.jpg
   9.双击建立的查询，右击"字段1的长度"，选择"升序排序"，找到空字段，再在文本中找到问题所在，更正后再导入到Access中，反复检查，更正，导入。直到没有空字段为止，再按照"降序排序"，看看有没有很长的单词(字段1实际上是单词，单词不可能太长，最大255)。如果发现明显不是单词而是一句话，则需要更改文本再导入。
   10.按照第9步的方法检查字段二有没有空字段，若有，改正文本，导入文本。然后按照降序排序，看看字段二的长度有没有超过15000的，若有，在文本中找到这些词条，将其分割成几个较短的词条(因为名人词典支持的单个词条的长度不能超过15000，否则查的时候会死机或者在右上角单词框中显示乱码)。分割后再导入Access。
第三步 导入数据包，打包成词典
   到名人下载中心去下载词典制作工具，导入数据包，做成词典。因为这一步较简单，具体过程略。需要注意的一点是，在使用新版打包工具，填写"特殊字符替换设定框"时，可以点击下面的"导出"(如上图)，存储特殊字符的替换表，以便下次打包时不用一个一个填写，直接"导入"替换表即可。
以下是本文提到的需要下载的软件
6 F0 h$ P/ k& b' @- X+ F. dDaemon Tools
http://www.skycn.com/soft/2345.html
《牛津高阶英汉双解词典第四版》
http://lib.verycd.com/2004/12/24/0000032059.html
《牛津高阶英语词典第六版》
http://lib.verycd.com/2005/04/13/0000046326.html
《柯林斯COBUILD英语词典》
6 b/ l. ]' Q# j7 F# ~  ?: Mhttp://lib.verycd.com/2005/03/17/0000042505.html
/ l  o3 Z- G0 }/ E《朗文当代英语字典第四版》
http://lib.verycd.com/2005/01/22/0000036070.html
金山词霸2005
http://lib.verycd.com/2004/08/04/0000015293.html
按键精灵
/ Y1 ^) W  }, b) V3 {http://www.okget.com/Soft/Soft_717.htm
& o: b4 I- s3 c' v& TUWSC
http://www.h7.dion.ne.jp/~umiumi/uwsce31b.zip
/ \% z! W" \+ ^+ u5 f' \TextPro
/ R0 m/ {7 [  m. E# xhttp://www.onlinedown.net/soft/6098.htm
- r! [& B0 H/ p: q4 G# wcobuildconv132.zip
5 [" b0 A, {7 Y! o+ _http://hp.vector.co.jp/authors/VA005784/cobuild/cobuildconv132.zip
) e0 Z! i2 s  s+ V6 wldoce4conv103.zip
http://hp.vector.co.jp/authors/VA005784/longman4/ldoce4conv103.zip
" @7 V, D3 y' v2 d* o; w* Aruby
+ ~3 L. r# Q8 [" n0 K# ?+ q: o) ehttp://rubyforge.org/frs/download.php/2407/ruby182-14.exe
8 t1 H' [/ x1 i. f懒虫字典大合集
& s: s  Q  D& p. n5 R: a4 thttp://www.51spsoft.com/DownInfo/info7879.html
+ H9 f7 e0 f! R3 U: {) R5 ~9 u: }金山词霸的DIC词典导出程序(点击"个人作品"文件夹下的ksdrip.zip)
8 P7 ]' H! u% ]" m& [http://free5.ys168.com/?dwing
KDIC字典解码器
( l- i2 h3 N0 C( R3 @% U! ohttp://www.tompda.com/bbs/download.asp?id=tompda_143195_DeKDic.zip
UltraEdit-32 12.00 中文绿色版
http://www.zhidu.com/Software/Catalog94/169.html
. b( O5 _, Z$ E+ Z不晓得出处.

mikeliran

用过名人的词典，很好用的，不过后来坏了几次懒得修了就换了pda