汉语大词典光盘版3.0及提取工具

tsiank

gnoweb 发表于 2016-5-17 23:03
5 Z, [; T8 }! c4 L$ k- g已修正。

忙活了這麼久，終於把我的排版也搞定了，數據優化到了200多兆，和你的大小差不多了。光盤版的還有一個問題，就是一個義項下又有許多小項釋義時，比如“青”字，並沒有排版，看着有些亂，需要在這些地方自己排版一下。不過正則匹配肯定有照顧不周的地方。另外，字頭詞頭的小標號是有一定的注音提示意義的，所以建議還是保留爲好，並且可以做成直接跳轉到指定位置。比如“參見參3”，點擊後可以直接跳轉到“參3”這個字頭。字頭下的詞條列表可以設爲摺疊模式，需要時可以點擊查看，或者完全隱藏，不然太佔位置了。

gnoweb

coolsummer 发表于 2016-5-18 15:35
与WFG大讨论时，WFG大又指出一项差异，gnoweb大的撷取似乎还是漏失了一些讯息，见图：

单独提出的词目里没有保留第一个字的编号信息。可以自行回退入第一个字目查阅。单字目下都保留了各自的词组链接。
+ L+ @9 P0 g- W5 p" Q! I1 P
: X2 X: [! V; W, ?0 s' G

tsiank

coolsummer 发表于 2016-5-18 15:35
与WFG大讨论时，WFG大又指出一项差异，gnoweb大的撷取似乎还是漏失了一些讯息，见图：

- q) t' U$ s; K& e這個我知道，所以我都保留了，並且點擊時可以直接跳轉到相應位置。

gnoweb

tsiank 发表于 2016-5-18 16:06
忙活了這麼久，終於把我的排版也搞定了，數據優化到了200多兆，和你的大小差不多了。光盤版的還有一個問 ...

: J. u7 s  p0 W8 K) C* F) Z) u好的。随后有时间可以优化一下。

liuyunrushui

真漂亮！WFG是哪位大神呀？

tsiank

liuyunrushui 发表于 2016-5-18 16:16
真漂亮！WFG是哪位大神呀？

對岸一位網友：。http://blog.xuite.net/fg_wang/twblog/106485207  需要fq.

sky66

光盘版3.0數據的問題, 供大家參考:
& |/ i! D1 H( Z7 m1 G  v: U
- \2 ~3 J& e' L+ ]8 U1. http://blog.xuite.net/fg_wang/twblog/106485207 由 WFG 提到的 [爰] [胡然] [能始] [丑] [厂]
* i% {' _* V' I6 W. C
- c. x0 b$ B( c) E2. http://www.guoxue.com/?p=4453 提到的 [夜叉] [老饕] [裳]
2 x+ \' G/ b0 u2 C; V5 F+ @' K
3. "，，" 有64處, 經與原書逐一確認, 全部都是 "，"
/ q- \- |3 N1 H" g5 x+ P! K    目前看到所有的文本版都有相同問題, 還有"。。" 29處待確認.
- G" [' o3 ^9 q) Z
8 @' d( l" P& o" h5 B4. [喪]
7 U  v. w6 v6 x; ^2 g7 `”`《三國志·魏志·武帝紀》
=>
4 C  G. _( {' a. r$ j# y”</LZ><LZ>《三國志·魏志·武帝紀》

( c% a& b; I1 j: f& L: u5. [翟]
這些孩子。”``
# R& F. y0 \, q=>
這些孩子。”
0 Y" {" e+ Z3 s, g! }: a
6. [名貿實易]
; Q/ `* u' l* n謂名稱相似，實質不同。貿，牟牟”，等齊。易，變易。《商君書·開塞》今世之所謂義者，立民之所好，而廢其所惡；此其所謂不義者，將立民之所惡，而廢其所樂也二者名貿實易，不可不察也也。”一貿“貿”義易”。謂名稱與內容應互換。
1 i4 _9 r. [5 L2 m=>
( Y9 ]6 l7 e3 Z9 x' e. o: b謂名稱相似，實質不同。貿，通“牟”，等齊。易，變易。<LZ>《商君書·開塞》：“今世之所謂義者，立民之所好，而廢其所惡；此其所謂不義者，將立民之所惡，而廢其所樂也。二者名貿實易，不可不察也。”一說“貿”義同“易”。謂名稱與內容應互換。</LZ>
( O$ ^5 w$ o+ ~' m) P7 V4 ]
7. [儉易]
猶言吉凶好壞。《釋文》引<u>京房</u>注：‘險，惡也；易，善也。’”
' D$ E' j8 H7 z  X! ?" ^$ `=>
/ Z- z' c) v  `5 J" a$ r猶言吉凶好壞。儉，通“險”。
! N3 f3 Q* k, M0 _$ }7 F
7 g) |" Z9 r5 @$ }: x' v8. [只要功夫深，鐵杵磨成針]   類似問題還有幾個詞條, 需與原書校對修正: [德勝頭迴] [柰園] [科頭跣足] [捕取] [被錫] [鄂不] [鎛鋁] [鞠花] [黃污]
' t; `) \; {1 [% r8 `( D0 s鍼，針針”。功，亦作“工”。
=>
0 L6 v/ Z3 s) z鍼，同“針”。功，亦作“工”。
4 L# P" C% T" d2 q+ D) y
9. </XH><SY></SY> 有 1650 處,  難以逐一確認修復.
$ p- ~6 E2 f4 G0 z" a

gnoweb

等2020年新版吧，或許相應電子版會解決字符不全，數據缺失的問題。

klwo2

原先的电子版有一个功能（至少2.0有），就是模糊查询，不知道有没有什么办法可以移植
: a8 A$ }2 c+ O* I* {, c: r
也许是我mdict/goldendict 使用不熟，没发现怎么模糊查

tsiank

8 v! u" Y& @8 |8 G: M: [/ I2 L

sky66 发表于 2016-5-21 11:13
光盘版3.0數據的問題, 供大家參考:

1. http://blog.xuite.net/fg_wang/twblog/106485207 由 WFG 提到的  ...

嘿，對照着你說的這些，我都一一改正了。那個“。。”也全是多了一個句號。在查看“。。”的過程中，看到“長公主”這一條，釋義中“後代僅爲皇帝姊妹的封號。”後又重複了“亦省作“長2主”。《漢書·外戚傳上·孝景王皇后》：“長公主嫖有女，欲與太子爲妃，栗姬妒，而景帝諸美人皆因長公主見得貴幸，栗姬日怨怒，謝長主，不許。”這個例證中”的內容“。而例證的“亦省作“長2主”。長後少了個2。另一個版本也有這樣的錯誤，真是改不勝改。這讓我倒想起了這個詞典跟英語WBD詞典的情況倒很相似。

  {9 ]  ?6 y5 F, _. T7 p那一千多個<SY></SY>的情況，大多都是因爲異體字的原因造成的吧，像疏，疎；梨，棃；牀，床。真不知道爲什麼繁體版的把原紙版詞頭中的“牀”等字换成了“床”。像这样的异体替换很多，造成我添加本词典词头页码时有将近四千个没法加入页码数据。相比之下，另一版本的大词典用字倒是忠于纸质版，可是排序真是混乱，也实在是搞不懂怎么造成的。真是怪，明明是从纸版来的，却没有一个版本正常的。
1 w8 v8 A8 R# C7 p$ O2 i# F. a2 I

. b) M6 d4 B& g2 b0 Y# V
/ Z, n; i) t& Q' Q

tsiank

klwo2 发表于 2016-5-21 12:00
9 b' h2 C( R% m9 ^$ [4 r5 Y# r原先的电子版有一个功能（至少2.0有），就是模糊查询，不知道有没有什么办法可以移植
: @8 E; o  F; t6 J1 I. R
2 X6 @9 y( m7 J也许是我mdict/gol ...

goldendict不也可以用*,?来匹配查找吗？

tsiank

最终的排版就是这样了，也是我觉得大词典理想的样子。尽管觉得部首unicode那些信息不必要，为了跟光盘版一致，还是加进去了。字关的页码可以点击跳转到图像版，词头也加入了页码信息和拼音。由于异体字的原因，有四千多个词跟图像版不一致，所以无法把图像版的页码vlookup过来。词头的拼音是利用字头的拼音生成的，所以第一个带下标的字的拼音与原字头是一致的，其他的多音字正确性就没法保证了。不知道为什么大词典把些的suo音放第一位，导致带些的词头注音都有误了。如果mdx词典格式能够实现随时编辑的功能就好了，这样查阅过程中发现错误随时改正，即查即改，不用那么麻烦再编辑源文件重新编绎。
* J  f. o- X+ H! }& }
, P0 E% x, s- E+ L! A2 t0 m$ K
1 n5 C1 q$ Q0 Y9 j% s1 r( h4 V
' i* C+ N. N, c  U2 m

tsiank

gnoweb 发表于 2016-5-21 11:50
等2020年新版吧，或許相應電子版會解決字符不全，數據缺失的問題。

之前不是说2015年出第一卷吗？都2016年中了，还没见影呢。2020年出齐，我看没准。

sky66

tsiank 发表于 2016-5-21 15:00
嘿，對照着你說的這些，我都一一改正了。那個“。。”也全是多了一個句號。在查看“。。”的過程中，看 ...

7 z% n2 h7 y) T0 L1 _& ^5 k& h2 z從"，，" 和 “。。” 錯的地方都一樣來看, 目前各文本版的來源估計都是同一個, 到後來不知怎麼各改各的, 就亂了..

另一版本用字雖然忠於紙質版, 但是順序不同, 原本以為是有什麼新的見解,  重要的釋義或例證放前面..
5 {# _% C# ^7 w) U3 r: ?但是, 從"長公主"這一條來看, 例證的順序這麼排就是錯了.
$ f8 f+ e% e% E" h因為《宋史·秦国大长公主传》的例證, 並沒有用到前面所提到的 亦省作“長主".

sky66

tsiank 发表于 2016-5-21 15:56
5 i! N  d6 O$ K, q* Q" p$ Z) m) _之前不是说2015年出第一卷吗？都2016年中了，还没见影呢。2020年出齐，我看没准。

http://news.66wz.com/system/2016/05/20/104833730.shtml
6 C* d3 T& _2 ]' ^

陈增杰说，他目前负责第三册上半部分，初稿663页，计110万字，明年5月交稿。

: S% q0 l, L, d) G
2017 5月, 第三冊上半部才交稿, 之後還要再做校對整理, 印出來可能都2018了.
要出齊, 可能還真的要很久. 現在的版本繼續將就著用吧..

tsiank

sky66 发表于 2016-5-21 17:44
從"，，" 和 “。。” 錯的地方都一樣來看, 目前各文本版的來源估計都是同一個, 到後來不知怎麼各改各的, ...

: X9 i% ~; q* W; [8 u根本就不是有什麼新的見解，好多例证近代的竟然都在唐宋之前，哪有这样放例证的。还是那句话，我是实在不明白怎么会乱成这样。

tsiank

sky66 发表于 2016-5-21 17:48
http://news.66wz.com/system/2016/05/20/104833730.shtml

  n% T4 T6 P6 E估计至少还要10年时间，2025年能出齐就不错了。

coolsummer

我从WFG大那里又得知几处错误，在此加以补充：
5 ^8 M0 K, t' Q- k
1. [建窯] 宋代著名瓷窯。窯，(1)窯址原在 => 宋代著名瓷窯。窯，同「窑」。(1)窯址原在
  W/ T: D  ~6 F% K- R1 j2. [石經] 蔡邕用隸書寫成的「熹平石經」， => 蔡邕用隸書寫成的「熹平石經」，亦稱「一字石經」。
" D0 {; }5 K5 D3. [赤城] 在浙江省 天台縣北 => (1)在浙江省 天台縣北
4. [九辯] 大义项 (2) 未断开，排版错乱
+ H7 C7 k: f0 L  j+ N& K5. [十三家] 大义项 (2)(3)(4) 未断开，排版错乱
* {. j) U+ O! z7 Q# o( _, r! V+ n6. [十八變] 大义项 (2) 未断开，排版错乱
) \; }9 n7 ]* c5 x$ N4 @8 F7. 一千六百余处，缺文、释证重复错置，例如：[一床][一線][一鉤][二疏][上果][二豎][三犁]......
另六十余处 "..."("."的数量不定) 为对纸本有删节之处

基于以上 3 - 6 项，若对小义项有做批次断行处理的大大，可能已造成"误杀忠良"的错排，请特别注意。

( i7 n8 G8 w" O& l其实这光盘资料的错误，真是改不胜改，当初编辑者硬删资料以套入BIG5的编码之中，就已种下"祸根"，再加上某些简体转繁体造成的错误，先天早已是不良。各位大致整理成自己喜欢的排版后，足堪使用就好，批次处理愈细、愈多，引起新问题的可能性恐怕就愈高。
9 R7 i0 X; O9 z, l- x5 c$ |

tsiank

coolsummer 发表于 2016-5-23 16:58
我从WFG大那里又得知几处错误，在此加以补充：
( E9 @3 J) X; C/ x& F7 O
1. [建窯] 宋代著名瓷窯。窯，(1)窯址原在 => 宋代著名瓷 ...

前兩天下載了漢語大詞典光盤版2.0忙活了幾天，提取了數據。2.0收有字頭27898個（去除重複後有20902個，也即收錄了全部GBK編碼範圍內的字，比3.0多收了六千多字，即使去除收錄的簡體字頭，也多了三四千字頭），詞條343307条。無論是收字還是收詞，都比3.0的要多。有“煊，堃，脉“等字。不過有些字頭詞條不見於紙版。2.0因爲是GBK系統的，比3.0少了很多因適應big5碼而刪除有關內容造成的錯誤，所以基本上沒有那一千六百多處的釋義錯漏，例證誤置。除了是簡體釋義以外，文本質量比3.0要高，說3.0是2.0的閹割版也不爲過。只是2.0的排版很糟糕，大釋義與例證都沒有分開。


# R) X! B: Q0 x

tsiank

sky66 发表于 2016-5-21 17:48
$ W# ~# H0 t; M# q' [$ e1 U6 Q  whttp://news.66wz.com/system/2016/05/20/104833730.shtml

5 p# f/ N8 M& q2 s/ O/ M4 W3.0對紙版上的釋義多有改動，今查“五奴”條，釋義中“但多與我錢，雖喫&#19284;子亦醉，不煩酒也。”此句引用的話2.0把“雖喫&#19284;子亦醉”用......代替了（自己已改正），而3.0把這句話直接翻譯成了白話，亂序版的倒是忠實於原文。應該是因爲“&#19284;”這個字gbk和big5碼都沒有收錄，所以做了不同的處理。不過3.0對2.0也補充了一些內容，比如還是“長公主”這條，3.0比2.0多了“亦省作“長主”，可惜又沒處理好。
+ h) w3 l  U+ s( M* |# B
! H8 q% p# W. [) ]7 p8 G* L

. [2 ]& d- f+ y6 V/ k

coolsummer

tsiank 发表于 2016-5-25 01:13
# O0 u) H# U. Q( r  t# v( i0 z前兩天下載了漢語大詞典光盤版2.0忙活了幾天，提取了數據。2.0收有字頭27898個（去除重複後有20902個，也 ...

1 Q, E' }: L) L$ h) @1 M看来汉语大词典光盘版2.0的数据还是有其价值，感谢tsiank大的分析，我也来试着提取看看。