辭典詞彙量估算匹配

喬治兄

辭典詞彙量估算匹配
在此提供試算表 您可自行預估拿捏 wordlist 詞條數量
6 j$ J) o4 D; i/ S, ~2 t% _延伸此點交代不清之處
https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33566&extra=
+ y: y3 t- m) v. |1. 要先預估其要製作的辭典的辭彙量,
   若能知道正確辭彙量是最好的, 但往往不知道其多少辭彙量
' T9 C  _6 d& d, J   可能辭典序言上標示的辭彙量也不一定正確
* Y9 G$ H: m; b8 A; W4 i' E   此可利用 Excel 統計 random 的函數產生的 30 個隨機數來挑其頁數
   算一下那 30 頁 每頁各多少詞頭, 然後求個平均值在乘上頁數.......就大概是那辭彙量
   保險一點的話在加上3個標準異差乘上頁數.......這樣辭彙量應能大概都能含概了吧
   因此關於您要用多少的辭彙量來配那本字典, 您也可選 30~40 萬的 wordlist 來配4~5 萬的辭典
, k/ O. P6 M. Q( r   問題是整頁都是多一堆辭典沒有的字, 也是同樣多花時間找

9 S+ I  J6 Z: y9 PP.S. 已用過 47 萬多的21世紀英漢 wordlist 來配 外研社新英漢詞典 (圖片版)
. G+ I9 X. D( p  l. G% H) R效果真的不佳
; y$ M# s! r$ S* b4 H; c此 EXCEL 例只是說明小弟並無真的去算那抽樣的30頁
9 o: x! _) g1 _8 S7 R也就是說只要配到 26萬多就基本含蓋了
1 e. a. K: _; B4 z0 G! u2 ~/ i不需用到 47 萬多的wordlist 來配
其實用平均值6萬6 以上配, 應該是效果已不錯了
1 \6 j2 S7 h( {8 Q4 [僅供參考
8 e  a2 b; I) V# x2 M$ s9 x) G% Z每頁匹配多少詞條可用 countif 來算
比較一下每頁的詞條數和匹配的詞條數
若是各依其數具計算出來的平均值和標準異差都很接近
$ W# a" j4 K8 |  |/ {+ `, f& Z1 T那表示你應該匹配的還可以吧
4 v4 v( N% D+ T$ C4 z4 L/ w5 d) A
辭典詞彙量估算匹配_4............應該是比較合理的預估模型
(書頁詞條數-匹配數)<= 沒配到的詞條數
以沒配到的詞條數算出平均值和標準異差.......各乘上頁數
7240 , 3726
: }, q2 `/ M/ C( W( n: H也就是說以此 wordlist 來配完此辭典大概平均沒配到的詞條數 在 7240條數 但預估最大值 18418條數
所以用 66595+7240=73834.......大概都能配到的平均值
$ K  R3 a9 `/ q若要在保險點則加沒配到的詞條數的預估最大值 18418......66595+18418=85013
: G$ [7 N4 u$ v) |. Q所以 min=73834  max=85013
4 `% m$ r: ~  `' y7 z& o9 [  M/ Y# _

oversky

( H7 b/ A! Z9 B% D( \+ w& j5 P
6 t  w9 ]+ ]) y( u2 A: H# c第一个想法
可以试试抓几个项目特别多的字之页数来当作参考起点，这样应该可以减少累积误差。
$ u( a4 z) U1 k& x* I3 l) Q
+ i& l' a# f+ H( g' S6 H第二个想法
5 C8 a  C) F! Q% g! s  s4 r5 J用字频资料库来估比例。

喬治兄

oversky 发表于 2019-3-21 18:08
. N( d! u9 k) A0 ~: |2 k  M4 D可以试试抓几个项目特别多的字之页数来当作参考起点，这样应该可以减少累积误差。 ...

. r  z  `: X3 z/ s" eoversky 兄:
如此就不是隨機數了
5 f9 B& N! d8 z+ s" n其實是不需如此, 因標準異差值本來就是設計來估誤差值的
8 A0 z1 Q, D$ j* O4 S7 @# U當您用到6萬6去匹配基本上50%的單詞都絕對配到
+ E( l- ]4 Y9 @% e- m( F加一個標準異差的量13萬2就68%以上都絕對配到
* E8 S1 n! x( u8 s, a) ~* M# t加兩個標準異差的量19萬9就95%以上都絕對配到
, Q7 Q# q7 r" x" Q% f, i9 p  X加三個標準異差的量26萬5就99.7%以上都絕對配到
而且這是雙邊機率值
若單邊其實機率值更高
真的也不太需要用到加三個標準異差的量26萬5去匹配

倒是可以考慮把幾本的 wordlist 作張表把頻數填上
用 Bootstrap 的方法把頻數考慮上隨機抽取你算出的數量的 wordlist 去匹配
重要的單字不漏也不至於多配太多和漏配太多
( F! \& m" n6 j5 _* x) d: p% @: T可能命中率更能提高些
# i2 E, A' w% L3 g* o& k# w也就是集中數個wordlist 於一張 wordlist 然後每次都從此 wordlist 隨機抽取你要的數量來匹配

  C/ U: a* n5 R  x

喬治兄

+ ?/ J' }3 t# r

oversky 发表于 2019-3-21 18:08
第一个想法
5 d2 a& n4 c* X5 b! q9 z可以试试抓几个项目特别多的字之页数来当作参考起点，这样应该可以减少累积误差。

8 L; f2 S: M# G  N6 Doversky 兄:
. o8 Y0 G! f* _* N  V剛又想了一下檔案和圖都改了好以次
後來的預估模型應該是比較合理
因若以每頁的標異差來估
數量一定會膨脹太大
4 _) H9 ^) M1 ]. U# ^* ~; y! l+ \但若以沒配到的平均值和標異差來估
' V9 T, Q8 _; T且加上則數值來看應該是比較合理

0 n, U2 L; [. t/ N! i$ A

oversky

喬治兄 发表于 2019-3-21 20:33
; f' B5 H+ F5 Y1 _oversky 兄:
2 d  M: f* t! {4 F! {5 u3 Y剛又想了一下檔案和圖都改了好以次
6 i) _1 w  t+ h後來的預估模型應該是比較合理

7 V1 A; _) g5 K& n- L' \好久没碰机率，我再来研究看看。