通过Python分析日语单词中音调类型的比例

enjoy了哦

; V: n  T) d- o# O- }, U0 l3 P通过调查日语单词中音调类型的比例，可以得出一些结论，方便记忆单词本身和其后续助词的音调。
3 r$ W& ^2 d# x9 z2 C) Q
8 }9 g" k) U: g  [2 |" F6 k原始数据：新明解国语辞典第5版（EPWING格式）
2 y3 ]& h3 ~/ @首先通过 EBDump 打开该EPWING格式词典的文件夹的 HONMON 文件，导出其中的“前方一致表記形見出し”部分，选择全部的1412个block。

$ m; K! g2 E' F6 m5 W: |8 C8 p% t
* k8 h0 f9 f( }6 ^! G" U导出后，将该文件转码成 UTF-8 格式，并使用正则表达式替换部分内容，使其容易被后续分析处理。
# }$ O% M8 @5 j+ |  i. j
% c& h' Q# o4 \; H( s% f& O
为统计尾高型音调，需要知道每个单词的拍数。由于拗音占有两个字符，但只算一拍，为了方便统计，将其中的小的[ゃ][ゅ][ょ] 及对应的片假名（还有小的[ア][イ][ウ][エ][オ]等，外来词专用音节）去掉，即[きゃ][きゅ][きょ]中后面那个字符。这样一来，拍数就等于字符数了。

" n2 I, z* h1 s, R* G最终的经过清洗的“干净”的数据如下所示，根据个人的习惯进行处理：
! ^3 E' }7 ~# J6 N
6 \" f9 J* \& z5 x& g
然后可以通过 Python 进行统计，一个单词可能有多个音调，但只统计第一个音调（稍微改动源码可以统计所有的音调）。这个代码可以用来明白大致的统计思路，后续还有写零碎的更改，并没有体现在这里面。
9 h8 S3 y7 C& o2 _0 ]3 D6 o1 F

1. #!/usr/bin/env        python
   + L# Y& Z8 _% ^
2. #_*_        coding:utf-8        _*_
   $ i5 ~- \* e9 s9 o6 d& G9 e
3. 
   3 V, f$ p! l1 B, o
4. import sys,os
   
5. import numpy as np
   5 ]/ Z0 d. k& O# \% f% ~1 T
6. 
   0 r3 r) C8 y2 T8 N* l$ G- o
7. # 带有音调标记的词汇数目
   * d! _3 q5 c9 A; t& V( X
8. all_entry = 0
   
9. 
   3 r; d/ _7 r- X$ B0 s7 d/ [/ B
10. # 平板型,[0]
    ) L% O) ^- c1 D; H$ v
11. entry_0 = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    9 l8 g, q& H! `4 {; V( ?+ d
12. 
    
13. # 头高型,[1]
    
14. entry_1 = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    - I/ n& {$ A5 h
15. 
    0 Q; C0 f  ~1 v9 N4 `
16. # 尾高型,[x] = 拍数
    - S$ Z  s$ A, [) T/ f" X
17. entry_last_high = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    
18. 
    . \6 I/ B- @6 q! m! ^) E& X% Y6 m
19. # 中高型,[x] < 拍数
    
20. entry_middle = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
      H; O/ w$ g; S+ l
21. 
    
22. file_name = sys.argv[1]
    
23. f = open(file_name,'rb')
    7 P5 M$ F# u2 F5 @4 G
24. for line in f:
    ! F) H- h; F2 M. F4 k! D
25.         line = line.replace(b"\r\n",b"")
    
26.         line = line.decode()
    
27.         db = line.split(',')
    
28.         word_len = len(db[0])
    
29.         if word_len < 16:
    
30.                 all_entry = all_entry + 1
    7 @- k7 ~' Y' H- U, ^/ u. z
31.                 for i in range(1,len(db)):
    
32.                         accent = db[i]
    
33.                         if accent.startswith('['):
    $ W0 o4 |7 p& s5 c3 Y) j
34.                                 integer = int(accent[1])
    
35.                                 if integer == 0:
    8 J, P" [6 r7 O2 D5 D
36.                                         entry_0[word_len] = entry_0[word_len] + 1
    
37.                                 elif integer == 1:
    
38.                                         entry_1[word_len] = entry_1[word_len] + 1
    
39.                                 elif integer == word_len:
    # \4 ]1 A' p* P. x+ q0 |" Y' {& a; A9 D& G
40.                                         entry_last_high[word_len] = entry_last_high[word_len] + 1
    
41.                                 else:
    " Z# {5 w, Z$ V( \( r* L
42.                                         entry_middle[word_len] = entry_middle[word_len] + 1
    ; \( u' T. l  R8 E7 a& T
43.                                 break
      C" D' x: m% Z+ r8 I3 `; ^) b; y
44. 
    
45. print('[0]:')
    
46. for i in range(1,len(entry_0)):
    
47.         print('%d' % (entry_0[i]))
    2 i  Z) W3 ], j3 h4 g4 Q
48. print('entries: %d' % np.sum(entry_0))
    
49. print('\n')
    + N6 |+ N5 W& i
50. 
    
51. print('[1]:')
    & Q8 W( z; c. d# b- i* @9 i
52. for i in range(1,len(entry_1)):
    
53.         print('%d' % (entry_1[i]))
    * X& h. K: Z) K; A5 [
54. print('entries: %d' % np.sum(entry_1))
    
55. print('\n')
    
56. 
    
57. print('middle high:')
    ; R, h3 \5 F/ \: S' {4 N
58. for i in range(1,len(entry_middle)):
    4 Y3 ?8 C, |1 l; N3 h9 a) p- R
59.         print('%d' % (entry_middle[i]))
    
60. print('entries: %d' % np.sum(entry_middle))
    ! f1 D: j" D0 O# b" a
61. print('\n')
    1 G  Q  [; a. Y$ N: j" a
62. 
    $ d4 g, X& r: H
63. print('last high:')
    " J: o8 ?: y- K  T0 d& ?
64. for i in range(1,len(entry_last_high)):
    # d, P, `3 Q# W9 q3 S- Q2 Z6 z% o
65.         print('%d' % (entry_last_high[i]))
    
66. print('entries: %d' % np.sum(entry_last_high))
    
67. print('\n')
    
68. 
    
69. print('all entries:')
    
70. print(all_entry)
    + a) P5 R9 h0 K5 p+ ]9 t6 \' w
71. 
    
72. f.close()

复制代码

最后将 Python 输出结果进行数据可视化：

$ ^6 f# I( |5 S% H


1 B3 ?' B+ V6 m; P6 E以及饼图：
: S. \( H+ f) H- p; d' z2 p
! U# K( {0 `! w& U( ~
可以得出几个结论：
1 a4 K% Y- D+ u1 ?  X1. 尾高型的单词很少（约2%，大部分在2拍和3拍的单词上，2拍和3拍五五开，总共约1300个单词（在7万多个单词中）。
5 M. ]; R  ~8 }* k/ ~2 i2. 头高型的单词次少（约17%），主要集中在3拍的单词上（约51%），2拍和4拍都约占20%左右。
3. 日语中4拍的单词最多（约42%），并且相当一部分（约72%）是平板型。这和新标日中入门单元里，“声调和语调”部分中“声调”小节里的解说是一样的。
4. 记忆平板型和尾高型的单词时，单词本身发音规律相同，都是前低后高，但后接的助词音调不同，不好记忆。但通过上述统计，可以这么做：（两拍以上）尾高型的单词单独记忆后续助词的音调，其后续助词的音调总是低的，而在一般情况下，一个单词（两拍以上）后接的助词的音调（高或低）和该单词的最后一拍是相同的。一拍的单词完全不符合这个“一般情况”，只需要记住这一拍本身是低还是高，再根据“一个单词中第一拍和第二拍音调必定不同”来确定助词音调。单词本身的音调则通过多听、多用以形成固定的记忆。
1 q. S$ Y; u' v  ^4 R5 o

# `* |: u' O0 z) L0 I
( t3 P: o6 x) D; c) ]
+ n8 G7 ^/ l) b) @+ o7 G! T' z
% c5 a* M7 S* S  r2 c
, t5 {7 ~4 Y! L: Y  K# d

enjoy了哦

kriskr 发表于 2019-3-24 00:48
5 \- h; H+ ?+ E; b& F+ ~' s想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗 ...

文本编辑我一般用 notepad++，开源又好用。其中的 Encoding 菜单中有个Convert to UTF-8，可以转码。
  A6 l' `0 z- e4 c2 h  k
: _" M6 d1 W+ h0 t$ z. s1 O7 }在正则表达式替换的过程中，做了如下处理：
1. 删除了多个单词组成的条目。这种条目分别对每一个组成单词都标注了音调。
2. 声调类型统计只统计0-9,10及以上不统计。
3. 拍数在16拍及以上的不统计。
8 P8 o, A. Z8 G5 S* H8 r* P! {以及一些细微的调整。
9 u& `* Z+ Y' L1 ?. H5 x
( k( m; D$ o6 ^/ a因为各人处理的方法不同，你最终得出的统计结果可能和我不太一样。

kapan000

请教几个问题
1、新明解单词数较少，可否统计下超级大辞林？
2、统计饼图，可否给出所占比例和数量。这样更好看点。
$ o; j* S" i! I9 H3、可否给出统计的xls？我想再算下，10拍以内，各拍那个声调多一点及其比例

没想到0声单词这么多
我一直认为2,3,4...这类最多

enjoy了哦

kapan000 发表于 2019-3-23 22:43
请教几个问题
1、新明解单词数较少，可否统计下超级大辞林？
0 [6 D! F5 }  z% ]$ b5 E2、统计饼图，可否给出所占比例和数量。这样更 ...

1 p; K- e) V0 m我觉得统计超级大辞林没有必要。原因有以下几点：
1. 新明解已经收录了常用单词，这个统计是用来指导记忆声调的，对常用7万单词的统计我觉得真的已经足够了。
2. 要对超级大辞林进行数据清洗是非常麻烦的。其中的百科词条等，也不太常用。
3. 超级大辞林中的大量片假名词语（外来词等），其声调相比常用和语、汉语词汇，没有那么固定。如果将其纳入统计，我觉得并不具有代表性。
4. 对于超级大辞林中古语的声调，我觉得统计了也没有什么代表性，我学现代日语就已经够呛了。

/ t% K7 F. l  e2 v/ V6 p, L0 X; c; N2 |学日语真心推荐新明解，你可能觉得它收词量小，但是它还告诉你词汇的用法，一些有用的信息等。
6 c! [6 i5 O3 B/ e# `8 i
这个EPWING版的新明解好像是通过别的格式转来的，里面有很多东西没转对，问题有点大，最好不要用。

kapan000

/ i, m6 R7 O& a* g* V

enjoy了哦 发表于 2019-3-23 23:12
我觉得统计超级大辞林没有必要。原因有以下几点：
/ e3 N7 E& M- p0 f* _4 u# u1. 新明解已经收录了常用单词，这个统计是用来指导记忆 ...

非常感谢。请问下，这个统计是全部单词？是否包含了片假名单词？

* l8 U* t, i7 q  K9 V& h如果可以的话，能否再统计以下3个纬度
这样就更细化，明白了
  |$ |0 m' @) q$ m+ [# T纯片假名
) e( M% g8 H' F) \* l8 i: m有汉字的
纯平假名的，即完全无汉字的
* M8 N% S* A0 z* p! Q
谢谢

$ A$ X7 R$ a! [) Z

kriskr

想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗

f2st

想问下楼主ebdump导出后如何转码为utf8 为什么我转码后，是乱码，求赐教，是需要一些python改动吗

f2st

求导出的txt

takeko

太厉害了