【实验室】用NLTK处理词典文本的使用笔记

fnaviwwo1 · 发表于 2016-7-14 11:44:55

本帖最后由 fnaviwwo1 于 2016-7-15 12:06 编辑

CHANGELOG
+ [20160714] 第一版，为句子建立单词索引。
+ [20160715] 引入词性标注模块，改进单词提取结果
- - - -

受到这个帖子的启发。

NLTK是个非常好用的自然语言文本的处理工具，用来处理文本编纂词典非常有帮助。

以下是一些使用时记录的笔记。

先导入和创建用到的东西

( w9 A) L) i2 C/ D
import nltk
# u8 u0 q5 {+ S
from nltk.tokenize import sent_tokenize, word_tokenize
' i( p& t( _) o `5 s
from nltk.corpus import stopwords
6 g% y( Q/ n! Z6 q! ^
from nltk.corpus import wordnet as wn" ]1 j7 i- x. C
from collections import defaultdict
( ^$ \$ J5 k; m( [- X% t
sw = set(stopwords.words('english'))% I8 Q" W4 ~1 t2 Q" T: F& J

复制代码

任务一：为句子建立单词索引

（这段代码有问题，直接跳过看后面的改进好了。）

先随便找了一段文字

s = '''
+ {5 V6 W8 y$ ^
Donald Trump is insisting that aides stick to confidentiality agreements so much so that he is suing a former campaign consultant for $10 million, his lawyer said.
8 R9 e. z9 @# B8 E1 U
: `( u# F% z% I% m# m" Y5 J
"He's violated his agreement and you know we have taken swift and appropriate action," Alan Garten, executive vice president and general counsel at The Trump Organization, told USA TODAY. "We intend to pursue this to the very end."
4 k2 [$ j5 d/ t% o7 v, m& Z
. x4 T, d D/ d6 ` W$ L( n
Court documents obtained by the Associated Press indicate Sam Nunberg has been accused by Trump of leaking confidential information to reporters in violation of his non-disclosure agreement. Nunberg, in response, accuses the Republican candidate of "a misguided attempt to cover up media coverage of an apparent affair" between senior campaign staffers.' M' y- ?! }, |
'''.strip()

复制代码

分句：

ss = sent_tokenize(s)0 x! b6 R6 Z, G
print "有%d个句子。"%len(ss)

复制代码

建立索引

9 R) M: F+ I9 R. y" o3 @
find_words = (lambda s:
7 D. t: u( C0 U! B, Y
filter(lambda x:x.isalpha() and x.lower() not in sw,
" {9 K7 o- l; }" f0 [& b' G1 B
map(lambda x:wn.morphy(x) or x, word_tokenize(s))))& B4 a) R/ D) i2 N
kv = ((w,i) for i,s in enumerate(ss) for w in find_words(s))7 s0 ? d. I$ S
kvl = defaultdict(list)
1 C3 d& Q/ V' L* |9 Y/ ~
for k,v in kv: s$ J% d& a; N$ I
kvl[k].append(v)$ J* r, W) q8 u' t

复制代码

看一下结果：

1 ^, d6 O+ l8 ~
for k in sorted(kvl.keys(),key=lambda x:x.lower()):& }! m9 O7 @. b0 P
print u"单词 %s 在第 %s 句中出现"%(k,','.join(map(lambda x:str(x+1),kvl[k])))
5 a6 ^' {) S9 u9 ]% }( Q

复制代码

得到：

单词 accuse 在第 5 句中出现
- m1 Y( J$ u% c! p* t$ ?单词 accused 在第 4 句中出现- w, i4 f* @8 y
单词 action 在第 2 句中出现
" I0 [/ j; o. _: l4 N( ]5 d& E- \单词 affair 在第 5 句中出现
9 H2 C6 Y& o% I; k- W单词 agreement 在第 1,2,4 句中出现
+ L: u/ W8 F" v+ B: j单词 aides 在第 1 句中出现- [& b& }7 @) ~3 m. R1 K
单词 Alan 在第 2 句中出现* @- X# k( Y) U. p# g
单词 apparent 在第 5 句中出现; O  h- S  L9 n! k9 f" i
单词 appropriate 在第 2 句中出现
! M& N. }8 Q9 p  w! u$ k7 r' b+ n单词 Associated 在第 4 句中出现  u# D$ {) J  w" i' c
单词 attempt 在第 5 句中出现
) t8 I, W2 X3 x/ o8 |7 [单词 campaign 在第 1,5 句中出现
% G2 @0 H! W* G! R& ], x& Y单词 candidate 在第 5 句中出现
9 W( o6 Z9 s  B9 x# Y. K$ A+ G; M单词 confidential 在第 4 句中出现
+ v. r: z% P3 }) }. s3 s单词 confidentiality 在第 1 句中出现
; U1 {; s" |" N( _, A2 }+ n单词 consultant 在第 1 句中出现
& j' H! d; M0 z; U# K5 B7 E! @$ \单词 counsel 在第 2 句中出现- f" N- ^7 G/ d, V" }$ y* Y
单词 Court 在第 4 句中出现
( @- o" x) V" f2 R5 n- a1 a: j5 W单词 cover 在第 5 句中出现
6 Z! O4 F8 H$ p$ j* X! v单词 coverage 在第 5 句中出现
) P( c6 O# r9 k! [单词 document 在第 4 句中出现
! B" @. I  K# ^5 _. L: E7 W" l单词 Donald 在第 1 句中出现
  S3 ]. Q' ?' m8 b' u单词 end 在第 3 句中出现
6 ?7 s+ R# N1 m/ Z' G# d单词 executive 在第 2 句中出现$ t; c# `; k- m
单词 former 在第 1 句中出现) Q. f0 b( [' `; l' h5 ~( M& d
单词 Garten 在第 2 句中出现
* L3 I  F3 Q4 F) G单词 general 在第 2 句中出现8 ?4 n" Z7 H& _8 L3 D
单词 ha 在第 4 句中出现
9 e( v9 ~; F  K$ x' r2 ~5 z! ]单词 indicate 在第 4 句中出现6 ~# h7 d3 W+ D5 k  K) y6 n
单词 information 在第 4 句中出现
' W& C- t3 O( j7 j) X0 L/ o单词 insisting 在第 1 句中出现
) T1 L7 C! t  v: C' k6 N( ?) g: @单词 intend 在第 3 句中出现0 v6 d1 F$ K. I" i. b
单词 know 在第 2 句中出现
" g1 h/ G& p& B9 }4 ~3 e" x- R单词 lawyer 在第 1 句中出现
" l) g* d, ~/ g0 \* q单词 leak 在第 4 句中出现1 f, {9 X& |8 q2 ?/ g+ f
单词 medium 在第 5 句中出现
0 i# w, z+ |' \, f单词 million 在第 1 句中出现
+ z- i9 s5 p& w; k单词 misguide 在第 5 句中出现
( O$ b' H. q% _" y) p单词 much 在第 1 句中出现- B8 y1 _) K+ q, Z, u
单词 Nunberg 在第 4,5 句中出现5 y5 M0 j* _2 S5 g. b
单词 obtain 在第 4 句中出现
+ f) v/ r" _, n1 N$ |" A0 D单词 Organization 在第 2 句中出现6 |8 t( |5 l% C- {$ F. c
单词 president 在第 2 句中出现4 r! ?& U. _" `. z
单词 Press 在第 4 句中出现
' x9 Z+ o: Z8 E9 O4 t单词 pursue 在第 3 句中出现
! R9 I2 ?6 K# h9 }0 O0 s, C+ h单词 reporter 在第 4 句中出现
" e2 d1 g6 B* W& @; K) D单词 Republican 在第 5 句中出现& d% n+ E; Q! s
单词 response 在第 5 句中出现
  R8 ~+ t) M, ]( q8 }( N单词 Sam 在第 4 句中出现5 F" h  H6 ^$ y) x
单词 say 在第 1 句中出现
( ^% E  D7 [8 ~1 J. Z8 ~" l$ J# ?单词 senior 在第 5 句中出现
3 t; Z) X& K8 i% \/ T: a单词 staffer 在第 5 句中出现
0 p/ A: @4 m0 g单词 stick 在第 1 句中出现9 O4 I2 o. o. J7 F: m9 E, H
单词 sue 在第 1 句中出现' \  p# Q+ ]1 y% w$ ^1 L8 N
单词 swift 在第 2 句中出现/ s% }' i3 T7 x9 k& \
单词 take 在第 2 句中出现
" n6 _" @3 a3 h3 ~4 T单词 tell 在第 2 句中出现4 `# R1 t6 A! n- `
单词 TODAY 在第 2 句中出现
! S9 k- R! Q" B8 N% K+ N; {- T单词 Trump 在第 1,2,4 句中出现
3 M6 J2 }$ z3 M) S' q3 Y9 O单词 USA 在第 2 句中出现
; z( @" }8 b/ R单词 vice 在第 2 句中出现
; J! f1 J7 n+ E7 d. j单词 violate 在第 2 句中出现
/ P2 I* ~" n4 G7 n! m, u) m. O$ N单词 violation 在第 4 句中出现

还是有点问题啊，比如专有名词和大小写还有派生词的问题，等我再修改一下。

----
发觉NLTK内建数据的服务器老是连不上，大概要挂代理，还要耽误很多时间，有点难受。。。

改进版 1

加入了NLTK自带的词性标注功能，虽然得到的词性标注只是近似结果，做以下用途还是略有效果的：
1. 过滤专有名词
2. 根据词性进行词形变换

ss = sent_tokenize(s)0 Z2 T8 D) G5 g, ~+ D: \1 V
5 O' ^. K$ M B8 p T1 a E/ ~
_SW = set(stopwords.words('english'))|{'much'}* b* G! z' Q0 J" m1 }* H5 B
_P = {'N':wn.NOUN,'V':wn.VERB,'J':wn.ADJ,'R':wn.ADV}% Z. s w: C& C0 q+ u; z
def _name(word,pos):( O/ C2 n9 V; U# k3 x- q- Y! E
word1 = word.lower()
& {$ B" o# Y: Y* z) ~$ a/ D3 Q) I: o/ Z
pos = _P.get(pos[0],None)
8 D3 v; z; B' P5 i
x = wn.morphy(word1,pos) or wn.morphy(word1,None)
0 O, b" W' ~# T- ]" b. ?
if x is None: return0 U" k. K2 x8 A! A/ v7 O
if word[0].islower(): return x
/ E7 U3 t/ w* B* z- F8 X
x = wn.lemmas(x,pos)
; l! A$ B/ i4 P3 {) d4 B) X
if x: return x[0].name()8 B+ B# y0 p1 H. P! {( g- M0 n
def find_words(sent):
# @% [0 \7 O" Z
tags = nltk.pos_tag(nltk.word_tokenize(sent))
- e: B2 x, |& u) \& Z
morphy = lambda tags:filter(0 P' D/ d7 `& e& e3 l4 O
lambda (x,_):x and x.isalpha() and x.lower() not in _SW,
I9 G9 a3 W2 M6 c! v' o; ?
[(_name(word,pos),word) for (word,pos) in tags if pos!='NNP'])1 _: D# b- s; p1 J4 q* {9 ], J: d/ z
print "=== DEBUG: ===\n",sent,"\n",tags,"\n",map(lambda x:x[0],morphy(tags))
7 ^' B- R! L; _5 H: W
return morphy(tags)% L3 g, P7 B; C r/ h+ t
def gen_dict():
4 S3 E! q0 } B% ~$ N% z
kv = [(w,i) for i,s in enumerate(ss) for w,_ in find_words(s)]
, S( O3 X O+ w5 X5 T% S3 p( A% i
kvl = defaultdict(list): ?# [) P. M# ]
for k,v in kv:$ Y0 H2 k3 W6 a: J5 i* F& S
kvl[k].append(v)) r" Y# C9 `! W2 M8 T$ D
return kvl1 L2 x( {% d1 u
kvl = gen_dict()) z: K1 c; C* p; K- M9 ~' k: H$ T* Z
for k in sorted(kvl.keys(),key=lambda x:x.lower()):
2 R8 l" {2 F ?4 a. n; }, H% q
print u"单词 %s 在第 %s 句中出现"%(k,','.join(map(lambda x:str(x+1),kvl[k])))

复制代码

得到

单词 accuse 在第 4,5 句中出现
5 |  c% f, s$ b5 |" `: ~) e' D8 X. D单词 action 在第 2 句中出现
6 ~' T/ Z' z0 T9 P, @' W+ G5 F单词 affair 在第 5 句中出现
, W$ h4 Y# r: z' \单词 agreement 在第 1,2,4 句中出现2 j- e9 ?! L8 q% {; m$ D
单词 aides 在第 1 句中出现2 p+ M# c1 v3 ]$ @* q
单词 apparent 在第 5 句中出现
9 z$ i7 U2 r/ ], B( C) M单词 appropriate 在第 2 句中出现5 i/ E7 h' o5 E# G
单词 attempt 在第 5 句中出现" v8 V. M5 Q1 C
单词 campaign 在第 1,5 句中出现
  [. ?/ q9 }& Q单词 candidate 在第 5 句中出现/ F" A& S9 a; O
单词 confidential 在第 4 句中出现  M/ a. w$ ]7 ]% u  |! O% E4 ?
单词 confidentiality 在第 1 句中出现4 b6 u& ^. i2 y1 `
单词 consultant 在第 1 句中出现' D  g3 M- A0 U
单词 counsel 在第 2 句中出现
0 v$ q4 E$ D- ^$ p& ?$ {% s: m! X. t单词 cover 在第 5 句中出现9 {3 V; D3 w7 u4 d' q
单词 coverage 在第 5 句中出现8 v* U! F7 s+ g3 B
单词 document 在第 4 句中出现
) [! y7 F6 }5 A" Z+ s单词 end 在第 3 句中出现1 U8 T% f& L8 n* B2 V
单词 executive 在第 2 句中出现$ c$ C. t  t/ Q
单词 former 在第 1 句中出现! I( c' c" `0 {0 f: @
单词 general 在第 2 句中出现, y- G# `1 u& k- W( T4 A$ P
单词 indicate 在第 4 句中出现
: P# j1 L/ j- x% K9 b; u4 u( J  {单词 information 在第 4 句中出现7 x7 p, Z( V) A9 J% o$ H
单词 insist 在第 1 句中出现, U6 r* w6 }% ?$ `* s3 @8 e$ H
单词 intend 在第 3 句中出现$ T' ^. g' H, q# t
单词 know 在第 2 句中出现+ c$ G: ?* e- S: J2 {# D) z
单词 lawyer 在第 1 句中出现
9 G! N' W( e4 ?6 K6 e3 S单词 leak 在第 4 句中出现
* W5 ~* g0 G9 x, ~+ w* W单词 medium 在第 5 句中出现
$ D7 H: X& Y" R/ T8 x, p单词 million 在第 1 句中出现7 t. U( ]1 h7 ?* R
单词 misguided 在第 5 句中出现9 K5 b/ \/ U! Y( V) J
单词 obtain 在第 4 句中出现
+ p  k, v+ \* O7 @6 p6 M6 \$ O& W' Q单词 president 在第 2 句中出现/ {% t0 P$ ~' z! |
单词 pursue 在第 3 句中出现9 |. \! ~: o3 S
单词 reporter 在第 4 句中出现7 J- _. ^. L' O9 G: ^' y
单词 response 在第 5 句中出现
5 d' r  c* g; k$ u  f! b单词 say 在第 1 句中出现1 x6 Q" v1 D) a9 g% ~  c: q
单词 senior 在第 5 句中出现3 o9 [, z; L0 x5 t* Y
单词 staffer 在第 5 句中出现, T) E, a2 B8 `6 `' H9 W
单词 stick 在第 1 句中出现5 e$ |1 R# q$ D/ {8 K4 o" a
单词 sue 在第 1 句中出现( A! E! {7 X8 e+ x( Y3 f
单词 swift 在第 2 句中出现
/ q4 b( ]7 D" g- Q; N单词 take 在第 2 句中出现
. q/ W8 |$ q7 U1 i; y4 m单词 tell 在第 2 句中出现( }4 f4 [4 m7 @' n* _' [
单词 vice 在第 2 句中出现9 x3 J* }7 I1 J+ j% a' d* d
单词 violate 在第 2 句中出现6 |0 A8 F; T& \/ e) Q  J
单词 violation 在第 4 句中出现

看出来，结果比前面第一个版本有非常好的进步。

lxchen2001 · 发表于 2016-7-14 12:41:53

本帖最后由 lxchen2001 于 2016-7-14 15:59 编辑

专有名词可以用 Named Entity来解决，网上看到的，但我还没去用过

用lemmatize 可以找到单词原型

fnaviwwo1 · 发表于 2016-7-14 13:01:24

本帖最后由 fnaviwwo1 于 2016-7-14 13:05 编辑

lxchen2001 发表于 2016-7-14 12:41
0 s/ l0 q4 k3 l1 I+ _, g2 m% n, F专有名词可以用 Name Entity来解决，网上看到的，但我还没去用过
+ Z! S7 D/ ^9 c
+ o# M' u& R7 L用lemmatize 可以找到单词原型

看来又得拜乔姆斯基大神了。。。字母->词法->语法->语义是不同层面的东西。
单词形式在词法层面解决不了，而lemmatize是词法上的功能，它分不出-ing结尾是做动词还是形容词。

让我再看看还有什么能用的。（这网络想用一个NLTK模块真是痛苦，它非要联网加载。。。）

专有名词要处理句法的问题之后，教程的这章节我还没看到。。。

lxchen2001 · 发表于 2016-7-14 13:05:22

本帖最后由 lxchen2001 于 2016-7-14 13:14 编辑

明白stem的用法了可以容易的在原句中找到派生词。

你的Python很熟练学习了

请教怎么在例句中给找到的词加个html标签，比如<em>action</em> 和 <em>actions</em>

lxchen2001 · 发表于 2016-7-14 13:20:32

lxchen2001 发表于 2016-7-14 13:05
J$ E- s$ x& b; J' e4 q明白stem的用法了可以容易的在原句中找到派生词。( Z, ^" |3 @- D- c
" L) |3 U+ a/ V: H
你的Python很熟练学习了

谢谢真快

lxchen2001 · 发表于 2016-7-14 16:12:01

本帖最后由 lxchen2001 于 2016-7-14 16:14 编辑

楼主要不您建个QQ群或者组方便讨论？

如果我把nltk_data文件夹发给你是不是你就不用下载了？

fnaviwwo1 · 发表于 2016-7-14 21:04:45

lxchen2001 发表于 2016-7-14 13:05! P/ E9 F' d& w) H! R
明白stem的用法了可以容易的在原句中找到派生词。# N z4 k+ H9 h1 W3 s7 E

2 R4 q7 Y6 G# c/ S: O, `你的Python很熟练学习了

stem的用途是建立索引，比如让相关衍生词可以用一个字符串索引，然后搜索的时候输入的字也转到这个字符串上，不过出于效率考虑得到的这个字库串本身是没有意义的，所以不能充当词典词条。
看了一下goldendict的代码，它是用hunspell这个库来解决输入的词条的变形的，效果正符合需要。

专有名词准备加tag把NNP过滤掉，有了词性标注大概在转词形的时候，可以作为依据了。

我才意识到，nltk的好多函数都是近似结果，并不一定准确。

fnaviwwo1 · 发表于 2016-7-15 17:03:08

把脚本处理一下实际一些文本试验一下效果

整理了一下《傲慢与偏见》中出现两次及以上的单词【附工具】

odwang · 发表于 2017-7-6 12:00:10

楼主真棒！向你学习：）

		自动登录	找回密码
密码			免费注册

[教程] 【实验室】用NLTK处理词典文本的使用笔记

本帖被以下淘专辑推荐:

点评

点评