|
本帖最后由 bt4baidu 于 2015-11-22 10:08 编辑
( M" H9 F: p# J6 Y6 Z- Z8 `$ d5 r
: p) ?# N7 D7 r这篇文章主要是给计算机小白和初学者扫盲。3 i9 `. W( S0 G
本人尽量写得浅显一点, 希望完全没接触过计算机编程的文科生也可以看懂。9 O% S2 h& N" Y* }! q8 m/ s x. \
只讲原理和思路, 具体的编程语言、语法之类的问题自己找资料解决,网上到处都是。' T* h% t' N2 }8 y; W
9 u6 s" ~2 k0 s5 V' V) Y! J1 d4 H一、计算机的两个终极哲学问题$ i* @+ H& d& I7 b3 `" z
1936年,图灵在他的重要论文《论可计算数及其在判定问题上的应用》里,提出著名的“图灵机”的设想。9 g; c; x: R/ ?. p0 s
图灵机被公认为现代计算机的原型,它的工作原理简单来说是这样的:
3 x. N. p+ e- ~设想一条无限长的纸带,上面分成了一个个的小方格,方格有两种:空白的和上面有“—”的;
" v. a t; \; ^* n机器读入纸带上的方格信息,根据这些信息, 结合自己的内部状态查找程序表,输出计算结果。
9 z4 {1 S9 Y' e% A2 q方格信息代表了解决某一问题所需要的步骤,这样进行下去,就可以模拟人类的任何计算过程。4 l3 c( b" p y# q- y
“纸带方格”代表外部输入,“内部状态查找程序表”代表算法——也就是程序,要靠人来写的。# d- j# z/ n& m& R9 C
. j) k+ n5 p, r2 K+ ~5 i D5 V
那么要写出程序,立即就会发现不得不解决两个问题:
5 b: E, d$ @; B: t7 B1、怎么知道机器当前读入的是哪个方格?怎么读到具体某一个方格?也就是寻址。) f" p% V* v) q) \9 u0 u# k0 o6 O4 w
2、怎么把两种方格区分开?也就是特征识别。
/ R4 M# ~) b2 A0 p* }这两个问题,就是计算机的终极哲学问题。+ S- ]0 r4 Y8 N
理论上,所有的计算机程序问题都可以逐步分解下去,最终分解为这两个基本问题。1 J5 t' G9 Q! n ~
下面的讲解也会以这两个问题为核心展开。" t F' _- p8 x
6 q2 q7 c0 o6 C5 _; E8 B7 q
BTW, 如果你能想通这两个问题,遇到编程问题都可以这样子分解一下,把自己想象成一台图灵机,
4 \) s& ?; ]! F% `——所谓“采用程序化思维”,也就相当于打通了任督二脉,立即具有了至少10年的编程内功。
/ M& b: ?2 }0 G4 b# v% s所谓编程,本质上就是一种读取、存放、组织、区分数据,然后按照具体业务计算出结果的活动。
, e" g5 E* U1 u0 q& Q2 x前者是核心,“我强烈建议围绕着数据来设计代码,而不是反其道而行之...坏程序员总是担心他们的代码,0 _" ~9 w/ ^3 s
而优秀的程序员则会担心数据结构和它们之间的关系。”——Linus曰。
; o. c q# W2 B% J! [' h具体的招式,也就是某种具体编程语言的语法,花个半天功夫就能学会的。
: z4 R6 [/ L5 y/ r* p4 F0 n% [$ g7 x$ Y1 Z! _7 K) F
不要觉得自己上学时学的不是这个,or文科生,就不行。$ K/ ^7 a- T' `% E' M# v
江民杀毒软件大家想必都听说过。
* r% p& ?" ]. W' O创始人王江民同志,初中毕业,38岁才开始自学计算机,不出几年,就成为中国最早的反病毒专家。
1 o; m M8 O5 X2 L, Z, |+ b% q6 m咱不奢望成为专家,写写程序总还是可以的吧?# n7 G: f! J' P- h" r7 K0 H6 X: j$ D
1 n( }, k. X+ c5 A G3 Y/ Q v
二、采用何种编程语言. f' `2 F* ~# |% w( u) h% |) b1 d
上面已经说过,存放、读取、组织、区分数据是编程的核心问题。
% r( J! g, x9 A/ t7 b! l显然,能够方便的进行上述四种活动的编程语言就是最好用、最易上手的编程语言。
, g9 P5 L! b4 p% o% I# {$ }) C抓网站,恐怕没有哪种语言比Python更方便。
- n: F" T4 L9 P当然,你要愿意,用C语言也不是不可以,不过可不是那么容易上手,
" A+ Z: X0 k& o& ]0 ]计算机专业的学生,有些到了大四毕业居然还搞不清何为指针、何为引用...这些家伙还是趁早转行,( ~4 t$ f" P0 W/ L- K+ } J
没有慧根就别吃这碗饭。) O) T' b: r* r: i4 X
l& K* h3 Q0 @* A: Q( w- l* x三、网站抓取技术. O8 p6 `0 z* k- U; y% ]9 o
1、下载某一个网页,提取其内容
: ]- h/ J# o6 k+ j. l* ~以前写过一篇,就不重复了。参考:% B3 j3 B/ \" ?+ g
用一个简单的例子讲讲怎样从网站上扒数据
& r& Q1 Q- e" q$ C1 E4 J/ E2 x! x. m% g- A
2、寻址问题
; g& ?$ P. H2 p: l! ?- x* o1 X( l下载网页,自然首先要知道网址,也就是东西放在哪儿。$ Q8 b7 ^. x2 `2 f+ F! Z
如果事先有个单词总表,那是最简单不过,立即就可以根据网站的网址规则拼出来。
; f& q' M& y: S# v# U. c但是大部分在线词典,到底收了多少单词,事先是完全不知道的,5 o. ^8 Z: I/ V. B Q- T
要把单词弄全,就要想办法得到每个单词的网址。
f7 L. j$ i, k& I: N总结各主流词典网站,大概可以分为这么几类:
/ Z) h& Z0 i. z: b4 T' r# C' [2 U3 \/ wI. 事先有单词总表
- h7 p1 p# I3 A6 D, D8 _1 Z比如http://www.vocabulary.com就是这种类型。. {+ R' D! h( h' C3 R; z- l* ]3 V+ z$ Z
它是在wordnet3.0的基础上编纂的,直接用wordnet3.0的词汇表拼网址就可以。
, _$ a5 ^! F$ l$ {: F& V* @2 V
+ r2 O- N: n& P) uII. 网站有索引页面
4 x- N1 V/ i3 q$ L1 X如:" `: R* _+ L+ G$ T( S
OALD(http://www.oxfordlearnersdictionaries.com/)
. o; X( K' g2 G它的索引页在 http://www.oxfordlearnersdictionaries.com/browse/english/; p& n( i& O+ J* A$ E r0 x6 e
LDOCE(http://global.longmandictionaries.com/)
! ]) E# |9 w! G7 X$ @. d9 G$ t采用框架结构,左侧边栏就是索引页2 Z9 n# K# ~1 e! s8 @. q. n
MWC(http://www.merriam-webster.com)# S8 z" d; F; C1 O& S4 u) C$ J
索引页在 http://www.merriam-webster.com/browse/dictionary/
* {$ l" k4 n& X: d) n& `' N等等; U! h% M6 j1 }6 [6 Z
这类也容易搞,思路是先从索引页得到单词表和网址,再一个个下载。
- {+ y2 I5 w, i) l
- p. G& y% Y* Q4 [8 e2 b( J- urls = []
" z/ `6 ], b0 {# r& R - for someindex in indexs: # 循环所有索引页; a0 [3 ^5 p3 M' \4 e' z! \5 f7 j
- browseurl = ''.join(['http://somewebsite.com/', someindex])) x, E1 }# d- i4 C3 G1 Q
- browsepage = getpage(browseurl) # 下载索引页面
3 s, e! I* t8 D8 J* { - target = SoupStrainer('sometag', class_='target') # 抠出放单词链接的区域" t1 j4 p Q9 K
- bs = BeautifulSoup(browsepage, parse_only=target)
% p2 z K/ Q; A( q7 d8 G5 w. D2 |3 x - if bs:. \- Q; U8 @7 I
- for a in bs.find_all('a'):
( ~4 c& R6 p( w7 b8 f - urls.append((a.string, a['href'])) # 取得该索引页上全部单词及链接' a( h3 }7 B# [9 I* x! P5 b, U
- 然后:
* ~* c1 i! g5 u) h' U+ V% J - for url in urls: # 循环所有单词
" t+ {$ l6 n9 B- b* k - wordpage = getpage(url) # 下载单词页面
' F0 L6 j5 ?/ ]- `( i
复制代码 ! C4 n# x# a& @* v/ O1 d
* p9 T/ P6 `( q+ S2 l6 n" WIII. 索引页和单词释义一体型网站
r' \- ~! \, v9 Z如:Online Etymology(http://www.etymonline.com/)
. _7 @& D& q: P和上述II.处理方式相同,在循环索引页的过程中把单词抠出来即可: d8 D* o7 x' u+ Y. @
1 \6 D6 _7 i7 a# J3 E9 [- for someindex in indexs: # 循环所有索引页# ^4 B+ b3 J2 v2 L" Q
- browseurl = ''.join(['http://somewebsite.com/', someindex]), f& [+ G. z+ R+ Y0 y8 J
- page = getpage(browseurl) # 下载页面6 N9 i; z1 a! G" U* |
- target = SoupStrainer('sometag', class_='target') # 抠出放单词的区域, y! J. Q8 b+ ] H3 D8 `1 l# d
- bs = BeautifulSoup(page, parse_only=target)
# I# i5 @ ]$ V8 V w/ m! T4 c - for tag in bs.find_all(target): # 循环抠出单词
' j) k/ ~8 z8 c& e. F* k# @% | - worddefine = getworddefine(tag)
1 a5 b9 o2 a/ Z
复制代码
9 k2 M: x; m3 l9 J8 Q1 q1 Z" C, I, w! x7 M; i- {8 r7 M5 p( m
IV. 片断索引型网站
: c- A% K o8 F+ r: x4 C) L如:
( Y: N0 s/ }' f- o9 a) |ODE(http://www.oxforddictionaries.com/) e. W- k3 E N2 A+ J% f
每查一个单词,右侧边栏有个Nearby words7 B9 p- e' i7 U2 f9 p' r( [: F/ @" H
RHD(http://dictionary.reference.com/)* U0 j3 n; }- B4 g
右侧边栏有Nearby words
6 P! E* k" @1 {CALD(http://dictionary.cambridge.org/)
* a/ M+ }) R5 T7 p& B; |在页面的最下面有个Browse栏,给出前后相邻的单词
7 v& s' I: _5 m0 G6 |3 Y# F这类网站没有总索引,只好利用它的Nearby栏。
' r* o: @8 P8 K" E9 y思路是从第一个单词(一般为‘a’或者符号数字之类的)开始抓,# z S- y: h- F4 R
每抓一个单词,同时得到下一个单词的网址,直到最后一个单词结束(一般为‘zzz’什么的)- v# v/ J, R& J( [% I) J
6 i7 j* @" F+ G- k. z- cur = 'a', r$ n7 U" Z4 `
- end = 'z'
, ^6 X v" k+ J: @ ` - nexturl = ''.join(['http://somewebsite.com/', cur])
/ j+ Z+ ]4 g% T: O1 h - while cur!=end and nexturl:
! U! @2 g' @9 \1 j& f - page = getpage(nexturl) # 下载单词页面; @2 K) i4 D3 S" f" X
- worddefine, cur, nexturl = getword(page) # 得到本单词释义、下一个单词及其链接
% h3 R+ |. r {8 O
复制代码
% {7 \, W# k# @( Q" f
. F! D0 s3 F, w4 X- ]V. 完全没有任何索引,那就没法子了1 l6 Z% J9 S9 ^6 }6 L0 Y
当然穷举算是一个办法,自己搞一个庞大的单词表,然后按I.的步骤处理
" o* E7 E% E( V% d理论上也是可以的,就是效率差一点;
2 g+ i" x2 u' y* r G3 v c另外各家新词收录情况不一,有些词组、短语拼法也不太一致,单词表准备得不充分就没法完全网罗。
$ m3 y" t1 T" i2 {3 y! f; P4 w* G+ j0 t; b& ?2 _, _, z
3、提高下载效率. \, J9 ?- \0 L( ?
I. 多进程
0 N' e) u) n) {上面写的都是伪代码,也就是简单示范一下处理流程,直接写个循环了事。( Y' `- ?* t; _: _2 h9 l$ B0 r
实际抓网站时,这么做效率显然是非常低的。
, i( s4 z" a3 D3 B# W) e4 B假如有十万个单词,每个单词需要1秒,循环十万次就是差不多28小时,要花掉一天,
' L# q- [+ z8 ~* T有些网站还经常抽风,半分钟下载不了一个单词,那就更慢。" c1 y+ g5 K, m3 P2 U& I: `
假如在这段时间内,你家猫咪把电源插头给挠掉,或者键盘被女秘书不小心坐到了呢?
9 h% @# r2 L% M9 v( y2 _要速战速决,就得开多进程。
. g2 [* @: M1 |: Q; Z3 _- K! X( r同样十万个单词,分成25个进程下,也就是28/25=1个多小时。 \5 `3 d. i# e( d+ K# m
再开多一点呢?岂不更快。。。那样硬盘就转不动了,所以也是有极限的,要看PC的配置。
5 P1 |2 o" J- ?% k在Python里开多进程,同样十分简单,
, M f j( Y5 u) H6 l5 ?2 m
$ p9 N& k' g1 o; q. M- from multiprocessing import Pool
7 Y4 b/ ^1 O/ D& \) w) W$ e; E/ {) k - pool = Pool(25) # 开25个进程
# |1 n; J* K. y- }: I - pool.map(downloadloop, args) # downloadloop是下载函数,args是其参数
( k( }0 a, t: V
复制代码 , p8 w, ~/ v( S3 C9 O
这就搞定了。: X# e1 M/ ^6 @
8 |4 ]2 ^ L/ E, |- b+ E l* @% F对于上述I.~III.,包括V.,分块比较容易,无非是把一个大数组分成25份,/ z" S; t% t3 E/ u+ z* {* v
关于IV.,事先没有单词总表,就只好采用区间的概念,' ]8 U; Y Z, f/ {1 b
比如('a', 'b'), ('b', 'c')。。。这样划分若干个区间下载
# A6 q7 i: v3 v' `+ s6 \. w+ P* k5 I7 E" m# M: F- J6 `
初学编程的人,一碰到进程、线程,常常有种畏惧感,9 n6 D1 R6 V# w7 t
看到同步锁、共享内存、信号量什么的顿时觉得头大。. V, a( M4 L$ y# Q, y
其实没什么好怕的,这是个寻址问题,关键是搞清楚它的内存空间构造是怎样的,9 x8 Q4 D6 w1 m/ s+ a
其中涉及到一点操作系统、读写互斥、原子操作的概念,找相关的书了解一下即可,没有特别难以理解的。5 f# P1 h% A. M
1 y; S. X4 j) T6 i/ \' T' c' A
II. 断点续传+ \) O5 M, }2 H* d
事情永远不是那么完美的,网络连接随时有可能中断,网站可能存在瑕疵、死链。+ o' }9 J/ ^ f& S
所以下载程序也要有点容错的功能,最好莫过于可以自行从中断处恢复,完全无需人工干预;5 D0 o f2 a) @ W) L% N6 d1 y/ O
即便无法自行恢复,也得容易手工处理,不然可有的烦了。
9 P, o9 s$ D; f) ` i这也是个寻址问题:关键是搞清楚从什么地方断的,把它标记下来;循环检测没下完的区块,从中断处接着下,
2 T- e5 P+ e, q) ~# [* w& t直到所有区块下完。
+ J5 b v, r% F
4 U. ]2 M7 f# x6 S) h7 F3 l3 W- def fetch_a_word(part, word, url, data): # 下载一个单词
. K8 o1 B+ h% ~: @ r' O - word_define, failed = get_a_word_from_website(word, url)2 k. ?& d/ N1 y. Z
- if failed:
1 c' c. W S, B/ q* h - dump_failed_word(part) # 输出下载失败的单词及网址
W- a) p2 d" d8 [8 A. A - return False
" F. v5 D. b0 X6 f% w3 I - else:
, P X" l4 D* D% M5 g# p, @# {8 { - data.append(word_define) # 保存下载成功的单词数据
/ J& r5 A4 t+ S6 D2 G - return True
/ W# Z, {! F, P% m7 }# C; k
2 z& H, b a% s- def download(part): # 下载一个区块
- L: K, `4 m. j - words = getwordlist(part) # 读取单词总表
9 _& Q) a* R- P6 C3 S u - if hasfailed(part):& g& B/ _" e% g1 o5 X8 p$ C/ V
- word, url = read_failed_word(part) # 读取前次下载失败的单词及网址! S: R: `2 y- |5 M2 s3 g) f2 i! L0 _$ L
- else:/ V" `$ N/ G ]% x
- word, url = words[0] # 首次从头下载
3 q! b+ K7 x: P; R - data = [] # 用来存放单词定义
; f5 y1 Q$ A+ `5 V/ Q - while not_end(words): # 循环下载
8 @4 @) `/ T" _* g - if not fetch_a_word(part, word, url, data):
% m; A) E+ c& x5 E* P) |% [ - failed = True
`3 F2 T5 G& q$ s, c: r - break! X) \4 h# B* \2 p2 ^2 R+ [
- else:, ^% @# c) D" n9 y! \5 g6 f
- word, url = get_next_word(words) # 准备下一个单词及其网址. M5 R0 e# C9 `3 y4 ^1 R- f
- if failed:
7 `, N+ {1 L4 w- ^ - suffix = '.part'
+ V4 \9 `3 \8 i2 F0 Y - dump_data(data, suffix) # 输出下载成功的单词,若因下载失败中断,文件名加后缀'.part'
. R9 P: ?; u3 \; J( ^
7 t- [5 D2 f8 S7 W7 j) K- def isfinished(part) : # 判断某区块是否下载完成
. K' q. M0 s( M6 f5 k T' c* \4 _ - if is_data_file_exists(''.join([path, part])): # 通过检查数据文件有没有生成来判断, p0 o* J7 d6 G6 o. p# t0 p
- return True
& Y, G4 O9 Z& c# Y - else:3 t. E' `$ t5 F+ P8 X
- return False
) y! v4 |$ U) O& h& n - 2 f6 [5 H1 T6 O
- def downloadloop(): # 循环检测未下完的区块
8 B) i! e0 u( ^0 y5 {/ S- W - finished = 06 j. n& ~1 C" L% E3 E( y' c
- while not finished:
/ ?$ J/ P7 O$ z; ?9 ~' X - nf = [] # 没下完的区块5 L) t) n+ `# E6 Y. k* {) ^; y
- for part in parts:
; c/ h$ S7 {$ j# c. G: B - if not isfinished(part):
: k! Z, }8 H- ^9 V* E- ~, Z! k - nf.append(part)9 g; f* g+ N N# t7 B9 R
- finished = not nf
4 h B8 h6 f, @2 ^7 u% `2 _5 f - for part in nf:5 i% [1 {1 [+ U' o7 i0 G
- download(part)
3 Z" g; v/ E* [- o) ?2 w3 A
复制代码
) B7 a( k( O/ M( n1 f. n2 E7 Z- j4 N0 J' W. f5 M! F4 h( U
III. 高速下载网页的小技巧 H. F: L' u5 h* s% F T
Python里面有三个库都可以用来下载网页:urllib2、urllib3和requests。
0 a6 M8 h. v2 _# l1 ^- O其中urllib2是Python原生的,urllib3和requests为第三方库。
& s2 ?7 I' S; I7 k: X* Q(似乎Python3已经把urllib3收编为正规军了)
1 H& M' R+ e. D0 W7 C& k这三个库有什么区别呢?, f4 w: D6 L$ m% h* `/ d# p
形象点说,urllib2相当于去别人家“拿”东西,开门只拿一件,然后关上门,再开门拿下一件的家伙。# {3 \) |: M/ l
再笨的贼也没有这么干的,不停地开、关门太浪费时间,也容易招警察;同样,频繁连接也会网站被封IP,/ _& K' i6 ^: p! P" u$ z9 D$ s
所以urllib3在urllib2基础上加了一个HTTP连接池,保持连接不中断,打开门以后一次拿个够,然后关门走人。
_! x" F( j) Y但是urllib3有个问题,它不支持cookie,所以无法保存用户信息,遇到需要登录的网站就没辙了。
1 Q3 l- @ V5 ?! [: ]: Q/ K: Q3 L这时候就该轮到requests出场。requests在urllib3的基础上又进化了一步,它可以通过session来保存用户信息,, v; N5 A# w! L
通吃一切网站。0 \" _ T" e& n* v+ m" D1 G
所以你完全可以只用requests,忽略另外两个。不过我一般习惯用urllib3,只在需要登录的时候才用requests。
- e, C- r; J: J这仨库的用法都非常简单, 两个第三方库都有齐全的文档可供随时参考,虽然大多数功能都用不到:
8 |2 ^8 c5 h( y4 Z0 M- B9 khttp://urllib3.readthedocs.org/en/latest/( z; K! G% \* D8 B. U$ |
http://docs.python-requests.org/en/latest/:; l' s( f& M/ W4 ^6 |2 e# j1 i
) O) A: I' J: f- o4 ]* ?; e6 {# M- #urllib2
% V2 \" B) o; d m) j- H8 }7 V - import urllib2
9 b, G$ v! C% ]2 j2 g B5 ` - def getpage(url):
7 ]* ?: ^. }6 i* ^ - req = urllib2.Request(url)
3 f! K6 a9 U G0 Z# b' | - response = urllib2.urlopen(req)
1 Y# K9 |' M/ C& X/ H* |. S( M - page = response.read()
6 ?" s# }; J& v% u( i - ; }8 g. o3 ?9 b1 w5 l. d( R& n
- #urllib3
- [. y- a7 @0 T+ i& L3 g$ p: k - from urllib3 import PoolManager
+ p2 y6 `$ N$ R1 U/ S - http = PoolManager()& M; p8 _+ T- D1 X$ v
- def getpage(http, url):8 s) ^" u$ W9 k! E2 F Q2 g
- r = http.request('GET', url)
6 C: c b3 C7 S7 ^ - if r.status == 200:
$ r$ l2 k( \( d% I4 D4 M - return r.data; Y- Z8 g% B0 ]6 A8 a) f/ i0 e5 l
- else:' z) l% Z- V5 O* i. W) y C4 \
- return None
# f! o. Q* y) }/ `7 c- N - u% Z A# e7 o5 N. l# I* Z3 y2 [
- #requests
% v9 B) }) U/ U s7 P0 ~ - import requests
$ L( u4 b% H. M6 o* K - session = requests.Session()
; z' Z2 f, N0 \# Q$ d" c - def getpage(session, url):
: q2 u8 t1 Q( N- x5 [) {0 _ - r = session.get(url, timeout=10)
: l# o4 i" L/ ?9 y. S - if r.status == 200:
2 B! v/ c5 x ~# D - return r.content L. Q" j( h. ^! W
- else:: I O! U" M- P: U. e" [
- return None/ ^1 p$ p! |0 ?5 G
复制代码 1 F% ]5 ]* ~1 N7 Q
四、后期制作
3 W# j- l# A( }5 a& t! L6 X1、文本处理,是个特征识别问题。
- {# J) T/ u8 |8 O( L; X& M本质上是找到满足某种模式的一串数据,按一定的规则转换成另一种模式。
4 i0 j! Z9 \! s当前的大热门:生物识别(人脸、指纹、静脉、虹膜。。。)、语音/摄像头输入(智能家电、自动驾驶。。。)5 j, I( b: o( R) C2 b! N* c' p
都涉及到特征识别问题。' c$ G( b& x4 u5 e
相比这些高难度动作,文本处理算是比较简单、基础。4 f/ \0 O: _( t( e, Q
Python里常用的文本处理技术:正则表达式、BeatifulSoup、lxml
! }* ^0 n E8 T6 f! D正则表达式非常强大,但没法处理递归嵌套的标签型数据
% n2 Y& p+ w$ [(如:<div>第1层<div>第2层<div>第3层</div></div>...</div>,这已经不属于正则文法的范畴);
* X# O. L, w4 n. l6 A0 y- c7 tBeatifulSoup/lxml可以处理嵌套的标签型数据,普通文本则无法处理。) z# V, v0 U/ c* w, D. E- a. `: }7 s- J
所以常常要结合使用。
% [: @! I- W: [" e8 u" U G这些难度都不大,关键是胆大心细、思维缜密,不厌其烦,慢工出细活。
* b3 w2 w3 [' r8 X r$ Z3 ?5 E$ d4 C: i+ m% c
2、排版
, ]* v9 }9 G, u( w" VHTML、CSS的基础知识:
3 \# }! T5 Y- k5 r) M4 }http://www.w3school.com.cn/html/index.asp& z! T2 J, U' w3 K1 d& ~% J% ]
http://www.w3school.com.cn/css/index.asp
) n# l& H% T' v0 a% zhttp://www.w3school.com.cn/css3/index.asp
8 v! C' _$ V$ d( t非常系统、非常全面。
1 X; W+ `. D' W* {% k排版词典需要用到的HTML/CSS知识并不太多,遇到问题参考上述网站即可。
# b4 D2 O& E2 A) `
* m! e. {- y5 x/ v7 h. x& K五、结语+ ^' {0 T0 B0 [& f6 m+ m% s
花点时间写个科普文,主要是考虑到确实有些文科同学or计算机小白想制作词典,但没有思路,无从下手。$ x; \; L9 a: J9 z w# w/ H. E4 J
所谓术业有专攻,为学有先后,总结一点经验分享出来,也算是对社会做点贡献——
. ^: m! u- G3 |% F% x大家有个切实可行的方法参照,不至于绕太多弯路,浪费太多时间,从而节约了社会成本。
9 l2 x: s4 `& E2 G5 |+ m& n
/ g q7 r+ N$ b2 Y. g) `% F打算做万年伸手党的同学,本人也没想过要鼓动你们,继续做伸手党好了,热心人还是挺多的,时常有不错的新作发布。6 u# l7 q! P, E {; I
/ j" [6 O4 V* g/ a只是拜托不要打扰别人,真想要就自己动手。
8 }+ d5 ]* n: m5 {* L f尤其不要抱着“你手熟,水平高,做得比我快”的想法,觉得找别人做词典就特别理直气壮、理所当然。
( E, `% I5 x0 E% W1 S6 t8 Y水平再高也要花时间;同时,水平高也意味着其单位时间的价值要超过水平低的人。
! g5 O" a. K6 h: d7 u9 a虽然每个人都觉得自己至高无上,应当受到别人重视,: R/ t8 f) w! \
其实“在你做出惊天动地的大事、拥有巨大名声之前,你在别人眼里就是个屁”——Bill Gates曰
& q, O0 L8 H" n& a9 h- \% |& X m) G$ n# O2 T+ V
& w: L: u5 P( f/ J- ` C========
3 Q+ p7 A2 s, s0 r8 C六、拾遗6 s0 v/ ?0 c0 g2 {! T* D7 ~. }1 D5 N
关于上述IV. 片断索引型网站,有坛友指出ODE、RHU等都有索引页,因此可以归到第II.类
: H+ g! p+ ~7 t6 c& w确实如此# d( N' w u7 V0 F9 N
不过这里只是举例而已,不用太较真啦 6 G! R- o7 k" Q' Z% P2 f+ I: s
实际操作过程中,由于网站可能存在索引不全、死链、交叉跳转及数据瑕疵,往往要将II.和IV. 的方法结合起来用,否则不是抓重就是抓漏# w2 g6 f! G; H& a
这种综合性的抓取方法,本人称之为单词表密集轰炸+广度扩展法。
7 O6 b, U& U/ W即,
! ?. z1 _8 q e第一轮:先从索引页面获取全部的词头(集合A),再用这些词头去网站下载单词,同时提取每个单词页面里指向其它单词的链接(集合B)
, c4 Z7 d! B1 J9 V+ n3 ^; i2 z: t第二轮:从集合B里删除已在集合A里的词头,得集合C;再用这个集合C里的词头去下载单词,并提取每个页面里的链接(集合D)& n( s8 l% @% Y: v$ W6 B
第三轮:从集合D里删除已在集合A和B的并集里的词头,然后重复第二轮的后几步动作/ i* n. x' g7 r, K
。。。: `$ A+ ^/ m3 ?7 i5 h$ b
直到无法提取到新链接时,结束下载。大部分时候,第二轮结束时就已经提取不到新链接(即集合D为空)
. ?7 _* ^: w$ ^+ S: _! j最近新做的RHU、CED、WBD,均是采用这种方法,速度快,容错性强,效果极好。" F0 o* Z. N+ j4 y
形象点说,这种方法相当于草原上先有若干个着火点,这些着火点会把其周围的草地点着,最终烧光整片草原。
6 c. X4 X# K1 o1 n因为一开始着火点就已经比较多(索引页的大篇单词表),所以会烧得非常快、非常完整。
- [$ o3 N. R' @( h5 r |
评分
-
4
查看全部评分
-
|