|
本帖最后由 bt4baidu 于 2015-11-22 10:08 编辑 4 z% F9 Z. s# J: m! m# Z
4 @* J9 V4 ~0 F# {( n
这篇文章主要是给计算机小白和初学者扫盲。, R8 W2 x9 |) U' F1 Y; @9 R/ K8 z
本人尽量写得浅显一点, 希望完全没接触过计算机编程的文科生也可以看懂。' I% ]8 H0 B/ y3 K
只讲原理和思路, 具体的编程语言、语法之类的问题自己找资料解决,网上到处都是。
+ y# {9 @+ E: f7 G: V. {& P2 @) {( q" T/ D% o- N4 o
一、计算机的两个终极哲学问题" N3 e) U+ u: F! w( }
1936年,图灵在他的重要论文《论可计算数及其在判定问题上的应用》里,提出著名的“图灵机”的设想。3 ], W. {# \ L: {/ X
图灵机被公认为现代计算机的原型,它的工作原理简单来说是这样的:
% O! e, Q/ M( g) t6 R设想一条无限长的纸带,上面分成了一个个的小方格,方格有两种:空白的和上面有“—”的;0 P+ n: h5 h! O. f/ D
机器读入纸带上的方格信息,根据这些信息, 结合自己的内部状态查找程序表,输出计算结果。
# m% ^$ r! ~) x, [+ S* `+ @方格信息代表了解决某一问题所需要的步骤,这样进行下去,就可以模拟人类的任何计算过程。- c3 O3 ?0 Z* ^' i
“纸带方格”代表外部输入,“内部状态查找程序表”代表算法——也就是程序,要靠人来写的。
|. o8 Y4 Y# X. R; v' z' U6 d+ J' s. k) J0 @3 J) @. p
那么要写出程序,立即就会发现不得不解决两个问题:! t X: }- T9 ~( y
1、怎么知道机器当前读入的是哪个方格?怎么读到具体某一个方格?也就是寻址。& `- p" y$ f, V# T7 w) c
2、怎么把两种方格区分开?也就是特征识别。
2 P s0 U4 ^: f$ U8 ]这两个问题,就是计算机的终极哲学问题。
+ X7 `+ U5 I" q: |7 S! S& ?. |理论上,所有的计算机程序问题都可以逐步分解下去,最终分解为这两个基本问题。
- j8 a, I# X( v2 B6 L2 Q2 C+ Q下面的讲解也会以这两个问题为核心展开。
, F1 a! D' r( h- y, b4 E$ }$ l* Z- \2 d: H
BTW, 如果你能想通这两个问题,遇到编程问题都可以这样子分解一下,把自己想象成一台图灵机,$ |4 f+ f1 O1 y3 K6 C. [% }5 Q( {/ Y- s
——所谓“采用程序化思维”,也就相当于打通了任督二脉,立即具有了至少10年的编程内功。
" E" {8 Q6 \0 ]- J7 x7 ~- ^* f所谓编程,本质上就是一种读取、存放、组织、区分数据,然后按照具体业务计算出结果的活动。
4 {' ~* J4 P9 |6 |. Y前者是核心,“我强烈建议围绕着数据来设计代码,而不是反其道而行之...坏程序员总是担心他们的代码,/ O( s* X5 `1 x! T% H+ w
而优秀的程序员则会担心数据结构和它们之间的关系。”——Linus曰。
, R2 n* v% P" }/ v' W3 e$ u& d具体的招式,也就是某种具体编程语言的语法,花个半天功夫就能学会的。
3 ~: Q3 m+ Z2 Y1 i0 _
" E( g. u" W' [& [# a不要觉得自己上学时学的不是这个,or文科生,就不行。5 d! f& Y: S# p2 S$ z% B: V. ~
江民杀毒软件大家想必都听说过。% `' ^/ Z# s" M& }
创始人王江民同志,初中毕业,38岁才开始自学计算机,不出几年,就成为中国最早的反病毒专家。* Y5 h8 x; L5 M& @* K% a s0 j
咱不奢望成为专家,写写程序总还是可以的吧?0 A/ s+ x: x8 F& `2 \5 `% ~
6 z# K" ~" o9 |9 P二、采用何种编程语言; X- s. t6 W* R
上面已经说过,存放、读取、组织、区分数据是编程的核心问题。% B8 \' @; G) Q% m Y
显然,能够方便的进行上述四种活动的编程语言就是最好用、最易上手的编程语言。
! H) `- B% g2 `& t3 d) a抓网站,恐怕没有哪种语言比Python更方便。
$ u+ D5 C! W0 Q* h3 k- s当然,你要愿意,用C语言也不是不可以,不过可不是那么容易上手,7 K" d: R* e0 Q% G& {& I* a) u& M3 a+ o- F
计算机专业的学生,有些到了大四毕业居然还搞不清何为指针、何为引用...这些家伙还是趁早转行,
9 m( e+ O- k' y9 u+ F. s& c4 H没有慧根就别吃这碗饭。
4 V! S9 S- B- N- I) }- { ` D) \
三、网站抓取技术; ^% |3 ~% K; V; [6 y
1、下载某一个网页,提取其内容& y0 N9 Z' b# ]9 y
以前写过一篇,就不重复了。参考:
7 p0 d6 k8 e/ ~* Q3 O! P用一个简单的例子讲讲怎样从网站上扒数据
& j0 a/ U7 b' {' Z# O& j
9 K0 T- Q2 |% a, F s; `9 G$ M2、寻址问题 Z2 A0 h! c, E$ G5 r$ C$ g/ l: L$ `
下载网页,自然首先要知道网址,也就是东西放在哪儿。
3 Y! C8 F2 k$ ?, j2 ~如果事先有个单词总表,那是最简单不过,立即就可以根据网站的网址规则拼出来。* h1 | o) w" @) R7 R
但是大部分在线词典,到底收了多少单词,事先是完全不知道的,6 G2 _7 u% a. J
要把单词弄全,就要想办法得到每个单词的网址。; _- I0 B8 H9 l8 k
总结各主流词典网站,大概可以分为这么几类:
# X( j; `/ p! o0 p/ }: n/ LI. 事先有单词总表) `1 b9 g- {- ~* J+ }
比如http://www.vocabulary.com就是这种类型。+ Z5 F& P I) V3 C4 K
它是在wordnet3.0的基础上编纂的,直接用wordnet3.0的词汇表拼网址就可以。: m7 B/ M l P/ _; ]
% e/ } O+ m. b0 YII. 网站有索引页面
. a7 F8 J" A/ Y p% Z如:
7 g, c8 n8 y1 TOALD(http://www.oxfordlearnersdictionaries.com/)
2 v% L4 v* q! T; C( I它的索引页在 http://www.oxfordlearnersdictionaries.com/browse/english/3 y) o/ L7 z1 Y+ a3 {$ |$ Y) C" I
LDOCE(http://global.longmandictionaries.com/), y" A; z0 u5 K1 T
采用框架结构,左侧边栏就是索引页
; s& Q3 q( J, ZMWC(http://www.merriam-webster.com)
) Q. D& R0 B* k5 v8 ^6 N索引页在 http://www.merriam-webster.com/browse/dictionary/5 k1 H6 b5 q# C- j" ?- \1 v
等等0 L. g5 M: Q9 j4 L3 w
这类也容易搞,思路是先从索引页得到单词表和网址,再一个个下载。/ F8 j6 Y* U W* J' R
) L$ O; ]2 z* A0 ^9 `' E- urls = []
. [( g1 b; K& I& r - for someindex in indexs: # 循环所有索引页
; V" Z* [$ |) ]# |; U& ]) A - browseurl = ''.join(['http://somewebsite.com/', someindex])
- q: c/ ]; i) o2 ? - browsepage = getpage(browseurl) # 下载索引页面 @, s% b5 Z% D! C! T
- target = SoupStrainer('sometag', class_='target') # 抠出放单词链接的区域+ X( I! V9 G1 [6 r1 c
- bs = BeautifulSoup(browsepage, parse_only=target)
. Q E( {6 x( `; X& D6 G- O - if bs:/ j1 u( G( {! A
- for a in bs.find_all('a'):
- f3 t& O8 j0 j0 i) {% D: h5 Y - urls.append((a.string, a['href'])) # 取得该索引页上全部单词及链接( g; f$ @" Q# ?% h, u
- 然后:
, k# Q. R/ ]7 @ - for url in urls: # 循环所有单词7 i1 s3 k4 C" z- A4 [
- wordpage = getpage(url) # 下载单词页面
0 X: o1 Z4 k _
复制代码
* Q7 `7 C' V5 h% b
4 D2 X+ r" A4 S4 X/ W& a" T. rIII. 索引页和单词释义一体型网站4 ~; k! K! v" j3 g8 L3 x3 @( ?2 n
如:Online Etymology(http://www.etymonline.com/)$ p$ @1 ^% G: p* Q' I0 c
和上述II.处理方式相同,在循环索引页的过程中把单词抠出来即可2 i* l6 T: \! e7 a
7 d4 s' L8 J0 Y4 o' k8 ^- for someindex in indexs: # 循环所有索引页
9 _3 R' V, j# ^$ l# m - browseurl = ''.join(['http://somewebsite.com/', someindex])
. S$ ^9 w: y$ p& U9 T; n6 O6 }: w6 d$ q - page = getpage(browseurl) # 下载页面2 `3 L: m; Z, E: ^2 ^- U; S
- target = SoupStrainer('sometag', class_='target') # 抠出放单词的区域
3 ]7 L4 M/ P5 ]# _ - bs = BeautifulSoup(page, parse_only=target), p: Q& q0 k: x
- for tag in bs.find_all(target): # 循环抠出单词
% [3 R9 H o- H4 f$ W" r - worddefine = getworddefine(tag)" y& r! i+ X+ q2 @; c/ Z: l5 ]5 c
复制代码 8 [/ [* K& Q' O# U
' ^. H7 H. f) b. BIV. 片断索引型网站
+ I2 x0 S4 p$ H2 `) B如:9 Z; N B8 D& m" C) y
ODE(http://www.oxforddictionaries.com/): w. a! [: C7 k
每查一个单词,右侧边栏有个Nearby words# R W$ W+ S$ M$ C
RHD(http://dictionary.reference.com/)
4 Q# V3 B; ~$ n4 ~. u" ~右侧边栏有Nearby words
( O6 f! t1 I$ I/ ~# T1 ]! e. x: kCALD(http://dictionary.cambridge.org/)+ e$ F4 d3 ]; j2 N
在页面的最下面有个Browse栏,给出前后相邻的单词
! b0 C; T4 u" A6 t5 O这类网站没有总索引,只好利用它的Nearby栏。& D# x2 v1 V/ [1 i, k6 p+ w+ e- Y
思路是从第一个单词(一般为‘a’或者符号数字之类的)开始抓,1 \* y" y9 X1 F
每抓一个单词,同时得到下一个单词的网址,直到最后一个单词结束(一般为‘zzz’什么的)
8 t8 u2 C% L% N! U& d9 s- : L( ?8 ]5 i5 B6 v0 U6 R
- cur = 'a'* K& z* J. K, D+ e; i3 p8 v
- end = 'z'- g+ e& P2 F: @/ g7 |* @& m' K, Q
- nexturl = ''.join(['http://somewebsite.com/', cur])
) ]8 }# N+ U5 }1 p! ?4 Y+ I, _ - while cur!=end and nexturl:
- ^+ u5 U+ s& F8 D) ?" m) E - page = getpage(nexturl) # 下载单词页面
4 \5 q% h, I3 N+ ]" B/ W3 S1 ? - worddefine, cur, nexturl = getword(page) # 得到本单词释义、下一个单词及其链接
1 @; v& Z/ h7 ]7 O5 u4 g0 z& E
复制代码
) d: j/ @; \( i; h) n' l I& X; E, m* j
V. 完全没有任何索引,那就没法子了2 }. t* r. j. q& u: \$ B% S
当然穷举算是一个办法,自己搞一个庞大的单词表,然后按I.的步骤处理5 m9 F6 C4 s+ J7 C8 k& u+ k; |
理论上也是可以的,就是效率差一点;
) I4 j, Q$ M( g1 S: |4 I" s* P另外各家新词收录情况不一,有些词组、短语拼法也不太一致,单词表准备得不充分就没法完全网罗。
8 A6 v+ ]$ k/ j+ F% n! C( [! o+ q+ W7 N! X3 k8 q
3、提高下载效率/ E! ~' m, R7 \' q- `1 \5 P, ?8 g
I. 多进程( h# o2 O- I6 ?( k
上面写的都是伪代码,也就是简单示范一下处理流程,直接写个循环了事。
: o" K% l9 k% u2 j; i实际抓网站时,这么做效率显然是非常低的。9 |8 g* `3 N& c) s) Z
假如有十万个单词,每个单词需要1秒,循环十万次就是差不多28小时,要花掉一天,4 x" d: |( a6 r( E3 P! A
有些网站还经常抽风,半分钟下载不了一个单词,那就更慢。
: r" k$ M# n6 O/ | t i" T' B假如在这段时间内,你家猫咪把电源插头给挠掉,或者键盘被女秘书不小心坐到了呢?% K) j9 O, {& t+ b/ t0 |
要速战速决,就得开多进程。: S7 G2 Z( l4 K) z$ |
同样十万个单词,分成25个进程下,也就是28/25=1个多小时。% ~1 E1 d* o L7 K; G
再开多一点呢?岂不更快。。。那样硬盘就转不动了,所以也是有极限的,要看PC的配置。
% V! E: p7 L s$ v L5 e6 r) ]! ~% \+ K在Python里开多进程,同样十分简单,
+ z( b0 _0 |8 Q
5 \; A& m# m' n9 Z# N- from multiprocessing import Pool1 U! T9 ^, Y8 p& R( E- Y2 q
- pool = Pool(25) # 开25个进程8 {. `3 H2 W" X* ~7 T q# e" Y
- pool.map(downloadloop, args) # downloadloop是下载函数,args是其参数
8 x' e) T; c- `" W/ u- |
复制代码 % g! B: [0 l. _. }' l
这就搞定了。7 I6 h' ^6 `5 O/ d8 x) z" r
6 f3 S: A1 Z* k. V. p
对于上述I.~III.,包括V.,分块比较容易,无非是把一个大数组分成25份,6 o$ {. k; h4 I) X% m
关于IV.,事先没有单词总表,就只好采用区间的概念,$ }1 r# R* E! |5 L
比如('a', 'b'), ('b', 'c')。。。这样划分若干个区间下载
" E9 p N% W2 |
9 n" t! `/ Z6 m$ o; D/ N初学编程的人,一碰到进程、线程,常常有种畏惧感,7 c* P, L* U1 @7 ] C2 B5 `
看到同步锁、共享内存、信号量什么的顿时觉得头大。! B! c+ w Y$ c0 s; I# E( I& ^
其实没什么好怕的,这是个寻址问题,关键是搞清楚它的内存空间构造是怎样的,
! W7 @8 a; O, z( \其中涉及到一点操作系统、读写互斥、原子操作的概念,找相关的书了解一下即可,没有特别难以理解的。9 p# c: a$ X! x
0 M4 H/ ]. l( {9 N+ T
II. 断点续传3 C+ y3 \) G7 F) v
事情永远不是那么完美的,网络连接随时有可能中断,网站可能存在瑕疵、死链。
/ v! m7 |9 y" s. W! [* z所以下载程序也要有点容错的功能,最好莫过于可以自行从中断处恢复,完全无需人工干预;4 _8 \6 ]9 q" V3 J/ P
即便无法自行恢复,也得容易手工处理,不然可有的烦了。
) I. m* c0 U( |2 D& l8 v这也是个寻址问题:关键是搞清楚从什么地方断的,把它标记下来;循环检测没下完的区块,从中断处接着下,
/ q. A l* e( u1 q6 q直到所有区块下完。
$ d9 k, M% ]2 U% o) L/ a7 \2 I6 z- 6 K F R% t( G1 t: w2 B
- def fetch_a_word(part, word, url, data): # 下载一个单词
$ b3 v4 d! e% `$ N/ f6 y - word_define, failed = get_a_word_from_website(word, url)
8 s3 b. @- u2 U {+ z" g - if failed:
" U- P8 a; N: `. K - dump_failed_word(part) # 输出下载失败的单词及网址
+ c& a5 r$ z$ t% ?; ? - return False% Q6 d1 M# ]* O+ l9 O' M. t8 Z, w
- else:
5 n* ?2 Z* F! t9 Q0 {; h - data.append(word_define) # 保存下载成功的单词数据
8 k, F3 N z V5 ~; G - return True
4 ?; ^5 e9 E0 Y. y8 { - $ D W" {5 C* o% R7 C0 s' m
- def download(part): # 下载一个区块
! i3 I0 Y" J+ E+ R# o - words = getwordlist(part) # 读取单词总表9 S' x4 g$ J$ v) \. Y: u
- if hasfailed(part):* @6 T# c( j7 o/ K
- word, url = read_failed_word(part) # 读取前次下载失败的单词及网址0 |* z3 C1 N2 M v. y' @1 I1 w
- else:
# j- I, q/ S- M. B - word, url = words[0] # 首次从头下载
- q" u- b4 ?, H9 [5 X - data = [] # 用来存放单词定义4 |4 o' g- h1 Y( W" G+ j
- while not_end(words): # 循环下载
& I& v" ^* e: ] - if not fetch_a_word(part, word, url, data):
2 Y+ j1 {' E: k2 @/ N - failed = True1 n: k! V2 C1 t) R/ x
- break {/ k Q% Z! `% n' C: B
- else:
5 C4 H8 W6 J8 \' X - word, url = get_next_word(words) # 准备下一个单词及其网址" Z/ T5 f& J$ i; q5 f D: ^# e
- if failed:
8 M$ g1 Q# w5 j4 ?( r6 Y/ |9 t - suffix = '.part'
1 G* P1 R8 a: [ g3 H& Z - dump_data(data, suffix) # 输出下载成功的单词,若因下载失败中断,文件名加后缀'.part'# T# ?% K6 g4 a4 q- A1 A! w$ m/ @: y# @
9 P. O6 N4 w- c0 w( v- def isfinished(part) : # 判断某区块是否下载完成: e! T( j9 b* S/ J
- if is_data_file_exists(''.join([path, part])): # 通过检查数据文件有没有生成来判断% S4 H0 S4 C2 f$ Q3 Y
- return True6 H3 q8 P1 ]. x# @9 \) L
- else:4 f! P8 | }5 y
- return False
: j8 W2 I- t$ J4 ?2 \ - + z* a- Y# o4 x
- def downloadloop(): # 循环检测未下完的区块
$ D0 {9 R/ d' r - finished = 0' j' Q0 S- u2 Z
- while not finished:% ^& R( l: u6 G; q
- nf = [] # 没下完的区块 z; k! t* @" z! e' ~
- for part in parts:
0 M0 s I2 d, E" ~- N - if not isfinished(part):
6 O, m( t1 q7 \( _ - nf.append(part)
4 u) i& `) @: z# F& C/ a/ T9 R- o( r( L - finished = not nf
# i8 v5 [# _" ]$ A3 `, _' _8 ] - for part in nf:6 G9 i K# S7 m" ?: h0 x& Q
- download(part)
0 p4 i- ^0 x8 ~# i
复制代码 $ V0 ~+ f% _) G/ H% \7 t4 ~
. F3 p) I) q2 c8 fIII. 高速下载网页的小技巧) T- |2 @! X. |1 `! }. s9 l
Python里面有三个库都可以用来下载网页:urllib2、urllib3和requests。8 y' ?, t0 Y( [0 p* d" w
其中urllib2是Python原生的,urllib3和requests为第三方库。. L* z/ }2 G1 M7 G, M; H# r$ b
(似乎Python3已经把urllib3收编为正规军了)
( Y; ~- z+ c# A) w& Q3 ~; T这三个库有什么区别呢?
4 o5 i& z2 g0 U. E% p( r形象点说,urllib2相当于去别人家“拿”东西,开门只拿一件,然后关上门,再开门拿下一件的家伙。# `/ S* }) W# B _
再笨的贼也没有这么干的,不停地开、关门太浪费时间,也容易招警察;同样,频繁连接也会网站被封IP,
# S0 N1 g& S- O. l( q! Y1 ]" g) r, f所以urllib3在urllib2基础上加了一个HTTP连接池,保持连接不中断,打开门以后一次拿个够,然后关门走人。
+ _' o# `" X' P( X' g但是urllib3有个问题,它不支持cookie,所以无法保存用户信息,遇到需要登录的网站就没辙了。
9 E8 R( P5 I! o/ I, z4 @2 ?5 W这时候就该轮到requests出场。requests在urllib3的基础上又进化了一步,它可以通过session来保存用户信息,
1 e0 }7 ^9 d& p% c0 ?- x2 x通吃一切网站。
f& D6 V0 t4 J所以你完全可以只用requests,忽略另外两个。不过我一般习惯用urllib3,只在需要登录的时候才用requests。( ~* I$ ]# ~, P# h- G+ t9 Q# J8 m
这仨库的用法都非常简单, 两个第三方库都有齐全的文档可供随时参考,虽然大多数功能都用不到:( K5 ^. E; ~6 J1 a# A4 s8 H6 X
http://urllib3.readthedocs.org/en/latest/2 C' F+ j3 a5 O; v/ R
http://docs.python-requests.org/en/latest/:" C3 y" P# X$ Y6 F8 {# p0 Q7 W
- 1 b' H, o" y; F- k- F" b* i
- #urllib2
6 ?1 Q* C2 i9 e2 \3 Q4 p0 W - import urllib2
9 \5 Q* E7 u- X! k; _ - def getpage(url):
1 Z- w) T, S% y2 E - req = urllib2.Request(url)
3 `4 o+ P' e! s( T/ ? - response = urllib2.urlopen(req)% n3 `" x2 S; G5 Q6 ?# ^# C
- page = response.read()
; }+ f& \& H# i: W - , u, C2 q+ O* M2 e9 q
- #urllib3
) @& e7 C7 D) g3 v. A - from urllib3 import PoolManager: f; U2 Q+ N" o: Z- {& W6 n( Q
- http = PoolManager()' h: ~+ ^: y A( L/ S& N
- def getpage(http, url):( Q! V4 v f+ o2 Z
- r = http.request('GET', url)# z5 P7 ~% N0 e+ J* q9 X
- if r.status == 200:3 n. k- E2 S: n
- return r.data
# a' a' X1 v8 h - else:; I( n% _( Y1 V" l6 l) J
- return None* V, j) \( ~: [, t4 L6 ~ E
" ^9 m: r! a# y7 K# _- #requests2 D- I$ v2 z {- B
- import requests3 z/ T( \1 Q$ x2 v6 U3 {- |- X2 O
- session = requests.Session(); G, `' V: S' ^- ]8 P
- def getpage(session, url):* ^7 V. V/ B1 ]" J# k* p' _. ?
- r = session.get(url, timeout=10). i& K2 V/ t. N% ^8 o9 z
- if r.status == 200:
8 I# Q, A& i2 \9 b8 s! x - return r.content
+ t8 S/ t1 Q/ N- A - else:
2 t2 X2 t6 P1 R2 W' w W - return None
) W& `( l5 o7 }! \5 \5 `
复制代码
/ z8 E. g" b! W$ o) g四、后期制作
( K6 c9 J ? b7 j1、文本处理,是个特征识别问题。2 p) V) Z: j" x: D F4 U' g
本质上是找到满足某种模式的一串数据,按一定的规则转换成另一种模式。
/ o L6 C6 X& C% b' T5 v- t当前的大热门:生物识别(人脸、指纹、静脉、虹膜。。。)、语音/摄像头输入(智能家电、自动驾驶。。。)# \( V4 \, {6 S2 g/ s
都涉及到特征识别问题。5 l" `' V* w% u
相比这些高难度动作,文本处理算是比较简单、基础。
3 [ v2 `' U0 w1 i* Z2 ~0 J7 c; MPython里常用的文本处理技术:正则表达式、BeatifulSoup、lxml0 F3 C" E8 t1 D" N- m! c
正则表达式非常强大,但没法处理递归嵌套的标签型数据2 f4 ] I7 o* \ S) Y# y& f8 C
(如:<div>第1层<div>第2层<div>第3层</div></div>...</div>,这已经不属于正则文法的范畴);
0 h5 j8 { \1 O% t+ {BeatifulSoup/lxml可以处理嵌套的标签型数据,普通文本则无法处理。
1 `3 ]: K% Q4 y2 l所以常常要结合使用。8 e# q) ^! F! R" d6 H ^) F
这些难度都不大,关键是胆大心细、思维缜密,不厌其烦,慢工出细活。
4 B# t( v6 y5 y* `/ j3 b
|: z0 X& k! ^6 I- c. Q. H3 ?: c2、排版
) E$ J8 X" h. Z" q2 e! pHTML、CSS的基础知识:
% b) s' I4 P; \http://www.w3school.com.cn/html/index.asp, d4 V; i, ?. i C2 M; Y
http://www.w3school.com.cn/css/index.asp: [& r9 M3 J6 [% U; E2 O* D
http://www.w3school.com.cn/css3/index.asp% v! @' Y. ]& K1 y
非常系统、非常全面。4 d+ \: v- g! c
排版词典需要用到的HTML/CSS知识并不太多,遇到问题参考上述网站即可。' H; Y$ |3 B) _' Q7 U! }& c
- r y/ w# T5 t% U五、结语" s+ j. `6 F7 o! M" L
花点时间写个科普文,主要是考虑到确实有些文科同学or计算机小白想制作词典,但没有思路,无从下手。$ b1 r$ G1 l# k
所谓术业有专攻,为学有先后,总结一点经验分享出来,也算是对社会做点贡献——; A w& L% |' s. \+ s) I6 B
大家有个切实可行的方法参照,不至于绕太多弯路,浪费太多时间,从而节约了社会成本。
; R" w) d! S/ \/ _ f+ r; H$ g a- Y$ V) G$ L, |2 y
打算做万年伸手党的同学,本人也没想过要鼓动你们,继续做伸手党好了,热心人还是挺多的,时常有不错的新作发布。
! \ D$ I" J, j- f6 H! s
: c) g2 D5 E( K! ]& _+ S. B只是拜托不要打扰别人,真想要就自己动手。; ^. ]4 ^0 [3 z2 d
尤其不要抱着“你手熟,水平高,做得比我快”的想法,觉得找别人做词典就特别理直气壮、理所当然。" L0 G$ n$ B7 Z/ r& b0 n
水平再高也要花时间;同时,水平高也意味着其单位时间的价值要超过水平低的人。
) k# l: F+ J4 A6 g' O8 ~虽然每个人都觉得自己至高无上,应当受到别人重视,
* U) O8 `" m; H8 j) E8 c( k: h8 F其实“在你做出惊天动地的大事、拥有巨大名声之前,你在别人眼里就是个屁”——Bill Gates曰
' j( m6 r8 ?3 H8 b3 K& h R9 A! I2 m) p( P7 Z5 z8 k
$ X3 h; i+ Q0 Z5 y7 D$ H* N) m# g$ H. n
========
, T' g3 u/ x1 C5 ^7 s; ?% U' [六、拾遗
2 I0 @( r1 @; C) Y( h' s关于上述IV. 片断索引型网站,有坛友指出ODE、RHU等都有索引页,因此可以归到第II.类: H% d8 d5 N: v% O' |6 K7 t) Z
确实如此1 P7 y; P$ [( W' T# D* o
不过这里只是举例而已,不用太较真啦 ' ~" V! o( D; M a2 ~3 q! Z+ i
实际操作过程中,由于网站可能存在索引不全、死链、交叉跳转及数据瑕疵,往往要将II.和IV. 的方法结合起来用,否则不是抓重就是抓漏( F* n; C, y4 u0 C K
这种综合性的抓取方法,本人称之为单词表密集轰炸+广度扩展法。* B2 h0 M* g" D; _
即,
* Q0 V* Y q2 T( f. u! w, Z7 P第一轮:先从索引页面获取全部的词头(集合A),再用这些词头去网站下载单词,同时提取每个单词页面里指向其它单词的链接(集合B)
7 k# R. h* ^4 D* y7 g* R第二轮:从集合B里删除已在集合A里的词头,得集合C;再用这个集合C里的词头去下载单词,并提取每个页面里的链接(集合D)& R( N5 i) W, [
第三轮:从集合D里删除已在集合A和B的并集里的词头,然后重复第二轮的后几步动作, O) W/ w' @' ~5 @" `3 m! z4 b: G
。。。- D! T. Q5 c( _1 K+ e
直到无法提取到新链接时,结束下载。大部分时候,第二轮结束时就已经提取不到新链接(即集合D为空)* j0 S; w4 U; V2 b$ X
最近新做的RHU、CED、WBD,均是采用这种方法,速度快,容错性强,效果极好。
( q( B6 V0 ?9 x9 V4 \ j0 b形象点说,这种方法相当于草原上先有若干个着火点,这些着火点会把其周围的草地点着,最终烧光整片草原。2 R! \4 c6 {: G! w9 c
因为一开始着火点就已经比较多(索引页的大篇单词表),所以会烧得非常快、非常完整。$ }1 l; m# l) n
|
评分
-
4
查看全部评分
-
|