又一个百度百科制作工具。

发哥

如果不想要图片和链接的可以用我瞎写的ruby脚本。:lol
max代表最大号，min是最小， 从1开始，每天想处理多少就处理多少,也可以放到服务器上全部处理成一个文件。
低网速情况的代码

1. require 'rubygems'
   ( o7 h* X! }" u" [- n) ~9 v
2. require 'hpricot'
   ; o) S/ |8 }- l- F6 `2 S
3. require 'open-uri'
   4 u* U/ _6 l3 @* A% V7 Z- y, g3 U
4. max=200
   8 m% X% E9 C& Q9 B7 I2 T
5. min=1
   
6. dic=File.open("baidudic#{min}-#{max}.txt","a")
   # P3 q' j: M3 R# y+ u3 j
7. while min<max+1 do
   $ n% B; X* ]: J9 e; [  Z, o# y( x
8. url = "http://baike.baidu.com/view/#{min}.htm"
   3 [. e$ M: ?& S* G' \
9. puts "#{url}"
   $ x6 s9 G* v' p4 t* ~. H0 a) L
10. doc= Hpricot(open(url))
    
11. title0= (doc/:title).inner_html
    & O4 w& [1 q+ j0 P; Z8 f
12. title=title0.split('_')
    
13. content= (doc/"#lemmaContent").inner_html
    ( }+ Q$ F1 @0 O* S9 q
14. temp=content.gsub(/<\/?[^>]*>/, "")
    
15. temp=temp.gsub(/编辑本段/, "")
    
16. dic.puts title[0]
    ' N/ k: \8 D; T3 v3 Q; J
17. dic.puts "原文链接:#{url}"
    
18. dic.puts temp
    1 Z' N9 l) n( A* b. y- g
19. dic.puts "</>"
    1 x1 c6 w1 c3 B/ {/ T7 Z+ I5 P
20. puts "OK"
    ) h* Q+ R+ o+ q
21. min=min+1
    , a$ `1 w; ?3 D- N( ]5 ^" ]
22. end
    
23. dic.close
    

复制代码

高网速情况的代码

1. 
   0 B  N9 c# z( H$ P, }
2. # baidubaike 2 mdict by daming
   % A* y5 _  g2 U8 G5 T
3. # [email protected]
   1 {/ ?$ o2 a( k1 x' }% R
4. require 'rubygems'
   
5. require 'hpricot'
   ' C( D3 k, _* R; A& V6 z
6. require 'pathname'
   $ W: S8 W4 i9 }3 P
7. require 'fileutils'
   4 a" C/ y2 y, t  O
8. require 'open-uri'
   
9. Maxn=20
   1 P& C3 V/ y* s! `+ F+ o6 X# B
10. max=100
    6 s* f4 }4 B* @7 v
11. min=1
    
12. dic=File.open("baidudic#{min}-#{Maxn*max}.txt","a")
    
13. for j in 0..(Maxn-1) do
      K9 R: Y0 R1 q! }7 C
14. FileUtils.makedirs("temp")
    ' J: \9 B: H/ I  i$ i& V2 Y
15. i=min
    ' s) Q2 ~% x5 r. E* h+ P
16. while i<max+1 do
    7 K2 M  n+ j0 b4 J
17. url = "http://baike.baidu.com/view/#{i+j*max}.htm"
    + F2 i9 s1 q; k7 I/ [9 Q1 T
18. puts "#{url}"
    0 s! a( I6 i& U& N7 y6 `
19. data=open(url){|f|f.read}
    
20. open("temp\\#{i}.htm","wb"){|f|f.write(data)}
      z# m0 v$ f3 \% _6 g" V
21. puts "download"
    8 d4 X6 l0 u; q, y) b
22. i=i+1
    2 l/ g/ f( j6 E7 Q
23. end
    
24. i=min
    
25. while i<max+1 do
    & `: |% K, Z- U7 s
26. puts "#{url}"
    
27. url = "http://baike.baidu.com/view/#{i+j*max}.htm"
    
28. doc = open("temp\\#{i}.htm") { |f| Hpricot(f) }
    # i8 Q. ?) B$ b8 f, z8 i2 z
29. title0= (doc/:title).inner_html
    6 @" j4 E1 m) |, A' b# K
30. title=title0.split('_')
    
31. content= (doc/"#lemmaContent").inner_html
    , P! f$ q+ E6 D! O# i- b
32. temp=content.gsub(/<\/?[^>]*>/, "")
      V9 @2 O/ |$ b) S5 L# x
33. temp=temp.gsub(/编辑本段/, "")
    + z0 Q, ~0 `, F  S, D- F
34. dic.puts title[0]
    
35. dic.puts "原文链接:#{url}"
    
36. dic.puts temp
    
37. dic.puts "</>"
    " }  f2 c2 y8 \) v$ O
38. puts "converted"
    
39. i=i+1
    
40. end
    ; [% O) B" ^8 {% j3 K3 L# z1 y# r
41. dir = Pathname.new("temp")
    " s' @, }# b- B8 o5 |
42. dir.rmtree
    2 ~' f: `4 n+ t/ \$ C
43. puts "cache cleaned"
    
44. end
      t6 m4 q& u1 I* G6 n2 J; r. u
45. dic.close
    

复制代码

windows上ruby地址
http://rubyforge.org/frs/download.php/29263/ruby186-26.exe
" k$ x) T! k8 Z: D# ulinux这个不是问题

3 N. G0 k7 m6 t一次不要开多个窗口，百度会封

( K9 g, l: u# E# F* A5 ^[ 本帖最后由 发哥 于 2008-10-15 21:12 编辑 ]

ldlcau

不错，谢谢楼主
快速下载时 ，速度大约超过200个/分钟，百度就会封锁ip 10分钟。

我对ruby不是太了解.
" d4 o* C/ K- D% P' x$ E看楼主程序用意显示为下载百度数据，过滤html标签，转为txt,保存为txt文件。

haoyang2007

不太明白，还是要对发哥的辛苦劳动说声谢谢！

发哥

就是把这个代码另存为xxx.rb
$ }/ H4 \; o2 h1 b% g0 _安装ruby解析程序
. ^+ m. M( V  ]' Q: D1 Y- N- e需要几个下几个。就指定下几个。

发哥

更新了一个，下一些转一些。
8 A% h. }  v; k
$ x0 o( a8 l( N[ 本帖最后由 发哥 于 2008-10-15 21:08 编辑 ]

发哥

第二个在服务器上刷刷到12128的时候被封了一会儿。

发哥可以加上限速的功能吗？

发哥

貌似openuri没有这个功能，因为http协议本身就没有状态，而且文件太小，速度肯定无法达到满速。
" {  U9 w& g9 Y- e( F6 s" u2 y7 c要限速用外部程序下载吧 比如：
0 A0 }9 d/ [, ]" I5 _/ m; t# \wget -i http://baike.baidu.com/view/1.htm -limit-rate=50k

原帖由 发哥 于 2008-10-17 10:43 发表
* {6 E4 f9 ^2 |2 c# D  A貌似openuri没有这个功能，因为http协议本身就没有状态，而且文件太小，速度肯定无法达到满速。
- I& J. P! D0 x1 F" _要限速用外部程序下载吧 比如：
, K9 K& N4 M4 J9 R* ]8 `/ fwget -i http://baike.baidu.com/view/1.htm -limit-rate=50k

7 E& q$ }! Y+ W8 e:L 发哥，教教我吧．

发哥

不好意思，发错参数了。。
& E: Y4 U( _& z! ]% ~wget --limit-rate=50k http://baike.baidu.com/view/1.htm
批量下为1 2 3 需要写bat脚本
以下是循环100次的。

1. 
   " p0 I3 m7 M5 W* C: b5 E0 p5 v3 _9 W
2. @echo off
   
3. :loop
   
4. cls
   6 g8 m  F$ x: D/ f% M
5. set /a num+=1
   : L" {5 a( }+ W& R+ G
6. if %num%==101 (
   
7. goto exit
   # _8 G; X4 N5 u+ u7 z& y& a
8. )
   
9. echo %num%.htm
   
10. wget --limit-rate=50k http://baike.baidu.com/view/%num%.htm
    
11. goto loop
    
12. :exit
    ) n) i. N2 k% D0 W7 _# b

复制代码

ruby脚本把第一个修改一下。。
3 J0 ]9 ~9 K; W3 y/ `
- [# {* O" D  q/ ?可以用本版版主老大的php采集的方法，是最上道的。后台全是微软干，不需要你弄。

; d' T; H1 g+ z7 I2 v: }[ 本帖最后由 发哥 于 2008-10-19 03:36 编辑 ]

发哥

其实我还写了一个分页处理程序，初衷是做baidu百科精选词条的。

2 Y; U- K$ `5 Y4 V# y可惜baidu的观礼员太懒，至今只推荐了5k个。应该让管理员打他PP了。:lol

还是弄不懂．试了下用teleport pro，不会用；用迅雷太慢了．并且现在还找不到那个DSL complier:L

发哥

你就用这个么
5 a# ?3 P7 D* s! o" z/ |https://pdawiki.com/forum/thread-883-1-1.html

慢慢消化一下．:)

看来我的水平还是玩不转这个了:L ．各位大大可以把你们采到的TXT原始文件放到网上吗？或有没有工具把mdx转回TXT的?

ldlcau

不知道你要TXT原始文件用来做什么。
& o: f8 F- G1 Q原始文件有近3个G，直接操作处理都很麻烦。

我用你教的wget在采了，但abbyy lingvo的编译器的容错性很差，整理非法字符，处理过长的段把我搞得头都大了，前10000条（采下来有4000多是空的）只能成功了2700多条:Q

发哥

把那个ruby装上。
用这个脚本处理试试成功率

1. 
   9 n- k9 s# Z0 o+ H' p! n" v
2. require 'rubygems'
   5 v$ n! F# x+ j
3. require 'hpricot'
   
4. require 'open-uri'
   3 o, U! S) }2 A; @0 j% {$ p
5. max=200
   ( S# W+ I9 \# f7 G0 a8 ^. t0 L
6. min=1
   
7. dic=File.open("baidudic#{min}-#{max}.txt","a")
   $ P5 ^" G, l$ o  W$ W' @
8. while min<max+1 do
   
9. url = "#{min}.htm"
   : V& o9 E8 ]4 @( A9 J! s5 B+ |
10. puts "#{url}"
    8 q6 U/ R( ?0 J/ ~( L8 C$ O
11. filetemp=File.open(url)
    4 ]' m4 f/ ^9 y! a+ E/ c+ k* b
12. doc= Hpricot(filetemp)
    " t  X: e! S2 J! {1 W$ l+ O7 i: ~& r
13. title0= (doc/:title).inner_html
      v: L8 F' T* _- e5 {& x/ v
14. title=title0.split('_')
    
15. content= (doc/"#lemmaContent").inner_html
    ) i* p' {# B! K% t! l' k& R6 \
16. temp=content.gsub(/<\/?[^>]*>/, "")
    + o0 ]4 a! U( Z$ `/ l3 ^
17. temp=temp.gsub(/编辑本段/, "")
    4 r/ b( g1 A, z: f# d0 D
18. dic.puts title[0]
    
19. dic.puts "原文链接:#{url}"
    
20. dic.puts temp
    2 i* t- w' C7 e* `( X  a+ ^
21. dic.puts "</>"
    
22. puts "OK"
    
23. min=min+1
    
24. filetemp.close
    
25. end
    
26. dic.close
    

复制代码

[ 本帖最后由 发哥 于 2008-10-22 14:39 编辑 ]

发哥

abbyy的没用过。。
( q- ?4 T& i7 e# U貌似是这样的格式吧
- }7 m7 z4 q" }8 Q. {name
[m1]xxxx
xxxx
[/m]

1. 
   
2. require 'rubygems'
   * U7 V: `! T8 D
3. require 'hpricot'
   7 h9 P; T# |. q; {
4. require 'open-uri'
   : Z5 i5 Q3 _' ?4 ~5 r# y
5. max=200
   
6. min=1
   ; K0 Y" h. }! d1 i# w5 r8 i
7. dic=File.open("baidudic#{min}-#{max}.txt","a")
   
8. while min<max+1 do
   
9. url = "#{min}.htm"
   9 A+ M, H$ R) l; I# C
10. puts "#{url}"
    
11. filetemp=File.open(url)
    $ R& N; d! x0 E- J1 s- m
12. doc= Hpricot(filetemp)
    3 J- ^' F- h5 u! N* p
13. title0= (doc/:title).inner_html
    / u( o3 t% k& {5 s) g; Z+ U# i
14. title=title0.split('_')
    
15. content= (doc/"#lemmaContent").inner_html
    6 E7 G- }1 a. ]3 v
16. temp=content.gsub(/<\/?[^>]*>/, "")
    
17. temp=temp.gsub(/编辑本段/, "")
    
18. dic.puts title[0]
    
19. dic.puts "[m1]"
      M& S3 F3 I, J. [. z
20. dic.puts "原文链接:#{url}"
    
21. dic.puts temp
    4 d5 Q' D6 X* L( S: z
22. dic.puts "[/m]"
    8 {$ O8 |# s+ R
23. puts "OK"
    
24. min=min+1
    . W/ o, A4 s( ^: ?7 `
25. filetemp.close
    
26. end
      y2 [6 d1 s; r  ]6 V. Z. p( X  U2 B
27. dic.close
    

复制代码

有没有词条长度说明请都回复帖子。。我试试，我也不熟。

不好意思，现在才回帖。
abbyy的格式是这样的：

词条名1
“tab缩进”[trn]词条正文
- W. y& y. o6 A1 g+ x/ t“tab缩进”词条正文
........
* C# h/ R2 k7 d“tab缩进”词条正文[/trn]
$ |3 @8 a# T# a, ^5 {9 w# h词条名2
4 B- `' M$ v+ m  A“tab缩进”[trn]词条正文
, i5 R  M4 ~& ^  }/ R% @“tab缩进”词条正文
........
% ~/ T  T) _# [# J（tab）词条正文[/trn]

每行的词条有长度限制，具体大概为300字符（150汉字）
8 z. [8 D+ r$ g* _5 _9 O$ [8 S/ @[ ]\{*#为控制字符，如果要在内容中使用，就前面加\，如\[，\\，\]。
) f6 e& m0 q4 v) u! \1 c) ]
[ 本帖最后由 好友营 于 2008-11-4 16:59 编辑 ]

pplang

一个人开太快太多就会被封一段时间,把这个工作分成多份,让比较可靠的高级别用户一起来做这件事可能会方便些.不会让一个人落入地狱,不会让更新变慢....
$ V! G, f0 S+ o6 @2 f$ j发起者开帖子,设立分段,参加者报名加入,每人每星期运行一次程序,开几千个页面,一个人可申请多个段以增加效率,结果反馈给发起者,发起者整合输出.发起者负责管理,如参加者要求退出或者没完成任务,管理者对分段重新分配.
6 D6 F  {* q9 v2 w3 {2 g) y发起者最好提供FTP空间给上传者临时使用.
程序最好是VBS(Windows下用),又可编辑又可运行,每分钟开20个页面然后暂停,这样几小时之内应该都不会被封.这种强度对机器也没什么影响,完全可以全天运行,10小时就是12000条....这样大家分段不重复,还可以"同时"进行,提高些效率.
程序可以附带一个INI,保存本段参数,不同参与者下载不同的Ini(网页Java生成也好)或者手动设置,配合程序自动完成分段的任务,最好结果能自动上传到发起者的邮箱:).......
' ]. Y! K7 [6 I. H: X9 w9 j
1 q% h6 o) U5 Y% w2 {9 V/ }6 P[ 本帖最后由 pplang 于 2008-11-13 01:33 编辑 ]