又一个百度百科制作工具。

发哥

如果不想要图片和链接的可以用我瞎写的ruby脚本。:lol
max代表最大号，min是最小， 从1开始，每天想处理多少就处理多少,也可以放到服务器上全部处理成一个文件。
8 u8 h; B5 l% ^% m低网速情况的代码

1. require 'rubygems'
   * Z, ]5 ^4 Z$ ~  |% d! Y
2. require 'hpricot'
   3 s1 k! t3 E1 H/ o) f4 V
3. require 'open-uri'
   $ r( {4 b, c# g3 |6 n* ~
4. max=200
   & l* U% ?. ]- P2 p# \5 I9 K" {
5. min=1
   
6. dic=File.open("baidudic#{min}-#{max}.txt","a")
   * U6 P; m# X$ p4 G+ h
7. while min<max+1 do
   
8. url = "http://baike.baidu.com/view/#{min}.htm"
   
9. puts "#{url}"
   / [( e( g# y$ s. G( }# i, a$ ?" q
10. doc= Hpricot(open(url))
    ! Y# d! ]( ^4 O
11. title0= (doc/:title).inner_html
    " T; B$ e& f- _6 z8 ~9 R; |
12. title=title0.split('_')
    
13. content= (doc/"#lemmaContent").inner_html
    ' @0 b; Y, t& {! o) H3 \. @
14. temp=content.gsub(/<\/?[^>]*>/, "")
    
15. temp=temp.gsub(/编辑本段/, "")
    - n& ~- A7 w6 u
16. dic.puts title[0]
    4 ], N/ P4 ]# @
17. dic.puts "原文链接:#{url}"
    
18. dic.puts temp
    
19. dic.puts "</>"
    1 _. C0 D3 G/ m- b% t
20. puts "OK"
    
21. min=min+1
    
22. end
    
23. dic.close
    & E3 I% V3 a2 J) M: U1 V* n

复制代码

高网速情况的代码

1. 
   
2. # baidubaike 2 mdict by daming
   
3. # [email protected]
   
4. require 'rubygems'
   
5. require 'hpricot'
   
6. require 'pathname'
   
7. require 'fileutils'
   
8. require 'open-uri'
   - V# f7 G0 g0 F' w
9. Maxn=20
   
10. max=100
    
11. min=1
    
12. dic=File.open("baidudic#{min}-#{Maxn*max}.txt","a")
    . H6 u2 ^, T; B2 f$ k3 m, f
13. for j in 0..(Maxn-1) do
      u# V% _! k/ s# S7 V* f
14. FileUtils.makedirs("temp")
    
15. i=min
    
16. while i<max+1 do
    ! o0 J, T- k! G" q) H8 X, O, T
17. url = "http://baike.baidu.com/view/#{i+j*max}.htm"
    " }, @" Y% Y& P0 ]2 G6 r3 T
18. puts "#{url}"
    5 f& D- w6 J9 J0 D" t
19. data=open(url){|f|f.read}
    
20. open("temp\\#{i}.htm","wb"){|f|f.write(data)}
    8 N$ K1 S4 Y( g! h) q: W
21. puts "download"
    ) d7 z8 x& s* u7 Q
22. i=i+1
    
23. end
    - d' Q' h8 I) P( Q2 F1 `6 y
24. i=min
    
25. while i<max+1 do
    & k8 ?4 l' x0 v2 |7 z
26. puts "#{url}"
    
27. url = "http://baike.baidu.com/view/#{i+j*max}.htm"
    
28. doc = open("temp\\#{i}.htm") { |f| Hpricot(f) }
    
29. title0= (doc/:title).inner_html
    8 P: q' R5 n8 g( C1 o
30. title=title0.split('_')
    
31. content= (doc/"#lemmaContent").inner_html
    ( ^4 c+ L9 t: ~8 D* M& h
32. temp=content.gsub(/<\/?[^>]*>/, "")
    
33. temp=temp.gsub(/编辑本段/, "")
    
34. dic.puts title[0]
    
35. dic.puts "原文链接:#{url}"
    0 @5 A& c1 T- Q$ Y! D
36. dic.puts temp
    ( h. r( q/ d1 O; V
37. dic.puts "</>"
    7 U5 V" K8 z! Y3 H2 J* I$ k3 E
38. puts "converted"
    6 n- T2 w- P$ C
39. i=i+1
      F, b1 x# ~5 E8 S. P
40. end
    
41. dir = Pathname.new("temp")
    7 [2 ^$ [& n" Q; P
42. dir.rmtree
    , {9 w# s) W9 m# E
43. puts "cache cleaned"
    
44. end
    
45. dic.close
    * y# g# k* j- f4 }( z3 k: \

复制代码

windows上ruby地址
http://rubyforge.org/frs/download.php/29263/ruby186-26.exe
0 j1 N  w, c0 o; q) }5 Jlinux这个不是问题

一次不要开多个窗口，百度会封
2 M% z# j# C. _+ Q8 f2 d8 w2 N( @/ Z3 H
[ 本帖最后由 发哥 于 2008-10-15 21:12 编辑 ]

ldlcau

不错，谢谢楼主
快速下载时 ，速度大约超过200个/分钟，百度就会封锁ip 10分钟。

1 D4 _- _4 k  ^. j" C我对ruby不是太了解.
+ [' `( ?9 w, C* ~8 q8 U看楼主程序用意显示为下载百度数据，过滤html标签，转为txt,保存为txt文件。

haoyang2007

不太明白，还是要对发哥的辛苦劳动说声谢谢！

发哥

就是把这个代码另存为xxx.rb
* r9 E0 j% P5 i8 s2 `9 s5 q安装ruby解析程序
需要几个下几个。就指定下几个。

发哥

更新了一个，下一些转一些。

8 {, u- n' T" Q! y, w[ 本帖最后由 发哥 于 2008-10-15 21:08 编辑 ]

发哥

第二个在服务器上刷刷到12128的时候被封了一会儿。

发哥可以加上限速的功能吗？

发哥

貌似openuri没有这个功能，因为http协议本身就没有状态，而且文件太小，速度肯定无法达到满速。
要限速用外部程序下载吧 比如：
wget -i http://baike.baidu.com/view/1.htm -limit-rate=50k

原帖由 发哥 于 2008-10-17 10:43 发表
0 `5 T. z: l7 B7 E2 A5 t" k5 h( W: B貌似openuri没有这个功能，因为http协议本身就没有状态，而且文件太小，速度肯定无法达到满速。
9 u) v# I2 S7 L. t9 o要限速用外部程序下载吧 比如：
wget -i http://baike.baidu.com/view/1.htm -limit-rate=50k

7 T6 H3 t7 u- }- M8 j4 j
4 \; p0 G9 i9 y  t8 @+ J:L 发哥，教教我吧．

发哥

不好意思，发错参数了。。
wget --limit-rate=50k http://baike.baidu.com/view/1.htm
批量下为1 2 3 需要写bat脚本
以下是循环100次的。

1. 
   
2. @echo off
   6 K" u  y* Z( W1 j7 W+ Q/ c* d3 Y  S
3. :loop
   
4. cls
   4 f) |1 j  G, O8 K
5. set /a num+=1
   + e6 t. I; q5 p7 C8 \: Q0 s0 v( c
6. if %num%==101 (
   % E) q; g, d/ e8 q( B5 m
7. goto exit
   & s+ {( F8 p9 b& C/ z
8. )
   
9. echo %num%.htm
   
10. wget --limit-rate=50k http://baike.baidu.com/view/%num%.htm
    
11. goto loop
    7 ?# a* ^( E/ j% ]" e6 O
12. :exit
    

复制代码

ruby脚本把第一个修改一下。。

可以用本版版主老大的php采集的方法，是最上道的。后台全是微软干，不需要你弄。

[ 本帖最后由 发哥 于 2008-10-19 03:36 编辑 ]

发哥

其实我还写了一个分页处理程序，初衷是做baidu百科精选词条的。
3 o& J2 s- f6 E+ L
# W: ^5 [6 e  ~% B$ I3 M. m4 }可惜baidu的观礼员太懒，至今只推荐了5k个。应该让管理员打他PP了。:lol

还是弄不懂．试了下用teleport pro，不会用；用迅雷太慢了．并且现在还找不到那个DSL complier:L

发哥

你就用这个么
https://pdawiki.com/forum/thread-883-1-1.html

慢慢消化一下．:)

看来我的水平还是玩不转这个了:L ．各位大大可以把你们采到的TXT原始文件放到网上吗？或有没有工具把mdx转回TXT的?

ldlcau

不知道你要TXT原始文件用来做什么。
- A' H) m* ^2 }- I9 J. Z: D1 n( @原始文件有近3个G，直接操作处理都很麻烦。

我用你教的wget在采了，但abbyy lingvo的编译器的容错性很差，整理非法字符，处理过长的段把我搞得头都大了，前10000条（采下来有4000多是空的）只能成功了2700多条:Q

发哥

把那个ruby装上。
用这个脚本处理试试成功率

1. 
   
2. require 'rubygems'
   ; L! A5 S+ n1 L* y1 C' k
3. require 'hpricot'
   
4. require 'open-uri'
   
5. max=200
   
6. min=1
   ' M0 X& B% |. ~, ^, z- a
7. dic=File.open("baidudic#{min}-#{max}.txt","a")
   ) s3 }$ s, T- @3 {5 _9 I" t
8. while min<max+1 do
   
9. url = "#{min}.htm"
   ; `0 r" M1 v! y$ S  W( ]* {5 T; L. _
10. puts "#{url}"
    
11. filetemp=File.open(url)
    7 Y8 K# F! \$ Y# g( n9 p$ O% C
12. doc= Hpricot(filetemp)
    ( i4 y, n$ M+ X4 N
13. title0= (doc/:title).inner_html
    2 o# T! B4 d7 a, o1 B
14. title=title0.split('_')
    # `  z! n2 i+ @, B- r
15. content= (doc/"#lemmaContent").inner_html
    ! Z* ~+ X4 L+ J6 N9 i4 W* _9 h
16. temp=content.gsub(/<\/?[^>]*>/, "")
    
17. temp=temp.gsub(/编辑本段/, "")
    
18. dic.puts title[0]
    
19. dic.puts "原文链接:#{url}"
    
20. dic.puts temp
    1 |0 g9 o8 G/ b2 G+ j
21. dic.puts "</>"
    
22. puts "OK"
    ' d4 d% `% n6 K' K/ R0 C  ^
23. min=min+1
    5 _, ^# I# w5 _) X' B0 m
24. filetemp.close
    
25. end
      P$ y4 q! L! T. \6 w9 X; M* D
26. dic.close
    

复制代码

8 f/ y5 ^1 }+ L5 X2 m% D* [[ 本帖最后由 发哥 于 2008-10-22 14:39 编辑 ]

发哥

abbyy的没用过。。
5 t! u& U+ V3 d8 |) r貌似是这样的格式吧
name
* B8 u7 }9 \/ Q1 ~6 L) t[m1]xxxx
) \$ h% d  h# B6 {xxxx
! H+ J& I7 t  G2 v4 J[/m]

1. 
   
2. require 'rubygems'
   8 P% z' f4 f3 p: Z! N7 |+ @2 W* D
3. require 'hpricot'
   
4. require 'open-uri'
   3 F3 d& r& z% P- F
5. max=200
   
6. min=1
   
7. dic=File.open("baidudic#{min}-#{max}.txt","a")
   
8. while min<max+1 do
   ; A; w" g. |- ^  [1 P
9. url = "#{min}.htm"
   
10. puts "#{url}"
    ! `( ^. _/ H. K9 M/ O2 u' N/ b
11. filetemp=File.open(url)
    , w8 t  v# Q; n' n2 Q
12. doc= Hpricot(filetemp)
    
13. title0= (doc/:title).inner_html
    8 H4 C; f- J* F
14. title=title0.split('_')
    6 y  h5 {  s4 b$ \! X/ {# T5 Y
15. content= (doc/"#lemmaContent").inner_html
    0 x( g& Y3 i1 |# I
16. temp=content.gsub(/<\/?[^>]*>/, "")
    * K, K4 M) c% v& M& H& x( M& z: }
17. temp=temp.gsub(/编辑本段/, "")
    
18. dic.puts title[0]
    
19. dic.puts "[m1]"
    ; [6 y" O3 ]# M" k
20. dic.puts "原文链接:#{url}"
    % ?6 i* d7 U: m- S2 F
21. dic.puts temp
    $ I6 U# w& i- v1 |& @
22. dic.puts "[/m]"
    
23. puts "OK"
    
24. min=min+1
    
25. filetemp.close
    $ k' v8 z5 u# ?6 \
26. end
    / u/ u$ o. w7 W/ V
27. dic.close
    

复制代码

有没有词条长度说明请都回复帖子。。我试试，我也不熟。

不好意思，现在才回帖。
abbyy的格式是这样的：

词条名1
“tab缩进”[trn]词条正文
! d' C9 t3 t! T& B: A  `“tab缩进”词条正文
........
8 h) J5 ]2 N5 R( s- ?% j9 y“tab缩进”词条正文[/trn]
: U4 J) f5 q% S) W" D& C词条名2
! I! @" \1 k. @3 R“tab缩进”[trn]词条正文
$ O+ o! z$ z* `8 W6 p7 v8 i% [“tab缩进”词条正文
  u8 {- u8 D6 @. h& i3 R* ]........
（tab）词条正文[/trn]
8 g0 R& m0 y$ g8 K) D
" q. A: D- ]) B3 |/ Z每行的词条有长度限制，具体大概为300字符（150汉字）
[ ]\{*#为控制字符，如果要在内容中使用，就前面加\，如\[，\\，\]。
7 C& l5 P# @5 `! b
[ 本帖最后由 好友营 于 2008-11-4 16:59 编辑 ]

pplang

一个人开太快太多就会被封一段时间,把这个工作分成多份,让比较可靠的高级别用户一起来做这件事可能会方便些.不会让一个人落入地狱,不会让更新变慢....
( ~* L" J/ v' P发起者开帖子,设立分段,参加者报名加入,每人每星期运行一次程序,开几千个页面,一个人可申请多个段以增加效率,结果反馈给发起者,发起者整合输出.发起者负责管理,如参加者要求退出或者没完成任务,管理者对分段重新分配.
发起者最好提供FTP空间给上传者临时使用.
" w' g% R4 R' p; A' I程序最好是VBS(Windows下用),又可编辑又可运行,每分钟开20个页面然后暂停,这样几小时之内应该都不会被封.这种强度对机器也没什么影响,完全可以全天运行,10小时就是12000条....这样大家分段不重复,还可以"同时"进行,提高些效率.
程序可以附带一个INI,保存本段参数,不同参与者下载不同的Ini(网页Java生成也好)或者手动设置,配合程序自动完成分段的任务,最好结果能自动上传到发起者的邮箱:).......
- h0 A3 _* w% R+ v4 ^; @
/ {/ A1 y/ G8 j: B/ L( ?0 c[ 本帖最后由 pplang 于 2008-11-13 01:33 编辑 ]