掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

楼主: garypang

[专有词库] [6.7]urbandictionary.com城市俚语在线词典 [python]

    [复制链接]
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-7 12:27:23 | 显示全部楼层
    hyqq2015 发表于 2018-5-20 21:20
    ; C7 ]) ~8 Z+ S) L7 K! ?同步更新:  s. A# ^$ P5 U$ I. l1 w8 ~- E0 {7 m
    ) s: R' d# J- r6 F) p3 E/ Z1 N1 _( b
    1. 修正多余的换行,使排版更紧凑;

    - G4 C! I8 M  R, U* P' P6 O原来空行你早就修复了,赞!

    该用户从未签到

    发表于 2018-6-7 13:17:45 来自手机 | 显示全部楼层
    Thank you so much for sharing.
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 15:10:31 | 显示全部楼层
    garypang 发表于 2018-6-7 12:27* W; F2 x$ {: F
    原来空行你早就修复了,赞!
    1 c: ^5 S. ~) X( B/ @* ?# n) _, V
    你有没有发现这个脚本最多只能显示10条释义,你抓取的离线版也是。你查下 beautiful 或 good 试下。
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-7 15:21:32 | 显示全部楼层
    hyqq2015 发表于 2018-6-7 15:108 t+ z( r9 v: a8 `# W
    你有没有发现这个脚本最多只能显示10条释义,你抓取的离线版也是。你查下 beautiful 或 good 试下。 ...
    # \; Y' ~4 B9 p2 [$ Z. V
    是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口只能显示10条,
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 15:31:28 | 显示全部楼层
    garypang 发表于 2018-6-7 15:21' |; o* z  Y8 }* p$ G1 B
    是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...
    0 Q8 A; B( _9 A* Y  f
    因为发现2015年的 dsl 版将近1个G,所以对比了下才发现最多只显示10条。不过10条也够了。
  • TA的每日心情
    擦汗
    2023-11-29 11:30
  • 签到天数: 335 天

    [LV.8]以坛为家I

    发表于 2018-6-7 16:55:32 | 显示全部楼层
    感谢更新,试试看
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-7 18:13:39 | 显示全部楼层
    garypang 发表于 2018-6-7 15:212 Q0 m' z  ^# c' @% u
    是的,离线版和在线版都是用的http://api.urbandictionary.com/v0/define?term= 这个接口的数据 这个接口 ...
    # }; b, s( V9 f; q3 X2 C; _
    在网上找到一个1.9G的Urban Dictionary数据资源:) A# {# }% P! |
    https://www.reddit.com/r/dataset ... ions_1999_may_2016/, }$ [. [) O- O; N, f8 u, h
    下载数据看了下,这个2016年5月份的数据中,beautiful的释义有195条,看来作者抓取的时候抓到的释义很全。
    + Z) X1 k/ Y6 z0 a& b( R3 W, N: x4 H- n' D4 y
    作者介绍可以利用 defid 来抓取,! I  R5 \% o7 |
    You can scrape word ids from here: http://www.urbandictionary.com/y ... 17-03-29&page=2 (note that each date has many pages) and then just throw them into the urbandictionary api link above.

    " Z! y8 l3 T& I* U, {* _其实我并不是很懂Python,不知这种方法是否可以完整抓取?
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-8 13:46:53 | 显示全部楼层
    hyqq2015 发表于 2018-6-7 18:132 b! ~) `; Y: b& L- M# a
    在网上找到一个1.9G的Urban Dictionary数据资源:  e, F) B: q% }- A6 l; n
    https://www.reddit.com/r/datasets/comments/63spoc/1 ...

    % e, {' Z) E# e' [7 y里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失效了,不然可以抓取到更全的wordlists,至于释义,十条其实完全够用了,我这抓取的txt源文件也有2G多了.
  • TA的每日心情
    郁闷
    2018-7-26 12:11
  • 签到天数: 2 天

    [LV.1]初来乍到

    发表于 2018-6-8 14:15:37 | 显示全部楼层
    在线的urban确实是比离线的更好的解决方案……
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-8 17:06:11 | 显示全部楼层
    本帖最后由 hyqq2015 于 2018-6-8 17:15 编辑 - R' a! t5 M8 [, H
    garypang 发表于 2018-6-8 13:46
    # c! x$ N# G/ C8 }& N- I+ Z里面作者所说的 http://www.urbandictionary.com/y ... 17-03-29&page=2 这个接口已经失 ...

    * T6 P6 m. ^; U9 {. K
    " [/ n1 Y' N6 C. N" {并没有失效,是按照日期来的,一天一天来,比如:
    + n. w, v3 k) G: c8 vhttps://www.urbandictionary.com/yesterday.php?date=2018-06-07
    ; m* p# o' D5 Xhttps://www.urbandictionary.com/yesterday.php?date=2018-06-06
    ' a3 A: E& A# B% Khttps://www.urbandictionary.com/yesterday.php?date=2018-06-05
    # F4 H- Z) f, E8 y- [9 r) |: v) {1 I2 ~" |8 Q8 r/ m
    作者抓取的数据是从1999年到2016年5月的。3 ~! y3 w- H; w( C+ x' j! g/ H$ g
    . {- T: T( ~# r6 n2 \9 A' a

    ! a, X/ y& E5 \/ O6 U$ W) Y& T$ W4 Durban的数据也是1999年开始,看下图:( e5 P; \) ?' C0 _; o5 K4 m

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?免费注册

    x
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

     楼主| 发表于 2018-6-8 17:23:55 | 显示全部楼层
    hyqq2015 发表于 2018-6-8 17:06
    3 j+ W* V( a  g并没有失效,是按照日期来的,一天一天来,比如:9 P  o4 D. M. \( e, I
    https://www.urbandictionary.com/yesterday.php?date= ...
    6 _1 Z3 O. V( e3 H1 i+ \
    只有2018年最近一两个月的有效,其他年份都失效了的.
  • TA的每日心情
    开心
    2020-10-25 03:32
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2018-6-8 18:08:39 | 显示全部楼层
    garypang 发表于 2018-6-8 17:23
    - K& k6 A) u' b' Q7 p  y* u6 D9 _只有2018年最近一两个月的有效,其他年份都失效了的.
    ( o. ^9 u8 M$ M0 R- [; C
    估计也是一种限制。抓不了也只能作罢,现有离线版和在线版用着也挺好。
  • TA的每日心情
    难过
    2023-8-12 13:37
  • 签到天数: 415 天

    [LV.9]以坛为家II

    发表于 2018-6-8 22:08:21 | 显示全部楼层
    谢谢这么认真完善词典,很喜欢这部词典。
  • TA的每日心情
    开心
    2020-3-25 07:07
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    发表于 2018-6-11 20:57:55 | 显示全部楼层
    感谢Garypang。

    该用户从未签到

    发表于 2018-6-12 13:42:59 | 显示全部楼层
    好棒的操作。试试哈。不知道能不能用哦。
  • TA的每日心情
    擦汗
    2018-8-19 10:30
  • 签到天数: 24 天

    [LV.4]偶尔看看III

    发表于 2018-6-14 10:41:31 | 显示全部楼层
    已经开始用了,谢谢楼主慷慨分享,thank you for your sharing
  • TA的每日心情
    开心
    2018-6-14 14:41
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2018-6-14 11:23:25 | 显示全部楼层
    谢谢,1111111111111111111111111111111111111111111111111111
  • TA的每日心情
    开心
    2018-8-24 20:37
  • 签到天数: 58 天

    [LV.5]常住居民I

    发表于 2018-6-18 12:11:15 | 显示全部楼层
    謝谢楼主分享,下载试用!俚語對於英語水平是一個很大的進步
  • TA的每日心情
    开心
    2020-5-23 22:47
  • 签到天数: 128 天

    [LV.7]常住居民III

    发表于 2018-6-20 18:52:12 | 显示全部楼层
    很好,电脑版上的goldendict确实很省事,这份也收集一个
  • TA的每日心情
    开心
    2020-5-30 23:08
  • 签到天数: 690 天

    [LV.9]以坛为家II

    发表于 2018-6-21 11:17:25 | 显示全部楼层
    感谢楼主分享,下载试用!                              
  • TA的每日心情

    2019-2-16 11:33
  • 签到天数: 56 天

    [LV.5]常住居民I

    发表于 2018-6-28 08:51:16 | 显示全部楼层
    这个排版比较好看

    该用户从未签到

    发表于 2018-7-1 00:29:14 | 显示全部楼层
    Thanks million times
  • TA的每日心情
    开心
    2020-10-2 23:14
  • 签到天数: 28 天

    [LV.4]偶尔看看III

    发表于 2018-7-1 06:47:18 来自手机 | 显示全部楼层
    不错的东东
  • TA的每日心情
    慵懒
    2018-7-16 20:54
  • 签到天数: 10 天

    [LV.3]偶尔看看II

    发表于 2018-7-1 19:33:30 | 显示全部楼层
    兄弟,感谢感谢哈。
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2025-4-20 03:16 , Processed in 0.022021 second(s), 17 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表