掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 1679|回复: 11

[词典讨论] 教你用人民日报参考消息全文数据库mdx做简单语料库

[复制链接]

该用户从未签到

发表于 2020-8-11 19:17:42 | 显示全部楼层 |阅读模式
本帖最后由 klwo2 于 2020-8-11 19:18 编辑 # y! ~% e6 v1 O! l& m) C- R
2 l* O! m4 q! k8 l5 U; E
原始资料从这里下:https://www.pdawiki.com/forum/thread-41276-1-1.html
4 j& ^5 f, I6 r% k& U3 y% V" N4 [
9 P) g% Q7 X$ Y0 x/ e这个东西是阿彌陀佛从老资料网上抓的,我觉得适合做简易的语料库,研究现代汉语的人可以用用。% Y# @7 K: y! }4 U5 q, C

+ l  I: h0 s2 J8 Z+ Z* e. {2 P8 h我教大家怎么把mdx转成适合搜索的txt,但是不会给成品,原因很简单,因为txt里面的内容开放,度娘看得到,说不定传上去也会被和谐掉,还是只说方法好了。
& x. q6 }: C) M: F. }; v( `" H5 l+ Z- O2 K
第一步,用mdxexport把mdx转成txt
) S( G" p. B  D; N2 Z; \
( B; g! z. y  K1 J# h
& J; d; K, `7 w7 r. J* I4 r2 {5 M7 T! Z3 x- w' k
这个没有太多好说的,文件比较大,等进度条走完就行了。# P: D: D( I8 }( P% P5 l
/ U  s. O2 n& s8 Y) s8 n! S8 K
第二步,把txt分割成多份,我用的是阿海文本分割器,这类工具大同小异,随便选一个
' v' a+ N4 q2 }: b
: b% s, i4 ?9 @2 ^) Y
4 y  h! v' w; c5 N
  i! p# o9 \" [4 o3 }选择【按份数分割】,人民日报选200份,参考消息选100份,按【执行】 按钮即可) l* x1 \7 Q  s3 M" h3 H
5 v1 F  z9 T9 }& N& G# P! h# K; z
阿海文本分割器有个问题,就是分割后的文件路径永远都在C盘,留意一下剩余空间足够# _0 Y9 |4 ^& ]+ V% z1 j, n2 ^
+ D! X2 v2 ^, x) `
第三步,使用FileLocator,定位到目录,用正则搜索即可0 z8 \0 [# y0 D- J

. d; P% f& W. p9 r
1 n# Q9 D' R' W; W+ f+ f
* f% k/ m8 T3 K4 v它的速度比goldendict全文检索快,比如我这张图上搜的是「坚决……的行为」,中间插入最多10个字
' @) z+ e& p" C9 T9 k/ p
& o& C2 q! C( ]) C4 h
  • TA的每日心情
    开心
    2020-1-5 08:04
  • 签到天数: 50 天

    [LV.5]常住居民I

    发表于 2020-8-11 19:57:11 | 显示全部楼层
    這樣的教學帖多多益善!
  • TA的每日心情
    慵懒
    2021-11-4 14:19
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2020-8-11 19:34:54 | 显示全部楼层
    用奶牛网盘估计不会被和谐

    点评

    但是奶牛短期内会失效……  发表于 2020-8-11 19:51
  • TA的每日心情
    开心
    2019-8-21 19:27
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    发表于 2020-8-11 20:29:26 | 显示全部楼层
    FileLocator 的全文检索似乎挺不错
    7 h# H7 [* q: D: ]. o( s& T9 x) Z! h; r5 I! E+ ]
  • TA的每日心情
    开心
    2024-5-8 20:30
  • 签到天数: 1171 天

    [LV.10]以坛为家III

    发表于 2020-8-11 20:33:06 | 显示全部楼层
    感谢赐教,大赞!
  • TA的每日心情
    奋斗
    6 天前
  • 签到天数: 672 天

    [LV.9]以坛为家II

    发表于 2020-8-11 20:34:59 | 显示全部楼层
    但是不会给成品,原因很简单,因为txt里面的内容开放,度娘看得到,说不定传上去也会被和谐掉,
    + p' a: x/ t  I2 e3 |

    ( u. x. v! X5 b+ m, m楼主不会打包成zip文件,再设置个密码上传吗?9 u. O: T$ {4 q7 f7 V
    2 t0 N* G& \/ I* n' G

    点评

    不了不了真不了  发表于 2020-8-11 22:11

    该用户从未签到

    发表于 2020-8-11 20:49:05 | 显示全部楼层
    人民日报这种二流报纸也就那么回事
  • TA的每日心情
    奋斗
    14 小时前
  • 签到天数: 1823 天

    [LV.Master]伴坛终老

    发表于 2020-8-11 20:54:58 | 显示全部楼层
    HyConcv3.9.8免费版和免费的AntConc更专业些,都很方便。
  • TA的每日心情
    开心
    2022-6-29 07:24
  • 签到天数: 289 天

    [LV.8]以坛为家I

    发表于 2020-8-23 12:01:41 | 显示全部楼层
    txt文件分割之后,有很多文件是乱码!
  • TA的每日心情
    开心
    2025-1-31 20:30
  • 签到天数: 371 天

    [LV.9]以坛为家II

    发表于 2021-2-25 22:22:52 | 显示全部楼层
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2025-4-22 15:10 , Processed in 0.022271 second(s), 23 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表