txt文本格式化工具mdxFormat（python3.9.5编写）

muyuzhth0

本工具适用python3.9.5编写。可以把指定路径（包含子目录）下的txt文档格式化为mdxbuilder使用的格式（每个词条三行：key，value，</>）。
特点：
1.支持不同编码格式的txt文档，默认输入输出均为“gbk”编码。
2.我写这个工具是为了整理个人的常用资料，为关键词添加超链接，实现跳转。
ps：我以前一直使用其他人写好的程序格式化txt文档，但是如果关键字之间存在嵌套，超链接格式化有问题，所以我自己编写了这个程序，但还有一点不完美之处，就是不能很好的解决自身跳转的超链接。望大神指点！
  _4 ^  i. T( ~( d5 A
, ~8 `: G' c/ ~0 T0 Q5 N0 U

muyuzhth0

n0thing 发表于 2021-7-26 02:18
能不能發一個 .txt 的範例？

, N# P( Y9 v$ P" B* Ctxt文档的文件名为关键字、文件内容就是词典内容。
0 @4 H' `! ^1 l* w8 z: |# C, V
" f: w! n5 _8 b3 W8 L; }我主要为了实现资料间的超链接跳转。

n0thing

能不能發一個 .txt 的範例？

kyletruman

默认输入输出均为“gbk”编码

能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

Mandolin

支持mdx制作脚本

shuwushimang

感谢分享

muyuzhth0

kyletruman 发表于 2021-7-25 11:58
能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

, b: c  a8 \# {) z8 h
3 H- O* l. P  A1 ^- b我制作的txt文档源文件是gbk格式的，如果您的是utf-8，只需要把writeTxt（）函数里，f=open(outPath,"a",encoding="ANSI")这条语句的ANSI修改为utf-8即可。

muyuzhth0

  p5 y, l7 i7 _5 s5 I2 o
输出默认是gbk

漫步云海涧

我的版本是 3.9.7  , 遇到了问题 。请帮助

1. ❯ python mdxFormat_upload_V3.5.py
   
2. 没有发现文件名相同的文件，处理中...
   1 |( V: b" h) Z( y) A  }
3. 找到了4个txt文档，
   
4. 开始格式化、合并文档：
   
5. 读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/药品检查管理办法.txt
   
6. 已完成第  1   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/我的广告法管理条例.txt
   8 q& B) e* c8 Y% Z1 G: M  T
7. 已完成第  2   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/北京市反食品浪费规定.txt
   
8. 已完成第  3   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/中国共产党组织工作条例.txt
   
9. 已完成第  4   个
   
10. 开始循环添加超链接关键词辅助标记：
    
11. 已完成第  4   个
    
12. 开始循环清理嵌套的冗余的超链接关键词辅助标记：
    
13. 已完成第  4   个
    
14. 开始添加超链接，
    
15. 开始清理辅助标记，
    
16. 开始写入文本，
      t- k/ [* r5 i2 D0 S* l
17. Traceback (most recent call last):
    
18.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 219, in <module>
    
19.     main()
    
20.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 213, in main
    8 `$ ?/ q. L* t3 A
21.     mdxFormat(path,outputPath)
    ( }0 J6 x1 m; K- b
22.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 198, in mdxFormat
    7 g: x" T( ?5 v, z
23.     if writeTxt(txt,outputPath):
    % s4 F. W1 m. M' B% F+ V
24.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 48, in writeTxt
    9 x7 D6 G- L$ @3 {5 V1 C9 V
25.     os.mkdir(path)
    $ [. u# _  Q: U' @0 ^
26. FileNotFoundError: [Errno 2] No such file or directory: ''

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
我的版本是 3.9.7  , 遇到了问题 。请帮助

( f* D% v* |( x/ F4 AmdxFormat读取文件的路径是绝对路径。你得在mdxFormat_upload_V3.5.py-中设置下文本文件的路径。有个变量“path”

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
! U* F& z  |& A0 N5 F我的版本是 3.9.7  , 遇到了问题 。请帮助

2 y* }1 M, A( l; M你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

漫步云海涧

muyuzhth0 发表于 2021-10-6 22:47
你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

好的！！  麻烦了
* O: ?- j' g- F8 V* f% _. V

1. import os
   0 j9 d& n" Q2 b! s! }. k& C
2. import glob
   2 l* ^1 i6 Z+ o5 T4 `% s( D0 |
3. import re
   " q# C' l( [8 \# D4 X! j" f
4. import time
   9 J  S  t: V% V; q2 t
5. 
   
6. #遍历所有子文件
   ( P% V* O5 z# I7 }4 n' r3 j# B2 e  t
7. def getFileListAll(filePath):
   0 L/ E  o+ f& n, |+ J  o2 |$ H
8.     filelist=[]
   0 F) j4 j0 q+ i  O2 {" B6 V1 ~
9.     for root, dirnames, filenames in os.walk(filePath):
   
10.         for filename in filenames:
    
11.             filelist.append(os.path.join(root,filename))
    2 i2 C: ^1 @) n& W! o2 R! V/ [0 H
12.             #print(os.path.join(root,filename))
    7 k  H" t) ~) ]; ~% s
13.     return filelist
    
14. 
    
15. #判断是否为txt文档
    
16. def isTxts(nameList):
    
17.     pattern=r"^[^~$].+\.(txt)$"   
    4 ^2 {5 [3 @$ A7 H2 Y
18.     patternObj=re.compile(pattern,re.I)
    ! `, @- A9 {( K
19.     notTxtList=[]
    
20.     for fileName in nameList:
    
21.         if not patternObj.fullmatch(fileName):   #判断是否为txt文件   
    & W$ w) B/ b0 H
22.             notTxtList.append(nameList)
    ( P$ X' g: A: N, b8 s
23.     if notTxtList:
    6 d  M& C% H; {. w; n% f4 u! L
24.         print("存在非txt文件：{0:},请处理后再运行程序！".format(notTxtList))
    4 p! L3 g1 s; U8 f8 S* K
25.         return False
    9 P1 g, U6 `+ W6 r* J5 _! I! T
26.     else:
    
27.         return True   
    % e% ~3 ?8 d0 m5 p  T' r
28. 
    5 \3 l4 F7 @4 M8 ?, Y, |& Q5 `
29. #在指定的txt文档中查找关键字
    2 ^% @4 t% @% g0 j: G9 J( z
30. def readTxt(fileName):#strkey:查找的关键字；fileName：文件路径
    / N4 A% k2 w' k" M8 e; g4 b, d4 g
31.     pattern=r"^[^~$].+\.(txt)$"   
    $ ]) H+ n7 g& M# \) \& L& @  H
32.     patternObj=re.compile(pattern,re.I)
    ' d$ x' }3 _7 [7 d2 z
33.     if patternObj.fullmatch(fileName):   #判断是否为txt文件            
    5 R9 l& f3 q$ j5 J: W
34.         try:
    
35.             f=open(fileName,"r",encoding="utf-8")
    5 @+ C1 B& W8 l' u! E9 S
36.             txt=f.read()
    
37.             f.close()            
    1 U8 q  ^  O+ ?" y- n6 w
38.         except:
    
39.             print("读取文档失败:{0:}".format(fileName))
    
40.             return ""            
    8 R. j2 C: Z& |0 i
41.         else:   #无异常时，执行
    - ~9 m- c# z. P' F, ?# o- ^' @6 M
42.             return txt
      o8 X* n& G8 N
43.         #finally:    #无论是否异常，都执行
    
44. 
    ! ~+ H) G' T& D  r8 |
45. def writeTxt(txt,outPath):
    ; `9 B! W2 z* I
46.     path="\".join(outPath.split("\")[0:-1])
    
47.     if not os.path.exists(path):
    # f7 i+ j, Y& a% k* T% [
48.         os.mkdir(path)   
    
49.     try:
    & F* V/ K5 P+ N: N3 d
50.         f=open(outPath,"a",encoding="utf-8")
    
51.         f.write(txt)
    
52.         f.close()
    . f! `& w8 f# ^2 f6 p
53.         return True            
    
54.     except:
      Z: k5 @1 ?* W: S9 W% ]/ ~
55.         print("写入文档失败:{0:}".format(outPath))
    
56.         return False
    
57.         #else:   #无异常时，执行
    ! [4 z. B* k  c; x+ Z( a
58.         #    return txt
    
59.     #finally:    #无论是否异常，都执行
    3 c; M* ]: G; |9 j% I4 i& V
60. 
    ( x$ U& s5 n8 m/ a
61. def getfileName(fileList):
    
62.     '''
    
63.     :param fileList:文件路径列表
    4 _, B4 P1 U$ s/ Q6 g
64.     :return nameList:文件名称列表有扩展名
    * z* S4 e# M$ {  v0 O
65.     '''
      ?4 y* t. O- w6 W8 @% i/ `
66.     nameList=[]
    , ^& U1 R5 ^% A; V% n0 `5 P
67.     for fileName in fileList:
    
68.         name=fileName.split("\")[-1]#提取文件名
    # ]% c* ~3 M$ b! K  R& v) V4 n2 b
69.         nameList.append(name)
    
70.     return nameList
    . F, x8 K: P) D. L$ o2 y7 `! L/ {
71. 
    
72. #显示重复的文件名，如果有重复文件显示重复的文件名称，并返回False，否则返回True
    
73. def showDupFile(nameList):
    $ a/ g+ R, \6 P/ ~2 C; b& c
74.     '''
    " m- D. c; U# B% k2 o+ S$ V
75.     判断是否有文件名相同的文件
    0 R$ _1 v. O1 V+ s6 v! O, [
76.     :param fileList:文件名列表，包含绝对路径
    + }4 K5 j- l: s# F$ U4 f5 w7 X
77.     :return: 如果有重复文件显示重复的文件名称，并返回False，否则返回True
    2 {( W$ O0 Y, h" w: p2 P$ U
78.     '''
    ) c- @3 n$ m" s2 O2 r
79.     if nameList:    #如果文件名列表不为空
    % ^  i2 n( y0 B% B5 k
80.         nameSet=set(nameList)
    ! A% a5 U5 h' o; \+ t7 W, m
81.         DupNameList=[]
    
82.         for item in nameSet:
    
83.             if nameList.count(item)>1:
    1 J' H! {0 Y5 w2 l
84.                 DupNameList.append(item)
    
85.         if DupNameList:#保存重复文件名的列表
    + ]% |; c$ f& l9 E# w- t( p
86.             for L in DupNameList:
    
87.                 print("{0:}为重复的文件，请处理！".format(L))
    
88.             return False
    8 \, |2 U" L0 N) L
89.         else:
    
90.             print("没有发现文件名相同的文件，处理中...")
    
91.             return True
    ) v/ |# \' _6 q! s
92. 
    
93. def nameListSort(nameList,rev=True):
    
94.     '''
    ' D" U& J, \8 ^
95.     按照字符串长度排序
    
96.     :param fileList:文件名列表
    
97.     :param reverse:默认降序
    + j2 R7 [$ D) N" X9 x
98.     :return newNameList:返回排序后的文件名新列表
    % q  U9 z0 o, {& P
99.     '''
    / `$ J! S, q3 Y3 g6 Q4 ^
100.     newNameList = sorted(nameList,key = lambda i:len(i),reverse=rev) #按照字符串长度排序，降序
     
101.     return newNameList   
     
102. 
     % @; p% i' ]" ]/ T4 v* U5 }+ S
103. #添加超链接
     ' u$ `& C6 b& @! }; `: u  \6 I
104. def formatTxtHref(nameList,txt):
     
105.     '''
     , {4 a% b8 x1 O) T
106.     func：在文本中为特定字符串添加超链接
     
107.     :param hrefStr:待添加超链接的字符串
     1 O" z" P1 n; J6 }
108.     :param txt:文本字符串
     
109.     :return txt:格式化的文本字符串
     + \7 W  K2 {1 \" x" J2 I& z
110.     '''
     
111.     print("\n开始循环添加超链接关键词辅助标记：")
     
112.     count=0
     
113.     nameListDescend=nameListSort(nameList)
     
114.     for nameD in nameListDescend:
     ) H, n9 B0 H# M2 C9 f& {0 O* V
115.         nameDSimple=nameD.replace(".txt","")
     . {  _$ ^: V) M, \. n6 [
116.         nameDSMarked="【@"+nameDSimple+"@】"
     ' S; \, M) e( h" r+ `: i
117.         txt=txt.replace(nameDSimple,nameDSMarked)
     
118.         count=count+1
     
119.         print("\r已完成第{0: ^6}个".format(count),end="")     
     
120. 
     ) o' |+ K/ l# u1 a1 j, N
121.     print("\n开始循环清理嵌套的冗余的超链接关键词辅助标记：")
     
122.     count=0
     ' j* e! ?9 P6 R' m, V. }5 q
123.     nameListAscend=nameListSort(nameList,rev=False)
     
124.     for nameA in nameListAscend:
     
125.         nameA=nameA.replace(".txt","")
     " \+ q  ?5 @/ Y5 {
126.         pattern=r"【@([^@】]*?)【@{0:}@】".format(nameA)        
     % a' _% g" F9 G* \/ U( ?
127.         patternObjTxt=re.compile(pattern)
     
128.         toHrefStr="【@"+"\\1"+"muyubug"+nameA
     " [9 t, k% V3 k$ \
129.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     
130.    
     
131.         pattern=r"【@{0:}@】([^【@]*?)@】".format(nameA)        
     
132.         patternObjTxt=re.compile(pattern)
     
133.         toHrefStr=nameA+"\\1"+"muyubug"+"@】"
     0 H, {1 F# z% ]3 i: K+ c
134.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     
135.         txt=txt.replace("muyubug","")
     
136.         count=count+1
     $ r) j: j2 n+ W3 H+ h# x2 J2 h4 u6 G5 z
137.         print("\r已完成第{0: ^6}个".format(count),end="")
     
138.    
     + l4 L8 e1 Q7 C- Q5 q
139.     print("\n开始添加超链接，")
     . D8 n: N! B' k2 S& ^0 N
140.     pattern=r"【@([^【@]+?)@】"
     3 O9 C0 x5 a& j- R! m% d
141.     patternObjTxt=re.compile(pattern)
       K7 G- I* H8 X; Q: n3 X
142.     toHrefStr=r"<a href='entry://\1'>\1</a>"
     
143.     txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     
144.         
     
145.     print("开始清理辅助标记，")
     ; n; S- E, t. `1 T  _7 P+ o
146.     txt=txt.replace("<@>","")
     
147.     return txt
     5 C9 }. P; B7 D8 D8 z3 c
148. 
     8 K, c6 V( J  m6 t& J  c
149. def formatText(fileName):
     
150.     '''
     
151.     func：清洗字符串，格式化
     
152.     :param fileName:待处理文件
     2 S% b. Y) n* G1 y
153.     return txt:处理后的字符串
     
154.     '''
     # B; y. p. f$ N, q2 W3 G; l3 q
155.     #提取文件名
     , q, J- C1 B9 |; s/ X. f
156.     name=fileName.split("\")[-1].replace(".txt","")
     
157.     #在文件名的每个字符键添加标记符
     
158.     pattern = re.compile('.{1,1}')
       p" n0 W. W# v0 a
159.     matchCharList=pattern.findall(name)
     
160.     nameMaked="<@>".join(matchCharList)
     
161.     #生成标题部分
     - O5 W: Z8 ]% r$ X) ]5 R
162.     txtTitle=nameMaked+"\n"
     ( w  K( R3 S' z0 q0 L2 s5 K
163.     #读入文件
     * @( D. }! T& y
164.     txtContent=readTxt(fileName)            
     
165.     #替换正文中的特殊字符
     
166.     strList=["\n","<br>"]   
     - @$ p3 v& h, t4 q9 w
167.     for ch in strList:
     * F6 ]6 y5 `- u7 Q+ W0 n4 d
168.         txtContent=txtContent.replace(ch,"<BR>")
     ! K3 Z0 |9 q1 b6 D$ _+ F; h, P: j
169.     #合成整个词条的内容
     6 }. y1 m; u! W! D
170.     txt=txtTitle+txtContent+"<BR>\n</>"
     " i; _! q" V! f* R  k$ |% `
171.     return txt
     
172. 
     0 J* {' C, q6 b/ ]  `
173. def mdxFormat(path,outputPath):
     
174.     '''
     . q) V+ \" B5 B% i  C3 _, `* T
175.     func:格式化文本
     
176.     :param path:待格式化文本的路径
     
177.     :param outputPath:输出的路径和文件名
     
178.     '''
     / w$ G/ S( p9 G
179.     fileList=getFileListAll(path)#获取指定目录下的全部文件，包括子目录中的文件
     
180.     nameList=getfileName(fileList)
     
181.     if isTxts(nameList):
     
182.         if showDupFile(nameList):#如果没有重复文件
     
183.             print("找到了{0:}个txt文档，".format(len(nameList)))
     . a  U0 l* u: ]
184. 
     
185.             print("开始格式化、合并文档：")
     + {% V4 M; ~( R  f/ k0 J
186.             count=0#txt文档数量统计
     
187.             txtList=[]#存储文件内容
     
188.             for fileName in fileList:               
     ( O6 T& _, }1 M4 f9 H
189.                 txt=formatText(fileName) #转换换行和<br>为<BR>                  
     
190.                 txtList.append(txt)
     
191.                 count+=1
     
192.                 print("\r已完成第{0: ^6}个".format(count),end="")                  
     8 b4 F, P- ~0 ^% T; o* L
193.             txt="\n".join(txtList)
     * X2 q; m$ ?9 z7 n4 T
194.             
     ( {# ~7 t) [$ h% e* _0 Q8 C  E
195.             #添加超链接
     
196.             txt=formatTxtHref(nameList,txt)
     $ K. o5 q, }3 t" R1 @9 r3 T
197.             print("开始写入文本，")
     ' Y5 Y& M! W" @$ j
198.             if writeTxt(txt,outputPath):
     # D$ p4 Q8 Y! r2 A
199.                 print("文件合并输出成功！")
     7 S/ x% {4 P$ X; u# m. K
200.             else:
     
201.                 print("Error:Merge!")
     9 d' L# J1 y' `/ J6 X4 {4 F
202.                 return  
     8 i: [( c8 _) c9 ?" P! A" o
203.                
     + h5 {; a: j4 ]% R  d. X$ h
204. def main():
     ; Q' t9 s. s/ n- k: @. ]6 @
205.     timeStart = time.time()
     ) g# z1 j8 }, `  I' N
206. 
     
207. 
     
208. 
     
209.     path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
       D7 d- h, n( E7 {. Z
210.    
     9 {6 u8 J0 U$ z5 E8 W$ V2 e! m0 y
211.     outputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
     " G$ G8 w) D; X5 \
212.    
     ! V( G; a3 L1 X: K+ r8 G6 P9 |
213.     mdxFormat(path,outputPath)
     
214. 
     
215.     timeEnd = time.time()
     
216.     print("程序运行了%d秒"%(timeEnd-timeStart))
     
217. 
     6 t; w# ]8 G( _  V2 }9 d
218. if __name__ == '__main__':
     " w0 k! H+ W' Z2 G8 x% q
219.     main()
     

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
! k% s" h9 k6 E4 u8 |/ t# o& I' B好的！！  麻烦了

& X, s6 n2 j% Q! ?3 N7 l) N你修改了哪条?

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
' c' L! o! ]) s0 c好的！！  麻烦了

path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
outputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
这两条有问题吧，应该是下面这个格式
0 L0 L# \5 B/ ~8 ~; ^" sr"D:\U盘同步\百科\00txt词条汇总"

漫步云海涧

muyuzhth0 发表于 2021-10-7 21:48
5 ^  i5 q( K+ d, Lpath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
outputPath=r"/Users/vivian/Downloads/md ...

我用的是mac电脑， path 是放的存放txt词条的目录 ， outputpath 是输出的txt文件

lixiaoshun

弄个windows操作界面该多好

muyuzhth0

lixiaoshun 发表于 2022-2-18 10:09
; F8 l2 K3 C/ X/ n1 v' j- o弄个windows操作界面该多好

sorry！算法还不完善，需要的人也不多，空闲时间比较少....暂时没有写GUI的打算