txt文本格式化工具mdxFormat（python3.9.5编写）

muyuzhth0

本工具适用python3.9.5编写。可以把指定路径（包含子目录）下的txt文档格式化为mdxbuilder使用的格式（每个词条三行：key，value，</>）。
+ s: D2 E  ]6 ^特点：
; h7 T8 \4 ~& o' F1.支持不同编码格式的txt文档，默认输入输出均为“gbk”编码。
2.我写这个工具是为了整理个人的常用资料，为关键词添加超链接，实现跳转。
ps：我以前一直使用其他人写好的程序格式化txt文档，但是如果关键字之间存在嵌套，超链接格式化有问题，所以我自己编写了这个程序，但还有一点不完美之处，就是不能很好的解决自身跳转的超链接。望大神指点！

muyuzhth0

n0thing 发表于 2021-7-26 02:18
) a6 f6 x2 b: ^% P0 H2 _能不能發一個 .txt 的範例？

txt文档的文件名为关键字、文件内容就是词典内容。

我主要为了实现资料间的超链接跳转。

n0thing

能不能發一個 .txt 的範例？

kyletruman

默认输入输出均为“gbk”编码

能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

Mandolin

支持mdx制作脚本

shuwushimang

感谢分享

muyuzhth0

: S5 t/ l$ g( ~8 b- M

kyletruman 发表于 2021-7-25 11:58
% j' h# a7 o+ P/ a6 [能不能默认输出UTF-8编码呢？“gbk”编码不方便文本编辑啊

我制作的txt文档源文件是gbk格式的，如果您的是utf-8，只需要把writeTxt（）函数里，f=open(outPath,"a",encoding="ANSI")这条语句的ANSI修改为utf-8即可。

muyuzhth0

! }3 V: i4 Y) C: y
+ r, K$ U1 c" _' x2 i0 J输出默认是gbk

漫步云海涧

我的版本是 3.9.7  , 遇到了问题 。请帮助
' M) e* l+ i% {. G. V8 |5 \) l
( e  T, M- E. S' ]

1. ❯ python mdxFormat_upload_V3.5.py
   
2. 没有发现文件名相同的文件，处理中...
   
3. 找到了4个txt文档，
   : S6 }" e! Z+ {% }
4. 开始格式化、合并文档：
   
5. 读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/药品检查管理办法.txt
   # G! K: I. H% X. f/ t* y* q
6. 已完成第  1   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/我的广告法管理条例.txt
   
7. 已完成第  2   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/北京市反食品浪费规定.txt
   3 F$ K, ?4 O9 W% w! k" i5 D
8. 已完成第  3   个读取文档失败:/Users/vivian/Downloads/mdxFormat_upload_V3.5/test/中国共产党组织工作条例.txt
   9 s1 Z- B3 J  S5 l1 T* N, L/ H
9. 已完成第  4   个
   / x$ G7 a5 j. R: o3 v
10. 开始循环添加超链接关键词辅助标记：
    8 g7 K& z9 Q9 ?- @
11. 已完成第  4   个
    
12. 开始循环清理嵌套的冗余的超链接关键词辅助标记：
    
13. 已完成第  4   个
    
14. 开始添加超链接，
    8 V0 }5 U3 i) B
15. 开始清理辅助标记，
    $ V: Y) A' D' m- a
16. 开始写入文本，
    
17. Traceback (most recent call last):
    
18.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 219, in <module>
    
19.     main()
    ) o& S/ _. m. L9 [3 s5 k
20.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 213, in main
    
21.     mdxFormat(path,outputPath)
    * V$ k' f6 I  W  @- j
22.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 198, in mdxFormat
      C2 J7 Z: n0 j2 X, Y2 c5 o
23.     if writeTxt(txt,outputPath):
    
24.   File "/Users/vivian/Downloads/mdxFormat_upload_V3.5/mdxFormat_upload_V3.5.py", line 48, in writeTxt
    
25.     os.mkdir(path)
    / |+ ~& \$ y8 x* J8 L: X: M
26. FileNotFoundError: [Errno 2] No such file or directory: ''

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
+ m. t+ s* k" `  h我的版本是 3.9.7  , 遇到了问题 。请帮助

mdxFormat读取文件的路径是绝对路径。你得在mdxFormat_upload_V3.5.py-中设置下文本文件的路径。有个变量“path”

muyuzhth0

漫步云海涧 发表于 2021-10-6 20:16
我的版本是 3.9.7  , 遇到了问题 。请帮助

你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

漫步云海涧

muyuzhth0 发表于 2021-10-6 22:47
你把在“mdxFormat_upload_V3.5.py”中修改的代码贴出来看下。

好的！！  麻烦了

1. import os
   
2. import glob
   
3. import re
   
4. import time
   3 j: x" P# Y; m! c  H' k  M
5. 
   
6. #遍历所有子文件
   # v. ?' P4 _; G8 S+ q
7. def getFileListAll(filePath):
   " N$ {, @% |" p; j
8.     filelist=[]
   3 R% b" Q: R, S; ?5 k
9.     for root, dirnames, filenames in os.walk(filePath):
   
10.         for filename in filenames:
    % G4 L# x& Z9 h. M( _
11.             filelist.append(os.path.join(root,filename))
    
12.             #print(os.path.join(root,filename))
    5 o( E9 j0 T7 ^
13.     return filelist
    5 m1 C) V/ N1 o  n( {  {6 }& [
14. 
    
15. #判断是否为txt文档
    
16. def isTxts(nameList):
    
17.     pattern=r"^[^~$].+\.(txt)$"   
    8 j$ @; H6 v# k6 s, J" K+ a* g
18.     patternObj=re.compile(pattern,re.I)
    8 E( d. ^/ }/ I
19.     notTxtList=[]
    - d5 f, E& b; v* X. x
20.     for fileName in nameList:
    
21.         if not patternObj.fullmatch(fileName):   #判断是否为txt文件   
    
22.             notTxtList.append(nameList)
    
23.     if notTxtList:
    + B9 q+ B& k$ w9 n- ~" W
24.         print("存在非txt文件：{0:},请处理后再运行程序！".format(notTxtList))
    
25.         return False
    ) O' H3 X1 W1 a
26.     else:
    
27.         return True   
    
28. 
    ( y- p9 Z  G! e* I; Y+ X- s( r) G
29. #在指定的txt文档中查找关键字
    
30. def readTxt(fileName):#strkey:查找的关键字；fileName：文件路径
    
31.     pattern=r"^[^~$].+\.(txt)$"   
    
32.     patternObj=re.compile(pattern,re.I)
    : {9 T4 u) v) Q" y0 R% G! E# v
33.     if patternObj.fullmatch(fileName):   #判断是否为txt文件            
    ! }5 H! ?3 |; M3 H( }  p. }# \
34.         try:
    
35.             f=open(fileName,"r",encoding="utf-8")
    3 j# W; a! u1 l* n2 e& z
36.             txt=f.read()
    
37.             f.close()            
    7 y* Y5 M: m6 }. c8 b' ?
38.         except:
    
39.             print("读取文档失败:{0:}".format(fileName))
    5 i0 m3 H/ S/ v( O/ n
40.             return ""            
    : n; U, q  |- ^/ T
41.         else:   #无异常时，执行
    5 Q; A) E3 L5 y" T' l. E6 S
42.             return txt
    " s. K* y$ y; P/ }% a: {/ J$ V) d; {
43.         #finally:    #无论是否异常，都执行
    9 J9 R6 Q+ V. R) f" a* G* t0 [
44. 
    
45. def writeTxt(txt,outPath):
    & I$ X. A0 t, C1 w7 U! V4 w
46.     path="\".join(outPath.split("\")[0:-1])
    
47.     if not os.path.exists(path):
    
48.         os.mkdir(path)   
    
49.     try:
    2 o( q. ~4 Q0 R+ W3 {: k$ _/ k* r
50.         f=open(outPath,"a",encoding="utf-8")
    
51.         f.write(txt)
    , v1 B( J% M8 K' z: H( A5 J
52.         f.close()
    - T0 ~$ O- x; @2 d& ~7 B9 G
53.         return True            
    
54.     except:
    6 Q/ B* m" @  R5 U6 B. e- j
55.         print("写入文档失败:{0:}".format(outPath))
    
56.         return False
    
57.         #else:   #无异常时，执行
    4 o! c. y7 g7 x
58.         #    return txt
    
59.     #finally:    #无论是否异常，都执行
    
60. 
    
61. def getfileName(fileList):
    
62.     '''
    ; K6 d! ?7 S5 t3 o
63.     :param fileList:文件路径列表
    
64.     :return nameList:文件名称列表有扩展名
    & t9 W6 i  |' n- R8 y( M/ [
65.     '''
    
66.     nameList=[]
    1 m+ S! Q2 _; |: B7 L5 j: r
67.     for fileName in fileList:
    
68.         name=fileName.split("\")[-1]#提取文件名
    : i+ T" @' R$ ?0 O4 Z, d/ k9 {
69.         nameList.append(name)
    
70.     return nameList
    ; P0 V2 l. Z: I
71. 
    % r! A2 L( u" G' {
72. #显示重复的文件名，如果有重复文件显示重复的文件名称，并返回False，否则返回True
    3 M- F6 t) u0 i( I: E, v
73. def showDupFile(nameList):
    6 J" Z% h6 v9 |6 R9 V+ K2 G+ |
74.     '''
    
75.     判断是否有文件名相同的文件
    6 i4 l; C5 {+ g; d- `2 p
76.     :param fileList:文件名列表，包含绝对路径
    9 y1 @2 U; ^9 T  u! e$ e
77.     :return: 如果有重复文件显示重复的文件名称，并返回False，否则返回True
    
78.     '''
    , f; c4 k% w! X' _
79.     if nameList:    #如果文件名列表不为空
    ( h! H. A* q! K2 Z# @" j9 o3 Y0 m
80.         nameSet=set(nameList)
    " M. i3 m. I  p2 J6 |; F4 h
81.         DupNameList=[]
    
82.         for item in nameSet:
    ( N. [! ]' i. r; u
83.             if nameList.count(item)>1:
    8 c$ a- R( ~- J! ?: P6 |/ M8 D8 ~
84.                 DupNameList.append(item)
    
85.         if DupNameList:#保存重复文件名的列表
    
86.             for L in DupNameList:
    
87.                 print("{0:}为重复的文件，请处理！".format(L))
    ; B: f) m% e! J/ @; W6 u
88.             return False
    
89.         else:
    
90.             print("没有发现文件名相同的文件，处理中...")
    % C- Z0 \# f2 E# U
91.             return True
    
92. 
    
93. def nameListSort(nameList,rev=True):
    9 F( ^4 {( Z: i% T
94.     '''
    9 B( V: r. O' y5 N& @: j) d0 R: b
95.     按照字符串长度排序
    
96.     :param fileList:文件名列表
    
97.     :param reverse:默认降序
    
98.     :return newNameList:返回排序后的文件名新列表
    , l3 ?7 g' O* e! C/ V& T
99.     '''
    . j9 b4 u" X+ n: }: B; @- I
100.     newNameList = sorted(nameList,key = lambda i:len(i),reverse=rev) #按照字符串长度排序，降序
     * F, f  V0 A, W( S7 a, S
101.     return newNameList   
     $ T7 f( x7 q& m9 F2 w
102. 
     + f2 H$ U! f" O% {
103. #添加超链接
     
104. def formatTxtHref(nameList,txt):
     & U' o& N/ C) s. ^* l
105.     '''
     - C3 K7 T% k: x3 J2 @% H/ w
106.     func：在文本中为特定字符串添加超链接
     
107.     :param hrefStr:待添加超链接的字符串
     ) Q5 P  b8 E! x4 {& f. B
108.     :param txt:文本字符串
     
109.     :return txt:格式化的文本字符串
     & k2 |- J! [' X) f, G
110.     '''
       ~! P  I' _& ]( \, u- S
111.     print("\n开始循环添加超链接关键词辅助标记：")
     
112.     count=0
     ! f9 |: T1 q- p! `" K3 d
113.     nameListDescend=nameListSort(nameList)
     
114.     for nameD in nameListDescend:
     
115.         nameDSimple=nameD.replace(".txt","")
     " O, E5 g: B  E  x' q; V- w
116.         nameDSMarked="【@"+nameDSimple+"@】"
     
117.         txt=txt.replace(nameDSimple,nameDSMarked)
     
118.         count=count+1
     
119.         print("\r已完成第{0: ^6}个".format(count),end="")     
     
120. 
     ) x/ v" j4 N/ w1 V% X5 K: D
121.     print("\n开始循环清理嵌套的冗余的超链接关键词辅助标记：")
     
122.     count=0
     
123.     nameListAscend=nameListSort(nameList,rev=False)
     # B4 w% d9 d8 t
124.     for nameA in nameListAscend:
     
125.         nameA=nameA.replace(".txt","")
     5 |6 R* \- C" F' [5 Y$ A1 s
126.         pattern=r"【@([^@】]*?)【@{0:}@】".format(nameA)        
     1 O2 }" q3 H8 X/ e0 e, M/ [
127.         patternObjTxt=re.compile(pattern)
     
128.         toHrefStr="【@"+"\\1"+"muyubug"+nameA
     
129.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     
130.    
     5 ^8 H& d( f: e4 N
131.         pattern=r"【@{0:}@】([^【@]*?)@】".format(nameA)        
     
132.         patternObjTxt=re.compile(pattern)
     
133.         toHrefStr=nameA+"\\1"+"muyubug"+"@】"
     
134.         txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     
135.         txt=txt.replace("muyubug","")
     
136.         count=count+1
     
137.         print("\r已完成第{0: ^6}个".format(count),end="")
     % g: e' J" a- r- M, d  V
138.    
       a. x  }4 o& F9 D: x  y# B8 C
139.     print("\n开始添加超链接，")
     
140.     pattern=r"【@([^【@]+?)@】"
     
141.     patternObjTxt=re.compile(pattern)
     
142.     toHrefStr=r"<a href='entry://\1'>\1</a>"
     
143.     txt=patternObjTxt.sub(toHrefStr,txt,count=0) #替换为的字符串
     : ~: F7 N8 R6 D
144.         
     
145.     print("开始清理辅助标记，")
     * p9 M: v  D: f! h/ d  X
146.     txt=txt.replace("<@>","")
     / E3 z8 }5 ~/ o9 b. V5 |; p
147.     return txt
     
148. 
     
149. def formatText(fileName):
     
150.     '''
     
151.     func：清洗字符串，格式化
     
152.     :param fileName:待处理文件
     
153.     return txt:处理后的字符串
     2 ~7 Y# G  e6 ^0 s" R* e
154.     '''
     
155.     #提取文件名
     
156.     name=fileName.split("\")[-1].replace(".txt","")
     
157.     #在文件名的每个字符键添加标记符
     ' T& Y$ S1 e1 S! E" J
158.     pattern = re.compile('.{1,1}')
     
159.     matchCharList=pattern.findall(name)
     ' F0 J, ?; T' u' [3 r" `- e
160.     nameMaked="<@>".join(matchCharList)
     # k: q1 v- _" Q* M# a/ p
161.     #生成标题部分
     
162.     txtTitle=nameMaked+"\n"
     ! g! ]  V* V( y8 `) b
163.     #读入文件
     
164.     txtContent=readTxt(fileName)            
     " a0 S: O" b1 w, I
165.     #替换正文中的特殊字符
     
166.     strList=["\n","<br>"]   
     
167.     for ch in strList:
     
168.         txtContent=txtContent.replace(ch,"<BR>")
     : d$ O9 n( N4 a4 }3 G$ @$ B
169.     #合成整个词条的内容
     - w! K% ^$ w1 L
170.     txt=txtTitle+txtContent+"<BR>\n</>"
     
171.     return txt
     5 E. ~- y4 c3 R( L, c  E+ d
172. 
     
173. def mdxFormat(path,outputPath):
     2 s' W& E0 [' E- j
174.     '''
     
175.     func:格式化文本
     - l: A, z, ?% J- U3 m
176.     :param path:待格式化文本的路径
     8 e" R( v2 k3 B
177.     :param outputPath:输出的路径和文件名
     
178.     '''
     
179.     fileList=getFileListAll(path)#获取指定目录下的全部文件，包括子目录中的文件
     
180.     nameList=getfileName(fileList)
     ' t' L3 W% o$ Z
181.     if isTxts(nameList):
     
182.         if showDupFile(nameList):#如果没有重复文件
     
183.             print("找到了{0:}个txt文档，".format(len(nameList)))
     ( @/ t8 s0 I/ f
184. 
     
185.             print("开始格式化、合并文档：")
     
186.             count=0#txt文档数量统计
     
187.             txtList=[]#存储文件内容
     + d/ O5 k, M1 s4 f9 D9 B; h
188.             for fileName in fileList:               
     + ]& r$ b) t& q  X! G
189.                 txt=formatText(fileName) #转换换行和<br>为<BR>                  
     ; @: ?4 G" J( _- l. [
190.                 txtList.append(txt)
     
191.                 count+=1
     
192.                 print("\r已完成第{0: ^6}个".format(count),end="")                  
     
193.             txt="\n".join(txtList)
     - O- g' L7 r! v1 t- `
194.             
     $ _# Q. N3 N! h! c0 r6 i  ]
195.             #添加超链接
     6 B# r3 S* V1 m; ?
196.             txt=formatTxtHref(nameList,txt)
     - p4 o) g7 c( N2 G) c
197.             print("开始写入文本，")
     , P  F/ D) ]; z% [: R
198.             if writeTxt(txt,outputPath):
     
199.                 print("文件合并输出成功！")
     
200.             else:
     
201.                 print("Error:Merge!")
     ! o0 z7 n; ^( T- t% F
202.                 return  
     
203.                
     
204. def main():
     
205.     timeStart = time.time()
     
206. 
     
207. 
     8 Z$ l- H3 k: p
208. 
     # {& Y  F7 c* [5 n$ }
209.     path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
     5 ?6 k, M8 L( ^/ K# ?
210.    
     " b; v; D+ ~! ^9 I9 K- C9 b& _
211.     outputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
     
212.    
     
213.     mdxFormat(path,outputPath)
     * j+ @- Y, l1 G6 ^* l) j
214. 
     
215.     timeEnd = time.time()
     
216.     print("程序运行了%d秒"%(timeEnd-timeStart))
     - n+ F1 l$ _' V+ f: Y
217. 
     ! e9 V. L/ \0 h  O
218. if __name__ == '__main__':
     
219.     main()
     ( B/ l' G' t* p" y( e/ T& q' p+ ^

复制代码

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
好的！！  麻烦了

你修改了哪条?

muyuzhth0

漫步云海涧 发表于 2021-10-7 07:59
( k+ B) M% }! h; R: W好的！！  麻烦了

path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
outputPath=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/output/demo.txt"
* U/ z+ [5 E. y这两条有问题吧，应该是下面这个格式
: h" D% N) _$ \8 Z9 mr"D:\U盘同步\百科\00txt词条汇总"

漫步云海涧

muyuzhth0 发表于 2021-10-7 21:48
path=r"/Users/vivian/Downloads/mdxFormat_upload_V3.5/test"
outputPath=r"/Users/vivian/Downloads/md ...

4 |( B+ v! Y$ o  G- Z& ~5 j" q5 x我用的是mac电脑， path 是放的存放txt词条的目录 ， outputpath 是输出的txt文件

lixiaoshun

弄个windows操作界面该多好

muyuzhth0

lixiaoshun 发表于 2022-2-18 10:09
弄个windows操作界面该多好

sorry！算法还不完善，需要的人也不多，空闲时间比较少....暂时没有写GUI的打算