7450 - Python库【wordcloud】模块介绍（上）

admin

wordcloud库基本介绍
' S/ A* W" X# w2 U1.1 wordcloud库概述
wordcloud是优秀的词云展示第三方库
  K. e0 F( ]6 ]1 a
  J. [8 w. n6 X9 _  U. y# M. x& X

• 词云以词语为基本单位，更加直观和艺术的展示文本
  1 k; ^' r4 t+ V/ i& @2 T* N# e3 v

1.2 wordcloud库的安装
9 W, _* d( K7 N' E7 }pip install wordcloud (cmd命令行)
# y$ L, x6 G3 b+ H' Q
  g5 T3 O& u+ N4 j" n# k5 j1 t4 a& R
wordcloud库使用说明
. w4 O5 b) J- }" O; t% S/ A2.1 wordcloud库基本是使用
- t0 e9 j) H2 B( S; z" j7 @0 cwordcloud库把词云当作一个WordCloud对象
/ P0 d5 d( t8 a3 a0 {& g

• wordcloud.WordCloud()代表一个文本对应的词云
• 可以根据文本中词语出现的频率等参数绘制词云
• 绘制词云的形状、尺寸和颜色都可以设定
  5 ~" ^2 U% D/ F. V

2.2 wordcloud库常规方法
! ]$ [  b( j5 |/ v2 }* H

1. w = wordcloud.WordCloud()

复制代码

• 以WordCloud对象为基础
• 配置参数、加载文本、输出文件
  . b6 L3 f  q2 x, v. R

方法	描述
w.generate(txt)	向WordCloud对象w中加载文本txt，w.generate("Python and WordCloud")
w.to_file(filename)	将词云输出为图像文件，.png或.jpg，w.to_file("outfile.png")

• 步骤1：配置对象参数
• 步骤2：加载词云文本
• 步骤3：输出词云文件
  . n  S  u1 R5 k# N/ R# P

1. import wordcloud
   ' ~. {& B" H8 m+ A
2. 
   , ^6 \- N2 m( X) H, S* @4 S2 S2 v
3. w = wordcloud.WordCloud()
   3 x4 c9 l3 }8 D" l% B- p
4. w.generate("Python and WordCloud")
   ) u! v# E# P/ z
5. w.to_file("pywordcloud.png")

复制代码

9 m7 }* G  Y8 Q8 ^% g% n5 X& \2.3 配置对象参数

1. w = wordcloud.WordCloud(<参数>)

复制代码

参数	描述
width	指定词云对象生成图片的宽度，默认400像素 w=wordcloud.WordCloud(width=600)
height	指定词云对象生成图片的高度，默认200像素 w=wordcloud.WordCloud(height=400)
min_font_size	指定词云中字体的最小字号，默认4号 w=wordcloud.WordCloud(min_font_size=10)
max_font_size	指定词云中字体的最大字号，根据高度自动调节 # b. @  M9 {) G/ A& t! W: x- Nw=wordcloud.WordCloud(max_font_size=20)
font_step	指定词云中字体字号的步进间隔，默认为1 w=wordcloud.WordCloud(font_step=2)
font_path	指定字体文件的路径，默认None * ?3 M# D0 Y& J, Z# Ow=wordcloud.WordCloud(font_path="msyh.ttc")
max_words	指定词云显示的最大单词数量，默认200 # C" j2 ?6 k# l! [2 {! y* t9 Jw=wordcloud.WordCloud(max_words=20)
stop_words	指定词云的排除词列表，即不显示的单词列表 1 W. c! g6 _2 j& K% y$ u% t6 A) ]w=wordcloud.WordCloud(stop_words="Python")
mask	指定词云形状，默认为长方形，需要引用imread()函数 from scipy.msc import imread & P! X7 a7 i0 e7 y- M# t2 i. Z+ Lmk=imread("pic.png") w=wordcloud.WordCloud(mask=mk)
background_color	指定词云图片的背景颜色，默认为黑色 w=wordcloud.WordCloud(background_color="white")

1. # mask
   2 v7 `1 M# L( U9 F. K
2. from scipy.misc import imread
   
3. 
   - G" _1 @1 a3 q: J3 y; H
4. mk=imread("pic.png")
   
5. w=wordcloud.WordCloud(mask=mk)

复制代码

2.4 wordcloud应用实例
8 V% W/ E! J7 z8 @! D

1. import wordcloud
   8 e; ]( N0 c/ B. \
2. 
   
3. txt = "life is short, you need python"
   * y( T/ R% {9 A* h9 I
4. w = wordcloud.WordCloud(background_color="white")
   7 z% f) P" I, Q
5. w.generate(txt)
   
6. w.to_file("pywcloud.png")

复制代码

0 K. P; m5 J) r$ @9 X* N中文需要先分词并组成空格分隔字符串
案例：

1. import jieba
   & g+ d5 J( Y* V; ?- I
2. import wordcloud
   
3. txt="import jieba
   % Y9 x# T; v; N; S$ D4 A9 m0 C
4. import wordcloud
   
5. txt="新大榭Python学习社区《声明》: Python学习社区 http://www.daxie.net.cn/py/  Python官网 https://www.python.org（一）这里是专为浙江高考生深入学习《信息技术》课程而倾情打造的python学习专栏！（二）建议用户提前注册新大榭官方社区账号并用电脑端登录参加Python系列课程的学习；（三）为提高本社区人气，保护题库答案不被提前泄密，帖子设置了回复主题查看答案功能；（四）如未特别说明本站发布的所有源代码均适用于 Python 3.x 语法体系（与高考语法同步）；（a）图灵算法；（b）大数据分析；（c）物联网；（d）人工智能、神经网络；（e）网络爬虫；（f）数据可视化编程；【中级教程】：以大学计算机Python专业课为基础，深入学习和研究Python高级语法框架、网络爬虫、大数据可视化编程、核心算法及实例开发应用；(明年发布,大学适用)-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+//  【竞赛】：收录985、211院校计算机专业Python系列考题，全国计算机蓝桥杯大赛（Python组）试题，对学有余力的重点高中学生提升拓展练习；//  【镇中/仑中/柴中/泰河/明港/滨民/高职】：Python全程公益解答，每人每日限1题，只要上传题目，本站有问必答！（声明: 所有上传的例题将被我们收录题库公益分享）//// 目前社区管理员私下已与 镇中、仑中、柴中、泰河、明港 等宁波北仑周边高中学生家长建立了 Python习题 微信免费咨询答辩沟通渠道（目前已累计解答例题20+）；+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+>> 学习流程：【高中】(必修一) >>【笔记】(知识点) >>【模块】(第三方库) >>【微课】(课外拓展) >>【题库】(测评) >> { 终极考场 } 学考 加油！高考 加油！+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+//  ↓【高中】：指由浙江教育出版社官方发行的高中同步课程《信息技术》（必修一）课内同步作业参考答案在线解答；（必修课：零基础用户学习-仅限课内同步作业解答）//  ↓【笔记】：本栏作为高中必修课的补充，深入系统地全方位学习Python系列基础课程，掌握Python基本语法、自变量、函数、流程控制、算法及经典案例的编程实例分析；//  ↓【模块】：新大榭为网友提供部分优秀的Python第三方库模块专题系列知识点的讲解，让学员快速掌握Python优秀第三方库理论知识、编程技巧及实践案例的应用；//  ↓【微课】：新大榭论坛新增网红微课图文讲解，为学生提供课外阅读电脑编程专题微课的讲解，进一步拓展学员深入理解编程思维及对多维度算法的掌握及灵活应用；//  ↓【题库】：①浙江高中段《信息技术》（必修一）同步配套教材实例 ②全国计算机二级等级考试题库 ③蓝桥杯大赛考试题库 ④宁波本地高中各校区公开习题库 ⑤其他；+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+//  ?【作品】：本站原创作品或互联网大佬优秀作品推荐分享（注：新大榭工作室因近期忙于筹备编写Python内部学习资料，当前暂未推出重磅级作品，敬请明年期待~）+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+温馨提示：新大榭于2021年1月正式上线 Python3.X 系列课程，其中 高中教材《信息技术》课堂同步作业解答 已撰写完毕，该课程基于 高中《信息技术》(必修一) 教学大纲，特别适合 新高一 或 新高二 学生在线免费学习，在学习过程中遇到疑难困惑欢迎来社区发帖提问，站长不定时免费亲临授课解答；如果你高考选课为技术，那么本站建议你继续参加提高班课程的学习，我们对部分知识考点做了更加深入的课外拓展训练，部分内容提前渗透了大学编程及算法理论课程，更适合有一定编程基础或学有余力的学生自学辅导。最后，欢迎零基础学生来本站一起在线免费学习python，这个暑假新大榭在这里等你...... “ 携手Python，新大榭与你同行！”+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+特别声明：本栏学习 Python 全程公益免费，但对部分知识点本站设置了会员权限（比如仅浏览看看，只须注册会员就可以了，但如果要下载源代码则一般需要一星以上会员），会员成长按论坛规则，只要用户登陆账号多互动，多发言，常在线，都能记录成长值，很快你就会成长为一星会员、二星会员、三星会员啦！（注：级别越高，福利越多！）+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+《 挑战书 》：不管你是中学、高中还是大学生，如果你自认为 Python 学得还不错，那就来挑战一下我们 200+ 的《题库》吧！+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+题库测评：如成功挑战 50% 题目，学考至少B级以上；如挑战 75% 则高考赋分85分以上；如挑战 90% 则高考赋分可接近满分！（仅限《信息技术》Python编程能力而言）+-----------------------------------------------------------------------------------------------------------------------------题库等级：A 容易题；B 中等题；C 稍难题；D 最难题；【 学考：挑战AB题库，冲刺C题库】│【 高考：挑战ABC题库，冲刺D题库 】 [ 题库等级正在分类中... ]"
   
6. w=wordcloud.WordCloud(width=1000,font_path="C:\\Windows\\Fonts\\simhei.ttf",height=700)
   
7. w.generate(" ".join(jieba.lcut(txt)))
   
8. w.to_file("新大榭python社区.png")

复制代码

1 A2 `# A+ u" c9 w5 x0 v未优化原始效果图：如下所示 ↑↑↑

% L5 P0 Z1 P6 d7 P$ p0 t
3 `! K" T- i) }* ~) N/ }已优化升级版效果图：如下所示 ↑↑↑
注：过滤无效词汇统计（如“的”，“你” 等），新增专用关键词（如“仑中”，“蓝桥杯” 等）

---

温馨提示：想要详细了解请访问《7361 - 新大榭微课№:016 - 【模块】中文标签云应用实例讲解（原创 - 公开课）》

admin

【拓展篇 - 生成个性化词云】（暂未优化）

---

/ @6 Z5 [( K9 g5 k$ z- n4 H

1. # -*- coding: utf-8 -*-
   9 J* M0 }3 [0 `3 Y. S. }6 W
2. import pickle  
   
3. from os import path  
   " k" J+ J5 I+ z
4. import jieba  
   
5. import matplotlib.pyplot as plt  
   
6. from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator  
   . j/ T. [  n" @% H1 [! B4 A7 D
7. text =''
   ) N$ K/ i) `8 |& O2 @' k7 _: @; s/ l
8. with open('text.txt', 'r', encoding='utf8') as fin:  
   6 z- ^. C" k# N3 I8 w5 L! r: H. i
9.     for line in fin.readlines():  
   
10.         line = line.strip('\n')  
    $ A0 ~" w8 ]  |1 Y; ^! z" L
11. # sep’.join（seq）以sep作为分隔符，将seq所有的元素合并成一个新的字符串  
    ! q. T, k+ ~5 X: Y- d/ U3 r; r' X
12. text += ' '.join(jieba.cut(line))  
    
13. backgroud_Image = plt.imread('遮罩.jpg') #此处不能使用PNG图片
    
14. print('加载图片成功！')
    
15. 
    9 {4 W# M' M1 B( n
16. '''设置词云样式'''  
    
17. wc = WordCloud(  
    2 M5 C) m0 ?. E4 w" d- f
18.     background_color='white',# 设置背景颜色  
    6 k) @/ }9 K! U3 H) S
19.     mask=backgroud_Image,# 设置背景图片  
    
20.     font_path='C:\Windows\Fonts\STZHONGS.TTF',# 若有中文的话，这句代码必须添加，不然会出现方框，不显示汉字  
    $ g( }8 g# p9 [* [
21.     max_words=1000, # 设置最大现实的字数  
    
22.     stopwords=STOPWORDS,# 设置停用词  
    3 _& _3 }1 X0 ]! O" T% Z
23.     max_font_size=120,# 设置字体最大值  
    
24.     random_state=30 # 设置有多少种随机生成状态，即有多少种配色方案  
    
25. )  
    * |. o% z8 _  o4 t+ n
26. wc.generate_from_text(text)  
    3 |' T9 C7 V8 M" c  e
27. print('开始加载文本')
    - C1 c* u  Q! ~7 x
28. 
    
29. #改变字体颜色  
    2 W6 c4 s+ K& u% ^) d" {
30. img_colors = ImageColorGenerator(backgroud_Image)  
    1 C+ J0 i2 a5 g( a$ C2 Q" Q
31. #字体颜色为背景图片的颜色  
    5 J: v, @+ Y! ]. U, s( T. M$ `% d
32. wc.recolor(color_func=img_colors)  
      `" N  M9 d1 f+ e% v! [
33. # 显示词云图  
    
34. plt.imshow(wc)  
    
35. # 是否显示x轴、y轴下标  
    
36. plt.axis('off')  
    
37. plt.show()  
    ( F- L- Q' n. b& g1 |9 B
38. # 获得模块所在的路径的  
    
39. d = path.dirname('file')  
    / y; }7 j7 o: n1 t+ n
40. # os.path.join()：  将多个路径组合后返回  
    ) e0 O' a* {: f, J
41. wc.to_file(path.join(d,'词云.png'))
    
42. print('生成词云成功!')

复制代码

admin

这是wordcloud的所有参数，下面具体介绍一下各个参数：

---

font_path : string //字体路径，需要展现什么字体就把该字体路径+后缀名写上，如：font_path = '黑体.ttf'
, o1 f& _3 t5 m4 Hwidth : int (default=400) //输出的画布宽度，默认为400像素
height : int (default=200) //输出的画布高度，默认为200像素
prefer_horizontal : float (default=0.90) //词语水平方向排版出现的频率，默认 0.9 （所以词语垂直方向排版出现频率为 0.1 ）
mask : nd-array or None (default=None) //如果参数为空，则使用二维遮罩绘制词云。如果 mask 非空，设置的宽高值将被忽略，遮罩形状被 mask 取代。
除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云。如：bg_pic = imread('读取一张图片.png')，
$ u5 j+ X- U5 W- E背景图片的画布一定要设置为白色（#FFFFFF），然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存，就ok了。
9 t7 n1 I  @) U4 y9 `5 P  ^* xscale : float (default=1) //按照比例进行放大画布，如设置为1.5，则长和宽都是原来画布的1.5倍。
6 Z4 O+ I! u: o8 D: v/ ]& smin_font_size : int (default=4) //显示的最小的字体大小
: w7 k. M5 v! E: m; C% Bfont_step : int (default=1) //字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差。
max_words : number (default=200) //要显示的词的最大个数
: m6 U/ a+ [; O5 R+ Pstopwords : set of strings or None //设置需要屏蔽的词，如果为空，则使用内置的STOPWORDS
background_color : color value (default=”black”) //背景颜色，如background_color='white',背景颜色为白色。
max_font_size : int or None (default=None) //显示的最大的字体大小
% y, E7 U1 v/ r, Vmode : string (default=”RGB”) //当参数为“RGBA”并且background_color不为空时，背景为透明。
0 }' ]7 w6 L+ U: A& f1 O- B5 trelative_scaling : float (default=.5) //词频和字体大小的关联性
color_func : callable, default=None //生成新颜色的函数，如果为空，则使用 self.color_func
+ [8 B5 j) E) P3 q% i  p7 \2 oregexp : string or None (optional) //使用正则表达式分隔输入的文本
collocations : bool, default=True //是否包括两个词的搭配
) k0 B+ {* r2 g: B4 vcolormap : string or matplotlib colormap, default=”viridis” //给每个单词随机分配颜色，若指定color_func，则忽略该方法。
fit_words(frequencies) //根据词频生成词云【frequencies，为字典类型】
generate(text) //根据文本生成词云
generate_from_frequencies(frequencies[, ...]) //根据词频生成词云
generate_from_text(text) //根据文本生成词云
% f0 ~9 |: t4 C1 ~" c1 B5 Bprocess_text(text) //将长文本分词并去除屏蔽词（此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的 fit_words(frequencies) ）
recolor([random_state, color_func, colormap]) //对现有输出重新着色。重新上色会比重新生成整个词云快很多。
8 T6 [6 c$ M9 j$ s- t1 G* R+ Bto_array() //转化为 numpy array
' E8 Q* P6 _; Q$ Q/ fto_file(filename) //输出到文件

' z) [3 C% c* l6 Y$ y* g简要讲下几个会影响图像清晰问题的WordCloud的参数：

---

mask：遮罩图，字的大小布局和颜色都会依据遮罩图生成。其实理论上这对字大小和清晰程度的影响不大，
+ J7 H: }% @: B但是遮罩图色和背景色background_color如果易混淆，则可能是一个导致看起来不清晰的因素；
另外遮罩图自身各个颜色之间的对比不强烈，也可能使图看起来层次感不够。
$ y' M# A0 K. |3 R- f比如，一些图明度比较高，再加上背景白色，有可能导致字色太浅（背景色background_color又是白色）于是看起来不够“清晰”。
background_color：背景色，默认黑。
这个本来其实也不怎么影响清晰度，但是，就像之前在mask中提到的，如果遮罩图像颜色过浅、背景设置白色，
- m, d" t0 E3 O1 b) y1 a可能导致字看起来“不清晰”。而实际上，我对一个浅色遮罩图分别用白、黑两种背景色后发现，
6 K9 o0 p( p3 E5 Q, X2 {/ F* m黑色背景的强烈对比之下会有若干很浅也很小的词浮现出来，而之前因背景色、字色过于相近而几乎无法用肉眼看出这些词。
; x* M1 `3 ]" Y  [) p' kmode：默认“RGB”。根据说明文档，如果想设置透明底色的云词图，那么可以设置background_color=None, mode="RGBA"
# S8 s9 s  h0 M5 D2 U但是！！！实际中我尝试设置透明背景色并没有成功过！
当我选取的遮罩图是白色底时，如果background_color设置为"white"或"black"时，生成的云词确实是对应的“白色”“黑色”；
4 U6 H# \& |+ r$ d# W但是按照上述参数设置透明色时，结果出来依然是白色。
当我选取的遮罩图是透明底时，那么不管我background_color设置为"white"或"black"，还是None加上mode="RGBA"，
结果都是把背景部分当做黑色图块，自动匹配黑色的字！——也就是并没有实现透明底的云词。
谁如果实现了透明底色的方案，欢迎给我留言。目前这个疑惑我打算先不研究了，放到以后再看。
7 a. e9 n( y" s  ^$ \max_font_size：最大字号。源文件中也有讲到，图的生成会依据最大字号等因素去自动判断词的布局。
1 L. S( m; v& ?9 O7 F" d7 i* V经测试，哪怕同一个图像，只要图本身尺寸不一样（比如我把一个300×300的图拉大到600×600再去当遮罩），那么同样的字号也是会有不同的效果。
) }- ]1 E# t& t/ ^) g) B+ G2 a原理想想也很自然，字号决定了字的尺寸，而图的尺寸变了以后，最大字相对于图的尺寸比例自然就变了。
& X: c  P/ F' i" w$ n所以，需要根据期望显示的效果，去调整最大字号参数值。

min_font_size：最小字号。不设置的情况下，默认是4。
) U7 a) L3 r1 k; q- o' y" h1 u9 m尝试了设置比4大的字号，例如8、10，结果就是原本小于设定值且大于4号的词都直接不显示了，其它内容和未设置该值时都一样。
6 G/ Y# W6 p% i# W" W! `% h
relative_scaling：表示词频和云词图中字大小的关系参数，默认0.5。
为0时，表示只考虑词排序，而不考虑词频数；为1时，表示两倍词频的词也会用两倍字号显示。
3 J$ _0 D0 ^# O" x" f! J
scale：根据说明文档，当云词图很大的，加大该值会比使用更大的图更快，但值越高也会越慢（计算更复杂）。
9 \) f$ s  M9 F默认值是1。实际测试中，更大的值，确实输出图像看起来更精细（较小较浅的词会颜色更重，也感觉清楚，大的词差异不明显）。
) [# A8 ?. d7 i7 C' }# K; F不过，可能由于我选的图不大、词也没有很多，所以差距并没有很大，缩小排列一下就基本上辨别不出多少差别了。

) C# w" u; I2 d9 w3 Y