黑马程序员技术交流社区

标题: 【上海校区】深度有趣 | 03 高端又一般的词云 [打印本页]

作者: 不二晨 时间: 2018-9-25 10:04
标题: 【上海校区】深度有趣 | 03 高端又一般的词云
简介词云是一种数据呈现方式

不会的时候，感觉很厉害、很高大上
会用了之后，感觉到哪都看到别人在用

掌握用Python实现词云的方法
准备安装包
pip install wordcloud matplotlib jieba PIL复制代码准备一些文本，英文或中文皆可
一个简单的例子WordCloud()可选的参数

font_path：可用于指定字体路径，包括otf和ttf
width：词云的宽度，默认为400
height：词云的高度，默认为200
mask：蒙版，可用于定制词云的形状
min_font_size：最小字号，默认为4
max_font_size：最大字号，默认为词云的高度
max_words：词的最大数量，默认为200
stopwords：将被忽略的停用词，如果不指定则使用默认的停用词词库
background_color：背景颜色，默认为black
mode：默认为RGB模式，如果为RGBA模式且background_color设为None，则背景将透明

# -*- coding: utf-8 -*-from wordcloud import WordCloudimport matplotlib.pyplot as plt# 打开文本text = open('constitution.txt').read()# 生成对象wc = WordCloud().generate(text)# 显示词云plt.imshow(wc, interpolation='bilinear')plt.axis('off')plt.show()# 保存到文件wc.to_file('wordcloud.png')复制代码

由于英文单词之间有空格分隔，因此大多不需要额外的处理
中文词云中文一般需要经过分词处理，先看下不分词的效果
以《西游记》为例，可以看到结果中会出现各种双字、三字和四字等，但很多并不是合理的词语
# -*- coding: utf-8 -*-from wordcloud import WordCloudimport matplotlib.pyplot as plt# 打开文本text = open('xyj.txt').read()# 生成对象wc = WordCloud(font_path='Hiragino.ttf', width=800, height=600, mode='RGBA', background_color=None).generate(text)# 显示词云plt.imshow(wc, interpolation='bilinear')plt.axis('off')plt.show()# 保存到文件wc.to_file('wordcloud.png')复制代码

这次我们先用jieba进行中文分词，可以看到生成的词云里，基本上都是合理的词语了
# -*- coding: utf-8 -*-from wordcloud import WordCloudimport matplotlib.pyplot as pltimport jieba# 打开文本text = open('xyj.txt').read()# 中文分词text = ' '.join(jieba.cut(text))print(text[:100])# 生成对象wc = WordCloud(font_path='Hiragino.ttf', width=800, height=600, mode='RGBA', background_color=None).generate(text)# 显示词云plt.imshow(wc, interpolation='bilinear')plt.axis('off')plt.show()# 保存到文件wc.to_file('wordcloud.png')复制代码

使用蒙版这里将mask翻译为蒙版，是因为感觉它和Photoshop中蒙版的作用很类似
使用蒙版之后，可以根据提供的蒙版图片，生成指定形状的词云
# -*- coding: utf-8 -*-from wordcloud import WordCloudfrom PIL import Imageimport numpy as npimport matplotlib.pyplot as pltimport jieba# 打开文本text = open('xyj.txt').read()# 中文分词text = ' '.join(jieba.cut(text))print(text[:100])# 生成对象mask = np.array(Image.open("black_mask.png"))wc = WordCloud(mask=mask, font_path='Hiragino.ttf', mode='RGBA', background_color=None).generate(text)# 显示词云plt.imshow(wc, interpolation='bilinear')plt.axis("off")plt.show()# 保存到文件wc.to_file('wordcloud.png')复制代码

颜色词云的颜色可以从蒙版中抽取，使用ImageColorGenerator()即可
# -*- coding: utf-8 -*-from wordcloud import WordCloud, ImageColorGeneratorfrom PIL import Imageimport numpy as npimport matplotlib.pyplot as pltimport jieba# 打开文本text = open('xyj.txt').read()# 中文分词text = ' '.join(jieba.cut(text))print(text[:100])# 生成对象mask = np.array(Image.open("color_mask.png"))wc = WordCloud(mask=mask, font_path='Hiragino.ttf', mode='RGBA', background_color=None).generate(text)# 从图片中生成颜色image_colors = ImageColorGenerator(mask)wc.recolor(color_func=image_colors)# 显示词云plt.imshow(wc, interpolation='bilinear')plt.axis("off")plt.show()# 保存到文件wc.to_file('wordcloud.png')复制代码

当然也可以设置为纯色，增加一个配色函数即可
# -*- coding: utf-8 -*-from wordcloud import WordCloudfrom PIL import Imageimport numpy as npimport matplotlib.pyplot as pltimport randomimport jieba# 打开文本text = open('xyj.txt').read()# 中文分词text = ' '.join(jieba.cut(text))print(text[:100])# 颜色函数def random_color(word, font_size, position, orientation, font_path, random_state): s = 'hsl(0, %d%%, %d%%)' % (random.randint(60, 80), random.randint(60, 80)) print(s) return s# 生成对象mask = np.array(Image.open("color_mask.png"))wc = WordCloud(color_func=random_color, mask=mask, font_path='Hiragino.ttf', mode='RGBA', background_color=None).generate(text)# 显示词云plt.imshow(wc, interpolation='bilinear')plt.axis("off")plt.show()# 保存到文件wc.to_file('wordcloud.png')复制代码

关于HSL配色方案可以参考
www.w3.org/wiki/CSS3/C…
精细控制如果希望精细地控制词云中出现的词，以及每个词的大小，可以尝试generate_from_frequencies()，包括两个参数

frequencies：一个字典，用于指定词和对应的大小
max_font_size：最大字号，默认为None

generate() = process_text() + generate_from_frequencies()
以下用jieba提取出关键词和权重，再以此绘制词云
# -*- coding: utf-8 -*-from wordcloud import WordCloud, ImageColorGeneratorfrom PIL import Imageimport numpy as npimport matplotlib.pyplot as pltimport jieba.analyse# 打开文本text = open('xyj.txt').read()# 提取关键词和权重freq = jieba.analyse.extract_tags(text, topK=200, withWeight=True)print(freq[:20])freq = {i[0]: i[1] for i in freq}# 生成对象mask = np.array(Image.open("color_mask.png"))wc = WordCloud(mask=mask, font_path='Hiragino.ttf', mode='RGBA', background_color=None).generate_from_frequencies(freq)# 从图片中生成颜色image_colors = ImageColorGenerator(mask)wc.recolor(color_func=image_colors)# 显示词云plt.imshow(wc, interpolation='bilinear')plt.axis("off")plt.show()# 保存到文件wc.to_file('wordcloud.png')复制代码参考

WordCloud官方首页：amueller.github.io/word_cloud/…
WordCloud官方示例：amueller.github.io/word_cloud/…
jieba中文分词：github.com/fxsjy/jieba

链接：https://juejin.im/post/5ba2558d6fb9a05cf3712656

作者: 不二晨 时间: 2018-10-10 11:45
奈斯

作者: 魔都黑马少年梦 时间: 2018-11-1 16:36

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2