def seg_to_list(sentence, pos=False):
if not pos:
# 不进行词性标注的分词方法
seg_list = jieba.cut(sentence)
else:
# 进行词性标注的分词方法
seg_list = psg.cut(sentence)
return seg_list
# 去干扰词
def word_filter(seg_list, pos=False):
stopword_list = get_stopword_list()
filter_list = []
# 根据POS参数选择是否词性过滤
# 不进行词性过滤，则将词性都标记为n，表示全部保留
for seg in seg_list:
if not pos:
word = seg
flag = 'n'
else:
word = seg.word
flag = seg.flag
if not flag.startswith('n'):
continue
# 过滤高停用词表中的词，以及长度<2的词
if not word in stopword_list and len(word) > 1:
filter_list.append(word)
return filter_list
# 数据加载，pos为是否词性标注的参数，corpus_path为数据集路径
def load_data(pos=False, corpus_path='./data/corpus.txt'):
# 调用上面方法对数据集进行处理，处理后的每条数据仅保留非干扰词
doc_list = []
for line in open(corpus_path, 'r',encoding = 'utf-8'):
content = line.strip()
seg_list = seg_to_list(content, pos)
filter_list = word_filter(seg_list, pos)
doc_list.append(filter_list)
return doc_list
def cmp(e1,e2):
import numpy as np
res = np.sign(e1[1]-e2[1])
if res != 0:
return res
else:
a = e1[0]+e2[0]
b = e2[0]+e1[0]
if a>b:
return 1
elif a == b:
return 0
else:
return -1
class TfIdf(object):
#统计tf值
def get_tf_dic(self):
tf_dic = {}
for word in self.word_list:
tf_dic[word] = tf_dic.get(word,0.0)+1.0
tt_count = len(self.word_list)
for k,v in tf_dic.items():
tf_dic[k] = float(v)/tt_count
#按公式计算tf_idf
def get_tfidf(self):
tfidf_dic = {}
for word in self.word_list:
idf = self.idf_dic.get(word,self.default_idf)
tf = self.tf_dic.get(word,0)
tfidf = tf*idf
tfidf_dic[word] = tfidf
#根据tf_idf排序，取排名前keyword_num的词作为关键词
for k ,v in sorted(tfidf_dic.items(),key=functools.cmp_to_key(cmp),reverse=True)[:self.keyword_num]:
print(k+"/",end='')
print()
def word_filter(seg_list):
stopword_list = get_stopword_list()
filter_list = []
for w in seg_list:
if not w in stopword_list and len(w)>1:
filter_list.append(w)
return filter_list
str = '6月19日,《2012年度“中国爱心城市”公益活动新闻发布会》在京举行。' + \
'中华社会救助基金会理事长许嘉璐到会讲话。基金会高级顾问朱发忠,全国老龄' + \
'办副主任朱勇,民政部社会救助司助理巡视员周萍,中华社会救助基金会副理事长耿志远,' + \
'重庆市民政局巡视员谭明政。晋江市人大常委会主任陈健倩,以及10余个省、市、自治区民政局' + \
'领导及四十多家媒体参加了发布会。中华社会救助基金会秘书长时正新介绍本年度“中国爱心城' + \
'市”公益活动将以“爱心城市宣传、孤老关爱救助项目及第二届中国爱心城市大会”为主要内容,重庆市' + \
'、呼和浩特市、长沙市、太原市、蚌埠市、南昌市、汕头市、沧州市、晋江市及遵化市将会积极参加' + \
'这一公益活动。中国雅虎副总编张银生和凤凰网城市频道总监赵耀分别以各自媒体优势介绍了活动' + \
'的宣传方案。会上,中华社会救助基金会与“第二届中国爱心城市大会”承办方晋江市签约,许嘉璐理' + \
'事长接受晋江市参与“百万孤老关爱行动”向国家重点扶贫地区捐赠的价值400万元的款物。晋江市人大' + \
'常委会主任陈健倩介绍了大会的筹备情况。'
win={}
seg_list = seg2list(str)
filter_list = word_filter(seg_list)
#构建投分表，根据窗口
for i in range(len(filter_list)):
if filter_list not in win.keys():
win[filter_list]=set()
if i-5 < 0:
lindex = 0
else:
lindex = i-5
for j in filter_list[lindex:i+5]:
win[filter_list].add(j)
# 投票
time = 0
score = {w:1.0 for w in filter_list}
while(time<50):
for k,v in win.items():
s = score[k]/len(v)
score[k] = 0
for i in v:
score+=s
time+=1
l = sorted(score.items(), key=lambda score:score[1],reverse=True)
print(l)
