黑马程序员技术交流社区
标题: 【郑州校区】Lucene的基本使用之Analyzer分词器 [打印本页]
作者: 我是楠楠 时间: 2019-4-17 17:05
标题: 【郑州校区】Lucene的基本使用之Analyzer分词器
【郑州校区】Lucene的基本使用之Analyzer分词器
提供分词算法，可以把文档中的数据按照算法分词
这些分词器，并没有合适的中文分词器，因此一般我们会用第三方提供的分词器：
一般我们用IK分词器。
1.1.1.1、IK分词器
l 概述
林良益
IK分词器官方版本是不支持Lucene4.X的，有人基于IK的源码做了改造，支持了Lucene4.X：
1.1.1.2、基本使用引入IK分词器的依赖：
[AppleScript] 纯文本查看 复制代码
<!-- 引入IK分词器 -->
<dependency>
<groupId>com.janeluo</groupId>
<artifactId>ikanalyzer</artifactId>
<version>2012_u6</version>
</dependency>
中文分词更专业：
1.1.1.3、自定义词库
扩展词典（新创建词功能）： 有些词IK分词器不识别 例如：“传智播客”，“碉堡了”
停用词典（停用某些词功能）： 有些词不需要建立索引 例如：“哦”，“啊”，“的”
IK分词器的词库有限，新增加的词条可以通过配置文件添加到IK的词库中，也可以把一些不用的词条去除：
扩展词典：用来引入一些自定义的新词
停止词典：用来停用一些不必要的词条
结果：分词中，加入了我们新的词，被停用的词语没有被分词：
传智播客·黑马程序员郑州校区地址
河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层
| 欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) |
黑马程序员IT技术论坛 X3.2 |
