转载请注明出处：http://www.voidcn.com/article/p-buzngjjc-bkz.html
在lucene创建索引的过程中，数据信息的处理是一个十分重要的过程，在这一过程中，主要的部分就是这一篇博客的主题：分词器。在下面简单的demo中，介绍了7中比较常见的分词技术，即：CJKAnalyzer、KeywordAnalyzer、SimpleAnalyzer、StopAnalyzer、WhitespaceAnalyzer、StandardAnalyzer、IKAnalyzer；自己可以通过注释的形式一一验证。源程序如下：
Analyzer分词demo
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
2 *@Description: 分词技术demo
3 */
4package com.lulei.lucene.study;
5
6import java.io.StringReader;
7
8import org.apache.lucene.analysis.Analyzer;
9import org.apache.lucene.analysis.TokenStream;
10import org.apache.lucene.analysis.cjk.CJKAnalyzer;
11import org.apache.lucene.analysis.core.KeywordAnalyzer;
12import org.apache.lucene.analysis.core.SimpleAnalyzer;
13import org.apache.lucene.analysis.core.StopAnalyzer;
14import org.apache.lucene.analysis.core.WhitespaceAnalyzer;
15import org.apache.lucene.analysis.standard.StandardAnalyzer;
16import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
17import org.apache.lucene.util.Version;
18import org.wltea.analyzer.lucene.IKAnalyzer;
19
20public class AnalyzerStudy {
21
22 public static void main(String[] args) throws Exception {
23 //需要处理的测试字符串
24 String str = "这是一个分词器测试程序，希望大家继续关注我的个人系列博客：基于Lucene的案例开发，这里加一点带空格的标签 LUCENE java 分词器";
25 Analyzer analyzer = null;
26 //标准分词器，如果用来处理中文，和ChineseAnalyzer有一样的效果，这也许就是之后的版本弃用ChineseAnalyzer的一个原因
27 analyzer = new StandardAnalyzer(Version.LUCENE_43);
28 //第三方中文分词器，有下面2中构造方法。
29 analyzer = new IKAnalyzer();
30 analyzer = new IKAnalyzer(false);
31 analyzer = new IKAnalyzer(true);
32 //空格分词器，对字符串不做如何处理
33 analyzer = new WhitespaceAnalyzer(Version.LUCENE_43);
34 //简单分词器，一段一段话进行分词
35 analyzer = new SimpleAnalyzer(Version.LUCENE_43);
36 //二分法分词器，这个分词方式是正向退一分词(二分法分词)，同一个字会和它的左边和右边组合成一个次，每个人出现两次，除了首字和末字
37 analyzer = new CJKAnalyzer(Version.LUCENE_43);
38 //关键字分词器，把处理的字符串当作一个整体
39 analyzer = new KeywordAnalyzer();
40 //被忽略的词分词器
41 analyzer = new StopAnalyzer(Version.LUCENE_43);
42
43 //使用分词器处理测试字符串
44 StringReader reader = new StringReader(str);
45 TokenStream tokenStream = analyzer.tokenStream("", reader);
46 tokenStream.reset();
47 CharTermAttribute term = tokenStream.getAttribute(CharTermAttribute.class);
48 int l = 0;
49 //输出分词器和处理结果
50 System.out.println(analyzer.getClass());
51 while(tokenStream.incrementToken()){
52 System.out.print(term.toString() + "|");
53 l += term.toString().length();
54 //如果一行输出的字数大于30，就换行输出
55 if (l > 30) {
56 System.out.println();
57 l = 0;
58 }
59 }
60 }
61}
62
63
2
2
分词器介绍
下面将会对这些分词器做一些简单的介绍，以及上述程序在该分词器下的运行截图：
StandardAnalyzer
StandardAnalyzer标准分词器，如果用来处理中文，和ChineseAnalyzer有一样的效果，这也许就是之后的版本弃用ChineseAnalyzer的一个原因。用StandardAnalyzer处理英文效果还不错，但是对中文的处理只是将其分成单个汉字，并不存在任何语义或词性，如果实在没有其他的分词器，用StandardAnalyzer来处理中文还是可以的，上述事例使用StandardAnalyzer分词技术的运行结果如下图：
IKAnalyzer
IKAnalyzer是基于Lucene的第三方中文分词技术，该分词技术基于现有的中文词库实现的，在构造Analyzer对象时有两种构造方法，无参构造等同于new IKAnalyzer(false) ，在介绍true/false两种参数下分词器的不同之前先看看这两种情况下的事例运行结果：
false运行结果如下图：
true运行结果如下图：
从上述事例中，我们可以简单的看出，false的情况下会对已分的词进行再分，如果存在长度较小的词元，也将其作为一个分词结果。IKAnalyzer是一种比较常用的中文分词技术，但是其分词效果过于依赖字典，所以要使其达到更好的效果，需要不断的升级自己的字典。
WhitespaceAnalyzer
WhitespaceAnalyzer空格分词，这个分词技术就相当于按照空格简单的切分字符串，对形成的子串不做其他的操作，结果同string.split(" ")的结果类似。上述事例在WhitespaceAnalyzer分词技术下的运行结果如下图：
这种分词技术也许你会绝对没有太大的作用，它对输入的字符串几乎没有做太多的处理，对语句的处理结果也不是太好，如果这样想就错了，下面就简单的想一下这个问题，这篇博客的标签是 lucene、java、分词器，那这三个词在索引中又该如何的存储，采用何种分词技术呢？这里不做任何解答，自己思考下，在以后的小说案例中会对标签这个域提出具体的解决方案。
SimpleAnalyzer
SimpleAnalyzer简单分词器，与其说是一段话进行分词，不如说是一句话就是一个词，遇到标点、空格等，就将其之前的内容当作一个词。上述事例在SimpleAnalyzer分词技术下的运行结果如下图：
CJKAnalyzer
CJKAnalyzer是二分法分词器，这个分词方式是正向退一分词(二分法分词)，同一个字会和它的左边和右边组合成一个次，每个人出现两次，除了首字和末字，也就是说会将任何两个相邻的汉字当作是一个词，这种分词技术会产生大量的无用词组。上述事例在CJKAnalyzer分词技术下的运行结果如下图：
KeywordAnalyzer
KeywordAnalyzer关键字分词器，把处理的字符串当作一个整体，这个分词器，在lucene之前的版本中或许还有点作用，但最近的几个版本中，Lucene对域的类型做了细分，它的作用就不是太大了，不做在luke中，还是相当重要的。上述事例在KeywordAnalyzer分词技术下的运行结果如下图：
StopAnalyzer
StopAnalyzer被忽略的词分词器，被忽略的词就是在分词结果中，被丢弃的字符串，如标点、空格等。上述事例在StopAnalyzer分词技术下的运行结果如下图：
上述的7种分词技术都可以对中文做处理，对外文（非英语）的处理有以下几种分词技术：
BrazilianAnalyzer 巴西语言分词 CzechAnalyzer 捷克语言分词 DutchAnalyzer 荷兰语言分词 FrenchAnalyzer 法国语言分词 GermanAnalyzer 德国语言分词 GreekAnalyzer 希腊语言分词 RussianAnalyzer 俄罗斯语言分词 ThaiAnalyzer 泰国语言分词
