楼主在上篇文章中，提出了将词和字分开，用不同的分词器分别构建索引，来解决match_phrase在中文中的短语或者句子匹配问题。详细的内容请看上一篇文章： ES中文分词器之短语匹配（解决了match_phrase匹配不全的问题）
为什么要自己写分词器？
楼主想要一种分词器，分词器完全按照词典分词，只要是词典有的词语，分词器就一定要分出来。测试了两个分词器比如说IK，MMseg，都不能按照楼主的要求分词。
MMSeg有考虑到词频，即使使用mmseg_max_word，也不能完全按照词典分词。
IK理论上是按照词典分词的，但是经测试，还是发现了些问题。比如说“一群穆斯林聚在一起”，单独用这句话测试，“穆斯林”可以分出，而这句话放入一篇文章中，却无法分出“穆斯林”。
楼主是用ik和standard对比命中量发现不一致，导出不一致数据后，才发现的这个问题（ik和mmseg都修改了源码，过滤掉中文之间的特殊符号，因此不存在词语中间有特殊符号standard可以分出，ik分不出而导致的不一致情况）。
没办法了，自己写一个吧。
ES自定义分词器
由于ES是采用juice依赖注入的方式，所以要实现一个工厂类和Provider类。
public class TestAnalyzerProvider extends AbstractIndexAnalyzerProvider<InfosecAnalyzer> {
public TestAnalyzerProvider(IndexSettings indexSettings, Environment env, String name, Settings settings) {
super(indexSettings, name, settings);
}
public static AnalyzerProvider<? extends Analyzer> getMaxWord(IndexSettings indexSettings, Environment environment, String s, Settings settings) {
return new TestAnalyzerProvider(indexSettings,environment,s,settings);
}
@Override public InfosecAnalyzer get() {
return new InfosecAnalyzer();
}
}
public class TestTokenizerFactory extends AbstractTokenizerFactory {
public TestTokenizerFactory(IndexSettings indexSettings, Environment env, String name, Settings settings) {
super(indexSettings, name, settings);
}
public static TokenizerFactory getMaxWord(IndexSettings indexSettings, Environment environment, String name, Settings settings) {
return new TestTokenizerFactory(indexSettings,environment,name,settings);
}
@Override
public Tokenizer create() {
return new TestTokenizor();
}
}
接下来写自己的插件配置类：
public class AnalysisTestPlugin extends Plugin implements AnalysisPlugin {
public static String PLUGIN_NAME = "analysis-test;
@Override
public Map<String, AnalysisModule.AnalysisProvider<TokenizerFactory>> getTokenizers() {
Map<String, AnalysisModule.AnalysisProvider<TokenizerFactory>> extra = new HashMap<>();
extra.put("test_max_word", TestTokenizerFactory::getMaxWord);
return extra;
}
@Override
public Map<String, AnalysisModule.AnalysisProvider<AnalyzerProvider<? extends Analyzer>>> getAnalyzers() {
Map<String, AnalysisModule.AnalysisProvider<AnalyzerProvider<? extends Analyzer>>> extra = new HashMap<>();
extra.put("test_max_word", TestAnalyzerProvider::getMaxWord);
return extra;
}
}
因为我们只需要按照词典分词，所以这边只有一种大分词模式，test_max_word。接下来就是Analyzer 和Tokenizor。
public class TestAnalyzer extends Analyzer {
public TestAnalyzer(){
super();
}
@Override
protected TokenStreamComponents createComponents(String fieldName) {
Tokenizer _TestTokenizer = new TestTokenizor();
return new TokenStreamComponents(_TestTokenizer);
}
}
public class TestTokenizor extends Tokenizer {
//词元文本属性
private final CharTermAttribute termAtt;
//词元位移属性
private final OffsetAttribute offsetAtt;
//词元分类属性（该属性分类参考org.wltea.analyzer.core.Lexeme中的分类常量）
private final TypeAttribute typeAtt;
//记录后一个词元的结束位置
private int endPosition;
private TestSegmenter test =null;
public InfosecTokenizor(){
super();
offsetAtt = addAttribute(OffsetAttribute.class);
termAtt = addAttribute(CharTermAttribute.class);
typeAtt = addAttribute(TypeAttribute.class);
test = new TestSegmenter(input);
}
@Override
public boolean incrementToken() throws IOException {
clearAttributes();
Word word = test.getNext();
if(word != null) {
termAtt.copyBuffer(word.getSen(), word.getWordOffset(), word.getLength());
offsetAtt.setOffset(word.getStartOffset(), word.getEndOffset());
typeAtt.setType(word.getType());
return true;
} else {
end();
return false;
}
}
public void reset() throws IOException {
super.reset();
//setReader 自动被调用, input 自动被设置。
test.reset(input);
}
}
自定义分词器主要操作的是incrementToken方法，每次从TestSegmenter中取出一个词，如果改词存在，设置改词的token属性，返回true，即还有下一个token。如果改词不存在，返回false，标志着没有数据了，结束分词。
自定义分词的详细内容
由于代码太多了，这里就不一一贴出，只介绍下算法思想。
匹配类型
1）不匹配 2）前缀 3）匹配 4）匹配且是前缀
算法思想
先将数据分类组装成句子，然后经过句子处理器将句子分为多个word，存入queue中，再由increateToken()方法依次取出。
组装句子
依次扫描，将同类的数据组装成句子。比如说“你好哈233节日，快乐！233dad”，扫描个字符发现是中文，则继续向下扫描，一直扫描到‘2’，发现‘2’不是中文，则将“你好哈”组成句子交给句子处理器处理，将处理结果放入queue中。继续扫描，遍历到‘节’，发现‘节’不是数组，则将“233”组成一个word，放入queue。继续扫描，将“节”，“日”依次放入句子中，扫描到“，”，因为要和standard 对比效果，所以我在代码中过滤了中文间所有的符号，忽略“，”继续扫描，依次将“快”“乐”存入句子。后面类似处理即可。
句子分词
依次扫描句子，如果相邻的数据可以组装成一个词，则将词放入queue中，继续遍历下一个。例如“节日快乐”，分词时首先扫描“节”，在词典中查询“节”，发现“节”是一个前缀，则继续扫描“日”，发现“节日”是一个词匹配，且是一个前缀，则将“节日”存入queue中，继续扫描“节日快”，发现“节日快”是一个前缀，继续扫描“节日快乐”，发现“节日快乐”仅是一个词匹配，则将“节日快乐”存入queue中，结束从“节”开始的扫描。接下来按照上述方法从“日”字开始扫描。依次处理完整个句子。
词典
词典采用树的结构，比如说“节日愉快”，“节日快乐”和“万事如意”这三个词，在词典中如下表示：
查找时，记录上一次前缀匹配的DicSegment，在前缀的DicSegment中，直接查找当前扫描字符，可以加快匹配速度。
比如说已经匹配到了”节日快“这个前缀，在匹配”节日快乐“时，直接在”快“对应的DicSegment中查找，这样就不用再次匹配”节日“两个字符。
问题
测试的过程中同样的发现了一些问题，比如说：
原文：长白山脉 test分词：长白 1 长白山 2 长白山脉 3 白山4 山脉5 查找词语：长白山 test分词：长白 1 长白山 2 白山 3
通过分词可以看出在“长白山脉”中查询不到“长白山”的。问题在于match_phrase的限制，长白山的分词顺序在原文构建索引时的位置不一样，中间多出了一个“长白山脉”。
解决方案：
不能匹配的原因是，查找词语在原文中和后面的字组成了词语。用小粒度分词即可解决。也就是说只用长度为2和3的词语。不存在长度为4的词语，所以一个词长度为3时，在原文中不会和后面的数据组成词。当词的长度为2时，和后面的一个字匹配，可以组成一个长度为3的词，按照我们分词的规则，是先分出两个字的词，再分出三个字的词，所以，两个字的词是可以匹配的到的。
