当前位置: 首页 > solr, 搜索 > 正文

Solr4.1加入中文分词IKAnalyzer2012 FF

1 星2 星3 星4 星5 星 (2 次投票, 评分: 5.00, 总分: 5)
Loading ... Loading ...
baidu_share

前提是已经在Tomcat7下面配置好Solr4.0,详情参考上一篇文章。
注意:Solr4.0需要IKanalyzer 2012 FF以上版本。
1.下载IKAnalyzer包
下载地址:http://code.google.com/p/ik-analyzer/downloads/list
2.解压IK Analyzer 2012FF_hf1.zip包
用到其中三个文件:
IKAnalyzer2012FF_u1.jar,放到$CATALINA_HOME/webapps/solr/WEB-INF/lib/目录下
IKAnalyzer.cfg.xml,stopword.dic,放到$CATALINA_HOME/webapps/solr/WEB-INF/classes/目录下
3.设置IKAnalyzer中文分词
修改$SOLR_HOME/collection1/conf/schema.xml文件,在中增加如下内容:

1
2
3
4
5
6
<fieldType name="text_ik" class="solr.TextField"> 
 
    <analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/> 
    <analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/> 
 
  </fieldType>

查询采用IK自己的最大分词法,索引则采用它的细粒度分词法,各自配置了isMaxWordLength属性。
修改$SOLR_HOME/collection1/conf/schema.xml文件,在中修改如下内容:

1
2
3
4
<field name="content" type="text_ik" indexed="false" stored="true" multiValued="true"/>
  <field name="text" type="text_ik" indexed="true" stored="false" multiValued="true"/>
  ......
  <copyField source="content" dest="text"/>

也可以自己增加删除相关字段。
4.重建索引,查询即可
具体过程参考上一篇文章。或者是通过http://localhost:8080/solr/#/collection1/analysis,然后在Analyse Fieldname / FieldType:下拉选择框中选择”text_ik”,关闭Verbose Output核选框,在Field Value (Index)与Field Value (Query)中输入中文句子,点击”Analyse Values”即可以看到分词结果。

顺便也贴下SmartChineseAnalyzer的配置
1.拷贝~/solr/contrib/analysis-extras/lucene-libs/lucene-analyzers-smartcn-4.0.0.jar到$CATALINA_HOME/webapps/solr/WEB-INF/lib/目录下
2.拷贝上述包中的stopwords.txt到$SOLR_HOME/collection1/conf/lang/stopwords_zh-cn.txt
3.修改$SOLR_HOME/collection1/conf/schema.xml文件,在中增加如下内容:

1
2
3
4
5
6
7
8
9
<fieldType name="text_zh-cn" class="solr.TextField" positionIncrementGap="100">
   <analyzer>
    <tokenizer class="solr.SmartChineseSentenceTokenizerFactory"/>
    <filter class="solr.SmartChineseWordTokenFilterFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.PositionFilterFactory" />
    <filter class="solr.StopFilterFactory" ignoreCase="false" words="lang/stopwords_zh-cn.txt" enablePositionIncrements="true"/>
   </analyzer>
  </fieldType>

4.其它省略

也可以比较IKAnalyzer与Lucene自带的SmartChineseSentenceTokenizerFactory的差别,可以通过http://localhost:8080/solr/#/collection1/analysis中选择不同的分词器来查看。

本文固定链接: http://www.chepoo.com/solr4-1-add-ikanalyzer2012-ff.html | IT技术精华网

Solr4.1加入中文分词IKAnalyzer2012 FF:等您坐沙发呢!

发表评论