import java.io.IOException;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.index.Payload;
/**
* TokenStream用来分析文字流,按一定的规则罗列token,在lucene有字节流是即将要索引的文本,或者查询的关键字。
* <p>
* 它是一个抽象类,它的子类有如下两种:
* <ul>
* <li>分词器-Tokenizer,Tokenizer是以Reader对象做为输入;
* <li>过滤器-TokenFilter,主要用来处理词汇单元的部分内容过滤功能。与分词器比较最大的区别是它的输入是另一个TokenStream.多个过滤器可以串接起来,形成管道型的流逝过滤器
* </ul>
* NOTE:子类必须要重写next(Token).
*/
public abstract class TokenStream {
/**
* 返回字节流的下一个Token.
*
* @deprecated 被next(Token)所代替 .
*/
public Token next() throws IOException {
final Token reusableToken = new Token();
Token nextToken = next(reusableToken);
if (nextToken != null) {
Payload p = nextToken.getPayload();
if (p != null) {
nextToken.setPayload((Payload) p.clone());
}
}
return nextToken;
}
/**
* 返回数据流中的下个Token或null、EOS. 通常情况下,为了有着更好的性能,返回的Token和输入的Token应该是同一个对象
* 但是这不是必须,也可以返回一个新的Token. .
* <p>
* 调用该方法的对象和实现该方法的对象有一种合约:
* <ul>
* <li>调用该方法的对象必须在再次调用该方法之前要使用完毕之前的Token.</li>
* <li>实现该方法的在每次设置之前都要先调用clear()。把之前的属性的清空</li>
* </ul>
* 当Token被返回之后,调用者可以随意改变该Token。所以producer如果想保存Token,必须要在返回Token之前Clone()克隆一个新的Token
*
* @param reusableToken 该Token或许被返回,或许返回一个新的Token。reusableToken不能为null。
* @return
*/
public Token next(final Token reusableToken) throws IOException {
assert reusableToken != null;
return next();
}
/**
* 重置数据流的标记位置.这个方法这是可选的。 Reset()通常情况下不需要的.如果
* 但是如果Token要被使用多次,那就有重写实现reset()接口 .
* 如果TokenStream缓存了Token,调用rest()会返回缓存的Token
*/
public void reset() throws IOException {
}
public void close() throws IOException {
}
}
分享到:
相关推荐
lucene 2.4.1源码在eclipse调试运行通过
lucene2.4.1 API手册,英文版,基本全
很好的lucene2.4.1 api文档 我经常用来查的,凑到20字没
lucene 2.4.1包 暂时最新的 希望对大家有帮助
一个很好的lucene帮助文档,需要的朋友可以来下载-Lucene2.4.1 叶明
Lucene2.4.1的源代码,包括core包和demos包的内容。
全文检索工具包Lucene,比较新的版本!
比较详尽的lucene源码分析,对搜索引擎有兴趣的朋友可以研究研究。
希望对大家有所帮助! lucene最新版本的核心包和demo包,下次传怎么去测试!
查看lucene索引文件的工具,很好用,这个是最新版本的~~~~~~~~~~~~
lucene 源码 apache 开源搜索引擎项目
lucene源程序,用lucene开发全文搜索必备。
lucene-2.4.1.tar.gz,最新Lucene包
struts2-spring-compass Struts2整合Spring3、Hibernate、Compass实现全文检索(基于lucene2.4.1和极易中文分词器)
Lucene不是一个完整的全文索引应用,而是是一个用Java写的全文索引引擎工具包,它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。 Lucene的作者:Lucene的贡献者Doug Cutting是一位资深全文索引/检索...
Lucene中文分词器中的极易分词组件,包含jeasy.analysis.MMAnalyzer,以及依赖包lucene-core-2.4.1.jar!
je-analysis-1.5.3、lucene-core-2.4.1分词组件
lucene src&bin 2.4.1 lucene src&bin 2.4.1
免分数共享出来,欢迎大家下载, 2.4.1版本的