Zend Framework 1.10.1 开始使用 Zend_Search_Lucene

开始使用 Zend_Search_Lucene

目录

• 介绍 Zend_Search_Lucene
• Lucene 索引结构
• 索引开始和创建
• 索引
• 搜索
• 被支持的查询
• 搜索结果分页

返回目录

介绍 Zend_Search_Lucene

Zend_Search_Lucene 组件的目的是提供一个即可使用的全文搜索解决方案。它不要求任何 PHP 扩展 UTF-8mbstring 或者安装额外的软件，在 Zend_Framework 安装以后立刻能被使用。

Zend_Search_Lucene 是流行开源全文搜索引擎 Apache Lucene 的一个纯 PHP 端口。查看 http://lucene.apache.org 获得更多信息。

为了可以搜索，信息必须被建立索引。Zend_Search_Lucene 和 Java Lucene 使用一个文件概念，称之为 atomic indexing item。

每一个文件是一套字段：<name, value> 一对，name 和 value 是 UTF-8 字符串。文件字段的任何子集可以被标记为 indexed 来包括在建立文字索引的过程中的字段数据。

当建立索引的时候，字段值可以或不必被标记。如果一个字段不被标记，字段值以一个词组保存；否则，当前的分析器被用作标记。

在 Zend_Search_Lucene 包中提供了几个分析器。默认的分析器工作在 ASCII 文字（因为 UTF-8 分析器需要打开 mbstring 扩展）。它是大小写敏感，而且它会忽略数字。如果你需要改变这个行为，可以使用其它的分析器或者创建你自己的分析器。

注意：在索引和搜索的过程中使用分析器

重要提示！搜索语句同样使用当前的分析器标记，所以在索引和搜索过程中必须设置相同的默认分析器。这将保证源文件和搜索文字以同样的方式转化成词组。

字段值可选的被保存在一个索引内。这允许当搜索的时候，原始的字段数据可以从索引中被检索。这个是把搜索结果和原始数据关联起来的唯一方法（在索引优化或者自动优化以后，内部的文件 ID 可能被改变）。

要记住的是，Lucene 索引不是一个数据库。除了备份文件系统目录，它不提供索引备份机制。它不提供事务缓存（transactional）机制，虽然迸发索引更新和迸发更新和读取被支持。在数据检索速度上它比不上数据库。

所以好的主意：

• 不要把 Lucene 索引当储存器使用，因为它可能戏剧性的降低搜索的命中率（search hit retrieving performance）。只保存独一无二的文件标识符（文件路径，URL，数据库唯一 ID）和在一个索引内的相关数据。比如，标题，注解，目录，语言信息，化身。（注意：一个字段可能被包括在索引过程，但不被储存，或者被储存，但不被索引）。
• 如果因为某种原因它被破坏，写下功能可能完整的重建一个索引。

在索引中的独立的文件，可能有完全不同的字段组合。不同文件中的同样的字段不必拥有相同的属性。例如，一个字段可以为一个文件被索引，同时被其它文件的索引忽略。存储，标识，或者把字段值当作一个二进制字符串处理，也是如此。

返回目录

Lucene 索引结构

为了全面的使用 Zend_Search_Lucene 的最大功能，你应该了解它的内置索引结构

一个索引以一套文件的形式被保存在一个单独的目录中。

一个索引由数量众多的独立片断组成，这些片断储存有信息，这些信息是关于被索引文件的一个子集。每一个片断有它自己的词组字典，词组字典索引，和文件存储（保存字段值）Zend_Search_Lucene。所有的片断数据保存在 _xxxxx.cfs 文件中，xxxxx 是片断的名字。

一旦一个索引片断文件被创建，它不能被更新。新的文件被加到新的片断中。删除的文件只被以 deleted 标记在一个可选择的 <segmentname>.del 文件中。

文件更新将会以删除和添加这两个独立的操作来完成，虽然它是通过调用 update() API Zend_Search_Lucene API 做到的。这简化了添加新文件，并允许和搜索操作同时更新。

在另外一方面，使用几个片断（）增加了搜索时间：

• 如果词组字典到达了一个饱合点，大多数情况下，那么搜索一个片断 N 次将比搜索 N 个片断的速度要快。
• 索引优化把两个或者更多的片断合并进一个单独的新片断。一个新的片断被添加到索引片断列表，旧的片断被排除在外。
• 片断列表更新的过程如同一个原子操作。这样可以同时添加新的文件，进行索引优化，和在索引内搜索。
• 索引自动优化在每一个新的片断产生以后进行。它把最小的片断合并进大的片断，然后大的片断合并到更大的片断，如果我们有足够的片断来合并的话。

索引自动优化被这三个选项控制：

MaxBufferedDocs（在缓冲内存中文件被写入到一个新的片断之前，要求的文件的最小数量）

MaxMergeDocs（被一个优化操作合并的文件的最多的数量）

MergeFactor（用来决定由自动优化操作合并的片断标记体的频繁程度）。

如果每执行一个脚本我们添加一个文件，那么 MaxBufferedDocs 事实上没有被使用（在脚本执行结束的时候只有一个新片断和一个文件被创建，这时自动优化进程开始）。

返回目录

打开和创建索引

全部的索引操作（例如，创建一个新的索引，给索引添加一个文件，删除一个文件，搜索整个索引）需要一个索引对象。可以使用以下两种方法的任何一个：

例一 Lucene 索引创建

  $index = Zend_Search_Lucene::create($indexPath);

例二 Lucene 索引打开

  $index = Zend_Search_Lucene::open($indexPath);

返回目录

索引

索引由添加一个新文件到一个已经存在或者新的索引完成：

$index->addDocument($doc);

有两种办法来创建一个文件对象。第一个是手动的

例一 手动文件建造

  $doc = new Zend_Search_Lucene_Document();
  $doc->addField(Zend_Search_Lucene_Field::Text('url', $docUrl));
  $doc->addField(Zend_Search_Lucene_Field::Text('title', $docTitle));
  $doc->addField(Zend_Search_Lucene_Field::unStored('contents', $docBody));
  $doc->addField(Zend_Search_Lucene_Field::binary('avatar', $avatarData));

第二种办法是从 HTML 或者微软 Office 2007 文件中载入：

例二 文件载入

  $doc = Zend_Search_Lucene_Document_Html::loadHTML($htmlString);
  $doc = Zend_Search_Lucene_Document_Docx::loadDocxFile($path);
  $doc = Zend_Search_Lucene_Document_Pptx::loadPptFile($path);
  $doc = Zend_Search_Lucene_Document_Xlsx::loadXlsFile($path);

如果一个文件以一个被支持的格式载入，它仍然可以通过新的用户定义字段来手动扩展。

索引策略

你应该在你的应用程序的结构设计中定义索引策略。

你可能需要一个随选定制的索引设置（和 OLTP 系统相似的东西）。在这样的系统，你通常为每一用户请求添加一个文件。这样，MaxBufferedDocs 选项将对系统没有影响。在另外一方面，MaxMergeDocs 由于它允许你限制脚本执行时间的最大值，就真的有用了。MergeFactor 应该被设置到一个值，这个值保持平均索引时间（它也受平均自动优化时间影响）和搜索效率（索引优化水平依赖于片断的数量）之间的平衡。

如果你主要是进行批量索引更新，你的设置应该使用一个 MaxBufferedDocs 选项，把它设置到被可用的内存支持的最大值。MaxMergeDocs 和 MergeFactor 不得不设置到尽可能的降低自动优化相关的值。全部的索引拿破仑应该在索引以后进行。

例三 索引优化

$index->optimize();

在一些配置中，更有效的是，通过组织更新请求到一个队列，和在一个单独的脚本执行中进行几个更新请求来序列化索引更新。这将降低索引过分打开，同时允许利用索引文件缓冲。

返回目录

搜索

搜索通过使用 find() 方法来运行。

例一 搜索全部索引

$hits = $index->find($query);
foreach ($hits as $hit) {
printf("%d %f %s/n", $hit->id, $hit->score, $hit->title);
}

这个例子展示了两个特殊搜索 hit 属性 －－ id 和 score 的用法。

id 是在一个 Lucene 索引内使用的一个内置的文件标识符。它可以被用来执行许多操作，包括从索引删除一个文件。

例二 删除一个已经被索引的文件

$index->delete($id);

或者从索引中检索文件：

$doc = $index->getDocument($id);

注意：内置文件标识符

重要提示！内置的文件标识符可以通过索引优化或者自动优化进程改变，但是它在一个单一的脚本执行过程中它不会改变，除非 addDocument()（可能包括一个自动拿破仑过程）或者 optimize() 方法被调用。

score 字段是一个命中得分。默认的，搜索结果将按照 score 排序（最好的结果首先返回）。

按照特定的字段值来给结果排序也是可以的。查看 Zend_Search_Lucene 文档来获得更多信息。

这个例子也展示了一个能力，访问储存字段的能力（例如，$hit->title）。在第一次访问非 id 或者 score 的 hit 属性的时候，文件存储字段被加载，然后返回相应的字段值。

这引起一个歧义，对于拥有自己 id 或者 score 字段的文件而言；因此，不建议在存储文件内使用这些字段名。尽管如此，仍然可以通过 getDocument() 方法来访问他们：

例四 访问文件内的原始 id 和 score 字段

$id = $hit->getDocument()->id; 
$score = $hit->getDocument()->score;
  

返回目录

支持的查询

Zend_Search_Lucene 和 Jave Lucene 支持一个强有力的查询语言。它允许搜索单独的词组，短语，词组范围；使用外卡和模糊搜索，使用布尔值操作符来合并查询，诸如此类。

更详细的查询语言资料可以在 Zend_Search_Lucene 组件文档中找到。

下面是一些普通查询类型和策略的例子。

例一 查询一个单独的字

hello

在全部文件字段中搜索 hello 这个单词

注意：默认搜索字段

重要记号！Jave Lucene 默认的只搜索全部的 contents 字段，但是 Zend_Search_Lucene 搜索全部的字段。这个行为可以使用 Zend_Search_Lucene::setDefaultSearchField($fieldName) 方法来改变。

例二 查询多个字

hello dolly

搜索两个单词，两个单词都是可选的，结果必须出现两个单词中的一个。

例三 在一个查询中要求单词

+hello dolly

搜索两个单词，hello 是必须的，dolly 是可选的

例四 在查询的文件中禁止单词

+hello -dolly

搜索两个单词，hello 是必须的，dolly 是禁止的。也就是说，如果文件匹配 hello，但是包含 dolly 这个单词，它不会返回在搜索结果中。

例五 查询短语

"hello dolly"

搜索 hello dolly 这个短语；只有这个短语的文件才会匹配。

例六 在特殊的字段中查询

title:"The Right Way" AND text:go

在标题（title）内搜索 The Right Way 这个短语，和在正文（text）内出现的 word 这个单词。

例七 在特殊字段内搜索同时整个文件

title:"The Right Way" AND go

在标题内搜索 The Right Way 这个短语，同时在文件内任何字段中出现的 word 这个单词。

例八 在特殊字段内和整个文件内搜索（可选择）

title:Do it right

在标题字段内搜索 Do，同时在全部字段内搜索 it 和 right；与之任何一个匹配的文件将返回结果。

例九 使用通配符 ? 查询

te?t

搜索匹配 te?t 模式的单词，? 可以是任何一个字符。

例十 使用通配符 * 查询

test*

搜索匹配 test* 的单词，* 是任何的0或多个字母序列。

例十一 查询一个短语包括的范围

mod_date:[20020101 TO 20030101]

搜索一个短语的范围（包括在内的）

例十二 搜索一个短语之外的范围

title:{Aido to Carmen}

搜索一个短语的范围（排除在外的）

例十三 模糊搜索

roam~

模糊搜索 roam 单词

例十四 布尔搜索

(framework OR library) AND php

布尔搜索

所有的搜索可以通过 Zend_Search_Lucene 的 query construction API 来构建。还有，查询解析和查询构建可以结合：

例十五 合并查询解析和构建

$userQuery = Zend_Search_Lucene_Search_QueryParser::parse($queryStr); 
$query = new Zend_Search_Lucene_Search_Query_Boolean();
$query->addSubquery($userQuery, true /* required */
$query->addSubquery($constructedQuery, true /* required */);

返回目录

搜索结果分页

在之前提到的，搜索结果命中对象使用懒惰装载来储存文件字段。当任何被储存的字段被访问，整个文件将会被装载。

如果你只想对某些文件进行操作，不要检索全部的文件。

$cacheId = md5($query);
 if (!$resultSet = $cache->load($cacheId)) {
 $hits = $index->find($query);
 $resultSet = array();
 foreach ($hits as $hit) {
 $resultSetEntry          = array();
 $resultSetEntry['id']    = $hit->id;
 $resultSetEntry['score'] = $hit->score;
 
 $resultSet[] = $resultSetEntry;
 }
 
 $cache->save($resultSet, $cacheId);
 }
 
 $publishedResultSet = array();
 for ($resultId = $startId; $resultId < $endId; $resultId++) {
 $publishedResultSet[$resultId] = array(
 'id'    => $resultSet[$resultId]['id'],
 'score' => $resultSet[$resultId]['score'],
 'doc'   => $index->getDocument($resultSet[$resultId]['id']),
 );
 }