es 分词算法

es 分词算法

Elasticsearch 分词算法详解

一、引言

Elasticsearch（简称 ES）是一个基于 Lucene 的开源搜索引擎，广泛应用于全文搜索、日志分析等场景。分词是搜索引擎中的关键步骤之一，它决定了文档如何被索引和查询。本文将详细介绍 Elasticsearch 中的分词算法及其相关概念。

二、基本概念

1. 分词器（Tokenizer）：将输入的文本字符串分割成一系列独立的单词或词组的过程称为分词。分词器负责执行这一操作。
2. 过滤器（Filter）：对分词后的结果进行进一步处理，如小写转换、去除停用词等。
3. 分析器（Analyzer）：由分词器和一组过滤器组成，用于定义如何将文本转换为索引项（tokens）。

三、内置分词器与过滤器

Elasticsearch 提供了多种内置的分词器和过滤器，以满足不同的需求。

1. 标准分词器（Standard Analyzer）：默认分词器，按照空格、标点符号等进行简单分词。

   • 分词器：standard
   • 常用过滤器：lowercase, stop, kstem, porter_stem 等

2. 空白分词器（Whitespace Analyzer）：仅按空格进行分词，保留所有符号。

   • 分词器：whitespace

3. IK 分词器：中文分词插件，支持细粒度和粗粒度两种分词模式。

   • 分词器：ik_smart, ik_max_word

4. 字母数字分词器（Letter Analyzer）：仅保留字母和数字字符，其余均作为分隔符。

   • 分词器：letter

5. 小写分词器（Lowercase Tokenizer）：将所有字符转为小写，不进行分词。

   • 分词器：lowercase

6. 常用过滤器：

   • lowercase：将所有字符转为小写。
   • stop：移除停用词（如“的”、“了”等）。
   • asciifolding：将非 ASCII 字符折叠为 ASCII 字符。
   • synonym：同义词替换。

四、自定义分析器

当内置的分析器无法满足特定需求时，可以创建自定义分析器。

在上面的示例中，我们创建了一个名为 custom_analyzer 的自定义分析器，它使用标准的分词器并应用了小写转换和停用词过滤。

五、分词算法示例

以下是如何在 Elasticsearch 中使用 IK 分词器对中文文本进行分词的示例。

1. 安装 IK 分词插件：

   ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.10.2/elasticsearch-analysis-ik-7.10.2.zip

2. 创建索引并使用 IK 分词器：

   PUT /chinese_index { "settings": { "analysis": { "analyzer": { "ik": { "tokenizer": "ik_max_word" } } } }, "mappings": { "properties": { "content": { "type": "text", "analyzer": "ik" } } } }

3. 添加文档并进行查询：

   POST /chinese_index/_doc/1 { "content": "我爱自然语言处理" } GET /chinese_index/_search { "query": { "match": { "content": "自然语言" } } }

在上述例子中，IK 分词器会将“我爱自然语言处理”分词为“我”，“爱”，“自然”，“语言”，“处理”，因此查询“自然语言”会匹配到该文档。

六、总结

Elasticsearch 提供了丰富的分词算法和工具，能够满足各种复杂的文本处理需求。通过合理配置和使用这些分词器和过滤器，可以显著提高搜索的准确性和效率。希望本文能帮助你更好地理解和使用 Elasticsearch 的分词功能。