ElasticSearch 实现分词全文检索 - 搜素关键字自动补全(Completion Suggest)

elasticsearch,实现,分词,全文检索,关键字,自动,补全,completion,suggest · 浏览次数 : 498

小编点评

**代码说明** * **`ArticleInfo`** 是一个类，用于存储文章的信息。 * **``IndexResponse`** 是一个类，用于存储搜索结果。 * **````ElasticSearchUtil`** 是一个类，用于与 Elasticsearch 集成。 * **````SpringBoot`** 是一个框架，用于 Spring Boot 应用。 **``articleInfo`** 类** * ``id`** 是一个 String，用于存储文章 ID。 * ```title`** 是一个 String，用于存储文章标题。 * ````author`** 是一个 String，用于存储文章作者。 * `````summary`** 是一个 String，用于存储文章摘要。 * `````content`** 是一个 String，用于存储文章内容。 * `````createTime`** 是一个 Date，用于存储文章创建时间。 **```IndexResponse`** 类** * `````id`**` 是一个 String，用于存储文章 ID。 * `````title`** 是一个 String，用于存储文章标题。 * `````author`** 是一个 String，用于存储文章作者。 * ``````summary`** 是一个 String，用于存储文章摘要。 * ``````content`** 是一个 String，用于存储文章内容。 **```ElasticSearchUtil`** 类** * `````searchClient`** 是一个 ``ElasticSearchClient``，用于与 Elasticsearch 集成。 **````SpringBoot`** 类** * ``````SpringBootApplication`** 是一个 ``SpringBootApplication``，用于启动 Spring Boot 应用。 * ```````````````````````````````

正文

目录

ElasticSearch 实现分词全文检索 - 概述
ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装
ElasticSearch 实现分词全文检索 - Restful基本操作
ElasticSearch 实现分词全文检索 - Java SpringBoot ES 索引操作
ElasticSearch 实现分词全文检索 - Java SpringBoot ES 文档操作
ElasticSearch 实现分词全文检索 - 测试数据准备
ElasticSearch 实现分词全文检索 - term、terms查询
ElasticSearch 实现分词全文检索 - match、match_all、multimatch查询
ElasticSearch 实现分词全文检索 - id、ids、prefix、fuzzy、wildcard、range、regexp 查询
ElasticSearch 实现分词全文检索 - Scroll 深分页
ElasticSearch 实现分词全文检索 - delete-by-query
ElasticSearch 实现分词全文检索 - 复合查询
ElasticSearch 实现分词全文检索 - filter查询
ElasticSearch 实现分词全文检索 - 高亮查询
ElasticSearch 实现分词全文检索 - 聚合查询 cardinality
ElasticSearch 实现分词全文检索 - 经纬度查询
ElasticSearch 实现分词全文检索 - 搜素关键字自动补全(suggest)
ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo 附源码

需求

搜素关键字自动补全(suggest)
输入“人工” 自动带出人工开头的关键字
image

Kibana 界面操作 实现 搜素关键字自动补全(suggest)

ES使用Completion Suggest 做关键字自动补全时，实际应用中搜索性能更加高效，建议多开一个子字段，如下示例，假设要根据title字段做关键字自动补全，不要改原字段的类型，多开一个子字段title.suggest，类型设置为completion，然后之后的suggest针对title.suggest字段做操作

  • Term Suggester：词条建议器。对给输入的文本进进行分词，为每个分词提供词项建议, 基于编辑距离，对analyze过的单个term去提供建议，并不会考虑多个term/词组之间的关系。quert -> query
  • Phrase Suggester：短语建议器，在term的基础上，会考量多个term之间的关系在Term Suggester的基础上，通过ngram以词组为单位返回建议。noble prize -> nobel prize
  • Completion Suggester：它主要针对的应用场景就是"Auto Completion"，FST数据结构，类似Trie树，不用打开倒排，快速返回，前缀匹配
  • Context Suggester：上下文建议器，在Completion Suggester的基础上，用于filter和boost

创建索引

## 创建索引并指定结构
PUT /article-index
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 0
  },
  "mappings": {
    "properties":{
      "id":{
        "type":"keyword"
      },
      "title":{
        "type":"text",
        "analyzer":"ik_max_word",
        "fields": {   # 扩展一个字段，用于关键字自动补全查询
            "suggest" : {
              "type" : "completion",
              "analyzer": "ik_max_word"
            }
          }
      },
      "summary":{
        "type":"text",
        "analyzer":"ik_max_word"
      },
      "createDate":{
        "type":"date",
        "format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd"
      }
    }
  }
}

添加数据

JSON { 括号里面的内容，不能换行 }

# _bulk 批量添加文档
POST /article-index/_doc/_bulk
{"index":{"_id":1}}
{"id":1,"title":"人工智能技术","summary":"ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装","createDate":"2023-02-23"}
{"index":{"_id":2}}
{"id":2,"title":"人工智能软件 Chart GTP","summary":"太极生两仪，两仪生四象，四象生八卦","createDate":"2023-02-23"} 
{"index":{"_id":3}}
{"id":3,"title":"Restful基本操作","summary":"ElasticSearch 实现分词全文检索 - Java SpringBoot ES 索引操作","createDate":"2023-02-23"} 
{"index":{"_id":4}}
{"id":4,"title":"人工呼吸","summary":"ElasticSearch 实现分词全文检索 - 经纬度查询","createDate":"2023-02-23"} 
{"index":{"_id":5}}
{"id":5,"title":"SpringBoot 全文检索实战","summary":"ElasticSearch 实现分词全文检索 - SpringBoot 全文检索实战","createDate":"2023-02-23"}

查询数据

## 查询
GET /article-index/_doc/_search
{
  "suggest": {
    "my-suggest" : {
      "prefix" : "人",
      "completion" : {
        "field" : "title.suggest"
      }
    }
  }
}

返回值--自动带出人开头的关键字

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 3,
    "successful" : 3,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "suggest" : {
    "my-suggest" : [
      {
        "text" : "人",
        "offset" : 0,
        "length" : 1,
        "options" : [
          {
            "text" : "人工呼吸",
            "_index" : "article-index",
            "_type" : "_doc",
            "_id" : "4",
            "_score" : 1.0,
            "_source" : {
              "id" : 4,
              "title" : "人工呼吸",
              "summary" : "ElasticSearch 实现分词全文检索 - 经纬度查询",
              "createDate" : "2023-02-23"
            }
          },
          {
            "text" : "人工智能技术",
            "_index" : "article-index",
            "_type" : "_doc",
            "_id" : "1",
            "_score" : 1.0,
            "_source" : {
              "id" : 1,
              "title" : "人工智能技术",
              "summary" : "ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装",
              "createDate" : "2023-02-23"
            }
          },
          {
            "text" : "人工智能软件 Chart GTP",
            "_index" : "article-index",
            "_type" : "_doc",
            "_id" : "2",
            "_score" : 1.0,
            "_source" : {
              "id" : 2,
              "title" : "人工智能软件 Chart GTP",
              "summary" : "太极生两仪，两仪生四象，四象生八卦",
              "createDate" : "2023-02-23"
            }
          }
        ]
      }
    ]
  }
}

image

JAVA SpringBoot 实现 搜素关键字自动补全(suggest)

创建索引

/**
 * 第一步：系统初始化，创建索引
 * 如果索引不存在，创建，输出
 */
@Test
void createIndexTest() throws Exception {
    boolean indexExists = elasticSearchUtil.indexExists(INDEX_NAME);
    if (!indexExists) {
        try {
            createIndex(INDEX_NAME);
            logger.info("索引【{}】，创建成功", INDEX_NAME);

            //测试效果 可再次查询验证。
            indexExists = elasticSearchUtil.indexExists(INDEX_NAME);
            logger.info("索引【{}】, {}", INDEX_NAME, indexExists ? "验证存在" : "验证不存在");
        } catch (Exception e) {
            logger.error(e.getMessage(), e);
        }
    } else {
        logger.info("索引【{}】已存在，无需创建", INDEX_NAME);
    }
}

/**
 * 创建索引
 *
 * @param indexName
 * @throws Exception
 */
void createIndex(String indexName) throws Exception {
    //准备索引的 settings
    Settings.Builder settings = Settings.builder()
            .put("number_of_shards", INDEX_NUMBER_OF_SHARDS)   //分片数，可以使用常量
            .put("number_of_replicas", esProperties.getReplicasNum()); //是否集群，需要多少副本，在配置文件中配置

    //准备索引的结构 Mappings
    XContentBuilder mappings = JsonXContent.contentBuilder()
            .startObject()
            .startObject("properties")
            .startObject("id").field("type", "keyword").endObject()
            .startObject("title").field("type", "text").field("analyzer", "ik_max_word")
                .startObject("fields").startObject("suggest").field("type", "completion").field("analyzer", "ik_max_word").endObject().endObject()
            .endObject()  //对该字段进行分词
            .startObject("summary").field("type", "text").field("analyzer", "ik_max_word").endObject()  //对该字段进行分词
            .startObject("createDate").field("type", "date").field("format", "yyyy-MM-dd HH:mm:ss").endObject()
            .endObject()
            .endObject();

    CreateIndexResponse resp = elasticSearchUtil.createIndex(indexName, settings, mappings);

    //输出
    logger.info("CreateIndexResponse => {} ", resp.toString());
}

添加数据

/**
 * 第二步：模拟后台管理员，在添加文章时，将要检查的字段内容，同步到ES中
 */
@Test
void addArticleTest() throws Exception {
    Map<Integer, String> titleMap = new HashMap<>();
    titleMap.put(1, "人工智能技术");
    titleMap.put(2, "人工智能软件 Chart GTP");
    titleMap.put(3, "Restful基本操作");
    titleMap.put(4, "Java SpringBoot ES 索引操作");
    titleMap.put(5, "Java SpringBoot ES 文档操作");
    titleMap.put(6, "人工呼吸");
    titleMap.put(7, "SpringBoot 全文检索实战");

    Map<Integer, String> introMap = new HashMap<>();
    introMap.put(1, "ElasticSearch 实现分词全文检索 - 概述");
    introMap.put(2, "ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装");
    introMap.put(3, "ElasticSearch 实现分词全文检索 - Restful基本操作");
    introMap.put(4, "ElasticSearch 实现分词全文检索 - Java SpringBoot ES 索引操作");
    introMap.put(5, "ElasticSearch 实现分词全文检索 - Java SpringBoot ES 文档操作");
    introMap.put(6, "ElasticSearch 实现分词全文检索 - 经纬度查询");
    introMap.put(7, "ElasticSearch 实现分词全文检索 - SpringBoot 全文检索实战");

    //内容
    Map<Integer, String> contentMap = new HashMap<>();
    contentMap.put(1, "【阿里云】尊敬的vipsoft：您有2台云服务器ECS配置升级成功。如有CPU、内存变更或0Mbps带宽升级，您需要在ECS控制台手动重启云服务器后才能生效。");
    contentMap.put(2, "为更好地为您提供服务，温馨提醒：您本月有1次抽奖机会，赢取大额通用流量，月月抽月月领，点击掌厅链接 原URL：http://wap.js.10086.cn/Mq 快来试试你的运气吧，如本月已参与请忽略【江苏移动心级服务，让爱连接】");
    contentMap.put(3, "国家反诈中心提醒：公检法机关会当面向涉案人员出示证件或法律文书，绝对不会通过网络给当事人发送通缉令、拘留证、逮捕证等法律文书，并要求转账汇款。\n" +
            "切记：公检法机关不存在所谓“安全账户”，更不会让你远程转账汇款！");
    contentMap.put(4, "【江苏省公安厅、江苏省通信管理局】温馨提示：近期利用苹果手机iMessage消息冒充熟人、冒充领导换号、添加新微信号等诈骗形式多发。如有收到类似短信，请您谨慎判断，苹果手机用户如无需要可关闭iMessage功能，以免上当受骗。");
    contentMap.put(5, "多一点快乐，少一点懊恼，不管钞票有多少，只有天天开心就好，累了就睡觉，生活的甜苦，自己来调味。收到信息就要开心的笑");
    contentMap.put(6, "黄金周好运每天交，我把祝福来送到：愿您生活步步高，彩票期期中，股票每天涨，生意年年旺，祝您新年新景象!");
    contentMap.put(7, "【阿里云】当你手机响，那是我的问候;当你收到短信，那有我的心声;当你翻阅短信，那有我的牵挂;当你筹备关机时，记得我今天说过周末快乐!");
    contentMap.put(8, "我刚去了一趟银行，取了无数的幸福黄金好运珠宝平安翡翠成功股票健康基金。嘘!别作声，统统的送给你，因为我想提“钱”祝你国庆节快乐!");
    contentMap.put(9, "一个人的精彩，一个人的打拼，一个人的承载，一个人的舞蹈。光棍节送你祝福，不因你是光棍，只因你生活色彩。祝你：快乐打拼，生活出彩!");
    contentMap.put(10, "爆竹响激情燃放，雪花舞祥风欢畅，烟火腾期待闪亮，感动涌心中激荡，心情美春节冲浪，愿景好心中珍藏，祝与福短信奉上：祝您身体健康，兔年吉祥!");

    //模似7次 添加文章
    for (int i = 1; i <= 7; i++) {
        ArticleInfo article = new ArticleInfo();
        article.setId(String.valueOf(i));
        article.setTitle(titleMap.get(i));
        article.setAuthor("VipSoft");
        article.setSummary(introMap.get(i));
        article.setContent(contentMap.get(i));
        article.setCreateTime(new Date());
        //将article 保存到 MySQL --- 省略
        boolean flag = true; //保存数据到 MySQL 数据库成功
        if (flag) {
            //将需要查询的数据，赋给DTO，更新到 ES中
            ArticleDTO articleDTO = new ArticleDTO();
            BeanUtils.copyProperties(article, articleDTO);
            String json = JSON.toJSONStringWithDateFormat(articleDTO, "yyyy-MM-dd HH:mm:ss"); //FastJson 将日期格式化
            IndexResponse resp = elasticSearchUtil.createDoc(INDEX_NAME, articleDTO.getId(), json);
            logger.info(" {}", resp.getResult().toString());
        }
    }
}

查询数据

/**
 * 第三步：模拟用户搜索，输入关键词“人”，带出和人有关的关键词
 */
@Test
void earchTest() throws Exception {
    List<String>  resp = elasticSearchUtil.suggest(INDEX_NAME, "title.suggest", "人", 2);
    //4. 获取到 _source 中的数据，并展示
    for (String hit : resp) {
        System.out.println(hit);
    }
}

/**
 * 自动补全 根据用户的输入联想到可能的词或者短语
 *
 * @param indexName 索引名称
 * @param field     搜索条件字段
 * @param keywords  搜索关键字
 * @param size      匹配数量
 * @return
 * @throws Exception
 */
public List<String> suggest(String indexName, String field, String keywords, int size) throws Exception {
    //定义返回
    List<String> suggestList = new ArrayList<>();
    //构建查询请求
    SearchRequest searchRequest = new SearchRequest(indexName);
    //通过查询构建器定义评分排序
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    searchSourceBuilder.sort(new ScoreSortBuilder().order(SortOrder.DESC));
    //构造搜索建议语句,搜索条件字段
    CompletionSuggestionBuilder completionSuggestionBuilder = new CompletionSuggestionBuilder(field);
    //搜索关键字
    completionSuggestionBuilder.prefix(keywords);
    //去除重复
    completionSuggestionBuilder.skipDuplicates(true);
    //匹配数量
    completionSuggestionBuilder.size(size);
    searchSourceBuilder.suggest(new SuggestBuilder().addSuggestion("article-suggest", completionSuggestionBuilder));
    //article-suggest为返回的字段，所有返回将在article-suggest里面，可写死,sort按照评分排序
    searchRequest.source(searchSourceBuilder);
    //定义查找响应
    SearchResponse suggestResponse = esClient.search(searchRequest, RequestOptions.DEFAULT);
    //定义完成建议对象
    CompletionSuggestion completionSuggestion = suggestResponse.getSuggest().getSuggestion("article-suggest");
    List<CompletionSuggestion.Entry.Option> optionsList = completionSuggestion.getEntries().get(0).getOptions();
    //从optionsList取出结果
    if (!CollectionUtils.isEmpty(optionsList)) {
        optionsList.forEach(item -> suggestList.add(item.getText().toString()));
    }
    return suggestList;
}

image

ElasticSearchUtil 代码见 - SpringBoot 完整实现 Demo 附源码

elasticsearch 实现 分词 全文检索 关键字 自动 补全 completion suggest

与ElasticSearch 实现分词全文检索 - 搜素关键字自动补全(Completion Suggest)相似的内容：

ElasticSearch 实现分词全文检索 - 搜素关键字自动补全(Completion Suggest)

ES使用Completion Suggest 做关键字自动补全时，实际应用中搜索性能更加高效，建议多开一个子字段，如下示例，假设要根据title字段做关键字自动补全，不要改原字段的类型，多开一个子字段title.suggest，类型设置为completion，然后之后的suggest针对title.suggest字段做操作

elasticsearch 实现 分词 全文检索
498
ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo 附源码【完结篇】

搜素关键字自动补全(suggest)，分词全文搜索 系统初始化，ElasticSearch ES 创建索引（EsIndexTest.createIndexTest） 模拟后台管理员，在添加文章时，将要检查的字段内容，同步到ES中（EsIndexTest.addArticleTest） 模拟用户搜索，在搜索框中查关键词“人工”（EsIndexTest.earchTest）

elasticsearch 实现 分词 全文检索
1052
ElasticSearch 实现分词全文检索 - 概述

ES 是一个使用Java语言并且基于Lucene编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于Restful风格的WEB接口，官方客户端也对多种语言都提供了相应的API。

elasticsearch 实现 分词 全文检索
700
ElasticSearch 实现分词全文检索 - ES、Kibana、IK分词器安装

先把zip下载下来。放到任意一台服务器（直接github上下载多数会失败）elasticsearch-plugin install http://172.16.0.183:8899/Java/elasticsearch-analysis-ik-7.9.3.zip

elasticsearch 实现 分词 全文检索
507
ElasticSearch 实现分词全文检索 - Restful基本操作

GET 请求: ``` http://ip:port/index: 查询索引信息 http://ip;port/index/type/doc_id: 查询指定的文档信息 ``` POST 请求: ``` http://ip;port/index/type/_search: 查询文档，可以在请求体中添加json字符串来代表查询条件 http://ip;port/index/type/doc_id/

elasticsearch 实现 分词 全文检索
196
ElasticSearch 实现分词全文检索 - Java SpringBoot ES 索引操作

//1. 准备索引的 settings Settings.Builder settings = Settings.builder() //2. 准备索引的结构 Mappings XContentBuilder mappings = JsonXContent.contentBuilder() //3. 将 Settings 和 Mappings 封装到一个Request 对象中

elasticsearch 实现 分词 全文检索
307
ElasticSearch 实现分词全文检索 - Java SpringBoot ES 文档操作

//准备一个Request对象 IndexRequest request = new IndexRequest(indexName); request.id(person.getId().toString()); //手动指定ID request.source(personJson, XContentType.JSON); //通过 Client 对象执行

elasticsearch 实现 分词 全文检索
257
ElasticSearch 实现分词全文检索 - 测试数据准备

String json = JSON.toJSONStringWithDateFormat(sms, "yyyy-MM-dd HH:mm:ss"); FastJson 将日期格式化 BulkRequest bulkRequest = new BulkRequest(); Integer idx = 1; for (String json : jsonList) {

elasticsearch 实现 分词 全文检索
221
ElasticSearch 实现分词全文检索 - term、terms查询

term 查询 term的查询是代表完全匹配，搜索之前不会对你搜索的关键字进行分词，对你的关键字去文档分词库中的去匹配内容 terms和term的查询机制是一样，都不会将指定的查询关键字进行分词，直接去分词库中匹配，找到相应文档内容。 terms是在针对一个字段包含多个值的时候使用。 term: where province = 江苏 terms: where province = 江苏 or p

elasticsearch 实现 分词 全文检索
367
ElasticSearch 实现分词全文检索 - match、match_all、multimatch查询

match查询属于高层查询，他会根据你查询的字段类型不一样，采用不同的查询方式。 - 查询的是日期或者是数值的话，他会将你基于的字符串查询内容转换为日期或者数值对待。 - 如果查询的内容是一个不能被分词的内容 (keyword) ，match查询不会对你指定的查询关键字进行分词。 - 如果查询的内容时一个可以被分词的内容 (text)，match会将你指定的查询内容根据一定的方式去分词，去分词库中

elasticsearch 实现 分词 全文检索
311
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.