ElasticSearch 实现分词全文检索 - match、match_all、multimatch查询

elasticsearch,实现,分词,全文检索,match,all,multimatch,查询 · 浏览次数 : 311

小编点评

**ElasticSearch 实现分词全文检索** **简介** ElasticSearch 是一个基于 JSON 的搜索引擎,它提供全文搜索功能,允许您在搜索中使用自然语言表达查询。 **安装和配置** ```bash # 安装依赖库 npm install elasticsearch # 配置环境变量 export ES_HOST="localhost:9200" export ES_INDEX_NAME="sms-logs-index" # 启动 Elasticsearch 服务 docker run -p 9200:9200 -e ES_HEAP_SIZE_MB=1g elasticsearch/elasticsearch ``` **RESTful 基本操作** ```java // 创建搜索请求 SearchRequest request = new SearchRequest(indexName); // 添加查询条件 request.query(QueryBuilders.matchAllQuery()); // 设置搜索大小 request.size(10); // 执行搜索 SearchResultResponse response = client.search(request, RequestOptions.DEFAULT); // 打印搜索结果 for (SearchHit hit : response.getHits().getHits()) { // 获取搜索结果中的每个字段的值 Map result = hit.getSourceAsMap(); System.out.println(result); } ``` **Java SpringBoot ES 索引操作** ```java @Autowired private ElasticsearchClient client; // 创建搜索请求 SearchRequest request = new SearchRequest(indexName); // 添加查询条件 request.query(QueryBuilders.matchQuery("title", "Java")); // 设置搜索大小 request.size(10); // 执行搜索 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 打印搜索结果 for (SearchHit hit : response.getHits().getHits()) { // 获取搜索结果中的每个字段的值 Map result = hit.getSourceAsMap(); System.out.println(result); } ``` **Java SpringBoot ES 文档操作** ```java // 获取文档 Document document = client.get(indexName, id); // 设置文档的属性 document.put("title", "Elasticsearch")); // 提交更新请求 client.index(indexName, id, document); // 获取文档 document = client.get(indexName, id); // 设置文档的属性 document.put("price", 199.99); // 提交更新请求 client.index(indexName, id, document); ``` **多字段匹配** ```java // 创建搜索请求 SearchRequest request = new SearchRequest(indexName); // 添加多字段查询条件 request.query(QueryBuilders.multiMatchQuery("field1", "value1", "field2", "value2")); // 设置搜索大小 request.size(10); // 执行搜索 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 打印搜索结果 for (SearchHit hit : response.getHits().getHits()) { // 获取搜索结果中的每个字段的值 Map result = hit.getSourceAsMap(); System.out.println(result); } ``` **总结** 使用 Elasticsearch 可以轻松实现分词全文检索,并通过 RESTful API 或 Java SpringBoot 代码轻松操作它。

正文

目录

ElasticSearch 实现分词全文检索 - 概述
ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装
ElasticSearch 实现分词全文检索 - Restful基本操作
ElasticSearch 实现分词全文检索 - Java SpringBoot ES 索引操作
ElasticSearch 实现分词全文检索 - Java SpringBoot ES 文档操作
ElasticSearch 实现分词全文检索 - 测试数据准备
ElasticSearch 实现分词全文检索 - term、terms查询
ElasticSearch 实现分词全文检索 - match、match_all、multimatch查询
ElasticSearch 实现分词全文检索 - id、ids、prefix、fuzzy、wildcard、range、regexp 查询
ElasticSearch 实现分词全文检索 - Scroll 深分页
ElasticSearch 实现分词全文检索 - delete-by-query
ElasticSearch 实现分词全文检索 - 复合查询
ElasticSearch 实现分词全文检索 - filter查询
ElasticSearch 实现分词全文检索 - 高亮查询
ElasticSearch 实现分词全文检索 - 聚合查询 cardinality
ElasticSearch 实现分词全文检索 - 经纬度查询
ElasticSearch 实现分词全文检索 - 搜素关键字自动补全(suggest)
ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo 附源码

数据准备

ElasticSearch 实现分词全文检索 - 测试数据准备

match 查询

match查询属于高层查询,他会根据你查询的字段类型不一样,采用不同的查询方式。

  • 查询的是日期或者是数值的话,他会将你基于的字符串查询内容转换为日期或者数值对待。
  • 如果查询的内容是一个不能被分词的内容 (keyword) ,match查询不会对你指定的查询关键字进行分词。
  • 如果查询的内容时一个可以被分词的内容 (text),match会将你指定的查询内容根据一定的方式去分词,去分词库中匹配指定的内容。

match查询,实际底层就是多个term查询,将多个term查询的结果给你封装到了一起

match_all 查询

查出全部内容,不指定任何查询条件。

# match_all 查询
POST /sms-logs-index/_search
{
  "query":{
    "match_all": { #不指定,查出全部内容(如果数据比较多,默认只查出 10 条)
    }
  }
}

Java

@Test
void matchAllQuery() throws Exception{
    String indexName = "sms-logs-index";
    RestHighLevelClient client = ESClient.getClient();

    //1. 创建Request对象
    SearchRequest request = new SearchRequest(indexName);

    //2. 指定查询条件
    SearchSourceBuilder builder = new SearchSourceBuilder();
    builder.query(QueryBuilders.matchAllQuery());
    builder.size(20); //ES 默认只查询10条数据,如果想查询更多,添加 Size
    request.source(builder);

    //3. 执行查询
    SearchResponse resp = client.search(request, RequestOptions.DEFAULT);

    //4. 获取到 _source 中的数据,并展示
    for (SearchHit hit : resp.getHits().getHits()) {
        Map<String, Object> result = hit.getSourceAsMap();
        System.out.println(result);
    }
}

march 查询

周末快乐 => 周末,周,末,快乐
指定 feild 做为查询条件

POST /sms-logs-index/_search
{
  "query":{
    "match": {
      "smsContent": "周末快乐" #先分词,再查询
    }
  }
}

image
image

@Test
void matchQuery() throws Exception{
    String indexName = "sms-logs-index";
    RestHighLevelClient client = ESClient.getClient();

    //1. 创建Request对象
    SearchRequest request = new SearchRequest(indexName);

    //2. 指定查询条件
    SearchSourceBuilder builder = new SearchSourceBuilder();
    builder.query(QueryBuilders.matchQuery("smsContent","周末快乐"));
    builder.size(20); //ES 默认只查询10条数据,如果想查询更多,添加 Size
    request.source(builder);

    //3. 执行查询
    SearchResponse resp = client.search(request, RequestOptions.DEFAULT);

    //4. 获取到 _source 中的数据,并展示
    for (SearchHit hit : resp.getHits().getHits()) {
        Map<String, Object> result = hit.getSourceAsMap();
        System.out.println(result);
    }
}

布尔match 查询

基于一个Field匹配的内容,采用 and或 or 的方式 连接

POST /sms-logs-index/_search
{
  "query":{
    "match": {
      "smsContent":{
        "query": "开心 快乐",  #内容包括开心 并且 包括快乐
        "operator": "and"
      }
    }
  }
}

Java

@Test
void booleanMatchQuery() throws Exception{
    String indexName = "sms-logs-index";
    RestHighLevelClient client = ESClient.getClient();

    //1. 创建Request对象
    SearchRequest request = new SearchRequest(indexName);

    //2. 指定查询条件
    SearchSourceBuilder builder = new SearchSourceBuilder();
    builder.query(QueryBuilders.matchQuery("smsContent","开心 快乐").operator(Operator.AND)); //多个.operator(Operator.AND)
    builder.size(20); //ES 默认只查询10条数据,如果想查询更多,添加 Size
    request.source(builder);

    //3. 执行查询
    SearchResponse resp = client.search(request, RequestOptions.DEFAULT);

    //4. 获取到 _source 中的数据,并展示
    for (SearchHit hit : resp.getHits().getHits()) {
        Map<String, Object> result = hit.getSourceAsMap();
        System.out.println(result);
    }
}

multi_match 查询

match 针对一个field做检索,multi_match 针对多个 field 进行检索。多个 field 对应一个text

# 布尔match 查询
POST /sms-logs-index/_search
{
  "query":{
    "multi_match": {
      "query": "江苏",  #指定 text
      "fields": ["province","smsContent"] #指定field
    }
  }
}

Java

@Test
void multiMatchQuery() throws Exception{
    String indexName = "sms-logs-index";
    RestHighLevelClient client = ESClient.getClient();

    //1. 创建Request对象
    SearchRequest request = new SearchRequest(indexName);

    //2. 指定查询条件
    SearchSourceBuilder builder = new SearchSourceBuilder();
    builder.query(QueryBuilders.multiMatchQuery("江苏","province","smsContent"));
    builder.size(20); //ES 默认只查询10条数据,如果想查询更多,添加 Size
    request.source(builder);

    //3. 执行查询
    SearchResponse resp = client.search(request, RequestOptions.DEFAULT);

    //4. 获取到 _source 中的数据,并展示
    for (SearchHit hit : resp.getHits().getHits()) {
        Map<String, Object> result = hit.getSourceAsMap();
        System.out.println(result);
    }
}

与ElasticSearch 实现分词全文检索 - match、match_all、multimatch查询相似的内容:

ElasticSearch 实现分词全文检索 - match、match_all、multimatch查询

match查询属于高层查询,他会根据你查询的字段类型不一样,采用不同的查询方式。 - 查询的是日期或者是数值的话,他会将你基于的字符串查询内容转换为日期或者数值对待。 - 如果查询的内容是一个不能被分词的内容 (keyword) ,match查询不会对你指定的查询关键字进行分词。 - 如果查询的内容时一个可以被分词的内容 (text),match会将你指定的查询内容根据一定的方式去分词,去分词库中

ElasticSearch 实现分词全文检索 - delete-by-query

delete-by-query 根据 term、match 等查询方式去删除大量的文档 > 如果需要删除的内容,是index下的大部分数据,不建议使用,因为去匹配文档时还是一个一个的拿到文档ID,去删除 推荐创建一个全新的index,将保留的文档内容,添加到全新的索引中

ElasticSearch 实现分词全文检索 - 概述

ES 是一个使用Java语言并且基于Lucene编写的搜索引擎框架,他提供了分布式的全文搜索功能,提供了一个统一的基于Restful风格的WEB接口,官方客户端也对多种语言都提供了相应的API。

ElasticSearch 实现分词全文检索 - ES、Kibana、IK分词器安装

先把zip下载下来。放到任意一台服务器(直接github上下载多数会失败)elasticsearch-plugin install http://172.16.0.183:8899/Java/elasticsearch-analysis-ik-7.9.3.zip

ElasticSearch 实现分词全文检索 - Restful基本操作

GET 请求: ``` http://ip:port/index: 查询索引信息 http://ip;port/index/type/doc_id: 查询指定的文档信息 ``` POST 请求: ``` http://ip;port/index/type/_search: 查询文档,可以在请求体中添加json字符串来代表查询条件 http://ip;port/index/type/doc_id/

ElasticSearch 实现分词全文检索 - Java SpringBoot ES 索引操作

//1. 准备索引的 settings Settings.Builder settings = Settings.builder() //2. 准备索引的结构 Mappings XContentBuilder mappings = JsonXContent.contentBuilder() //3. 将 Settings 和 Mappings 封装到一个Request 对象中

ElasticSearch 实现分词全文检索 - Java SpringBoot ES 文档操作

//准备一个Request对象 IndexRequest request = new IndexRequest(indexName); request.id(person.getId().toString()); //手动指定ID request.source(personJson, XContentType.JSON); //通过 Client 对象执行

ElasticSearch 实现分词全文检索 - 测试数据准备

String json = JSON.toJSONStringWithDateFormat(sms, "yyyy-MM-dd HH:mm:ss"); FastJson 将日期格式化 BulkRequest bulkRequest = new BulkRequest(); Integer idx = 1; for (String json : jsonList) {

ElasticSearch 实现分词全文检索 - term、terms查询

term 查询 term的查询是代表完全匹配,搜索之前不会对你搜索的关键字进行分词,对你的关键字去文档分词库中的去匹配内容 terms和term的查询机制是一样,都不会将指定的查询关键字进行分词,直接去分词库中匹配,找到相应文档内容。 terms是在针对一个字段包含多个值的时候使用。 term: where province = 江苏 terms: where province = 江苏 or p

ElasticSearch 实现分词全文检索 - id、ids、prefix、fuzzy、wildcard、range、regexp 查询

fuzzy查询:模糊查询,我们输入字符的大概,ES就可以 wildcard 查询:通配查询,和MySQL中的 like 差不多,可以在查询时,在字符串中指定通配符 * 和占位符? range 查询:范围查询,只针对数值类型,对某一个Field进行大于或小于的范围指定查询 regexp 查询: 正则查询,通过你编写的正则表达式去匹配内容