自动化部署elasticsearch三节点集群

elasticsearch · 浏览次数 : 8

小编点评

**Elasticsearch 是一个开源的分布式搜索和分析引擎，它提供了一个分布式多租户的全文搜索引擎，具有实时分析功能。** **主要特点：** * **分布式架构：**Elasticsearch 是一个分布式系统，它由多个节点组成，这些节点可以分布在不同的物理服务器上。这使得搜索和分析过程更加快速。 * **实时分析：**Elasticsearch 支持实时分析，这允许用户实时监控搜索结果并根据需要进行调整。 * **多租户：**Elasticsearch 支持多租户，这允许不同的应用程序或用户使用同一套搜索和分析资源。 * **搜索结果缓存：**Elasticsearch 使用缓存技术来缓存搜索结果，这可以提高搜索效率。 * **Java API：**Elasticsearch 提供一个 Java API，允许用户使用 Java 编程语言与搜索和分析功能交互。 **配置步骤：** 1. 安装 Elasticsearch。 2. 配置环境变量 `ES_JAVA_HOME`。 3. 使用 `su` 命令启动 `esadmin` 用户。 4. 修改 `/etc/profile` 文件，设置 `ES_JAVA_HOME`。 5. 使用 `esadmin` 用户启动 Elasticsearch：`su - esadmin -c "/opt/elasticsearch/elasticsearch-7.15.1/bin/elasticsearch -d"`。 **注意：** * Elasticsearch 要求 Java 1.6 或更高版本。 * Elasticsearch 的数据存储在 `/opt/elasticsearch/elasticsearch-7.15.1/` 目录中。 * Elasticsearch 需要配置一个 DNS 服务器，以用于节点之间的通信。

正文

什么是Elasticsearch？

Elasticsearch 是一个开源的分布式搜索和分析引擎，构建在 Apache Lucene 的基础上。它提供了一个分布式多租户的全文搜索引擎，具有实时分析功能。Elasticsearch 最初是用于构建全文搜索引擎，但它的功能已经扩展到包括日志分析、应用程序性能监控、地理信息系统等领域。

以下是 Elasticsearch 的一些主要特点和用途：

全文搜索：Elasticsearch 提供强大的全文搜索功能，可以快速搜索大量文档并返回相关性高的结果。
分布式：Elasticsearch 是一个分布式系统，可以水平扩展到数百台服务器，处理大规模的数据集。
实时性：Elasticsearch 提供实时搜索和分析功能，可以在数据被索引之后立即可用。
多功能：除了全文搜索之外，Elasticsearch 还提供了聚合、过滤、地理位置搜索、自定义标记、实时分析等功能。
可扩展性：Elasticsearch 可以通过插件扩展功能，满足不同场景的需求。
易用性：Elasticsearch 提供了简单的 RESTful API，易于集成到各种应用程序中，并提供了丰富的客户端库。
日志分析：Elasticsearch 通常与 Logstash 和 Kibana（称为 ELK 栈）一起使用，用于实时日志分析和可视化。
应用程序性能监控：Elasticsearch 还可以用于监控应用程序性能，收集和分析指标数据

Elasticsearch的应用场景？

Elasticsearch 的应用场景非常广泛，以下是一些常见的应用场景：

全文搜索引擎：Elasticsearch 提供了强大的全文搜索功能，可以用于构建各种类型的搜索引擎，包括网站搜索、文档搜索、产品搜索等。
日志和事件分析：Elasticsearch 可以用于实时收集、存储和分析大量的日志和事件数据。它与 Logstash 和 Kibana 一起组成 ELK 栈，用于实时日志分析和可视化。
指标和性能监控：Elasticsearch 可以用于收集和分析应用程序和系统的性能指标，帮助开发人员和运维团队监控应用程序的健康状况，并快速定位问题。
内容推荐：基于用户行为和内容特征，Elasticsearch 可以用于实现个性化的内容推荐系统，提供用户喜好的文章、产品或媒体。
电商搜索和推荐：在电商网站中，Elasticsearch 可以用于实现快速、准确的产品搜索，以及基于用户行为的个性化推荐。

Elasticsearch 的架构设计主要涉及以下几个方面：

1. 分布式架构

Elasticsearch 是一个分布式系统，可以水平扩展到多个节点，处理大规模的数据集。它将索引分成多个分片（shard），每个分片可以分布在集群中的不同节点上，从而实现数据的分布式存储和处理。此外，Elasticsearch 还支持副本（replica），用于提高数据的可靠性和可用性。

2. 节点角色

在 Elasticsearch 集群中，每个节点可以担任不同的角色：

主节点（Master Node）：负责集群的管理和协调，包括创建和删除索引、分配分片、故障检测和节点加入/退出等操作。
数据节点（Data Node）：存储数据的节点，负责索引和搜索数据。每个数据节点都保存部分数据分片，并处理搜索请求和索引请求。
协调节点（Coordinating Node）：处理客户端请求的节点，负责路由请求到适当的数据节点，并将结果汇总返回给客户端。

3. 索引和分片

数据在 Elasticsearch 中存储在索引（Index）中，每个索引可以分成多个分片。索引是逻辑上的数据集合，分片是数据的物理存储单元。分片可以水平扩展到多个节点上，实现数据的分布式存储和并行处理。

4. 倒排索引

Elasticsearch 使用倒排索引（Inverted Index）来加速搜索操作。倒排索引是一种数据结构，可以快速地找到包含特定词条的文档。对于每个词条，倒排索引会记录该词条出现在哪些文档中，以及在文档中的位置信息。

5. RESTful API

Elasticsearch 提供了基于 HTTP 的 RESTful API，使用户可以使用简单的 HTTP 请求与 Elasticsearch 进行交互。通过 RESTful API，用户可以执行索引、搜索、聚合、删除等操作，以及管理集群和节点。

6. 插件机制

Elasticsearch 提供了丰富的插件机制，允许用户扩展和定制其功能。用户可以编写自定义插件，添加新的功能或改进现有功能，例如添加新的分析器、查询语法、存储后端等。

自动化部署

部署之前准备必要的jdk,安装包已经打包好了再网盘里面

链接：https://pan.baidu.com/s/1Kfntr0B-vJNIs25ZgqwCdA

提取码：4fsf

到服务器进行解压

tar -zxvf elaticsearch.tar.gz

将下载下来的传到要部署的节点执行

bash -x deploy_elaticsearch.sh ip1 ip2 ip3 1

其中脚本内容如下所示

#!/bin/bash

# 创建esadmin用户，并设置密码
useradd esadmin && echo "esadmin:Ebupt#202401f" | chpasswd

# 创建安装目录并解压Elasticsearch
mkdir -p /opt/elasticsearch/
tar -zxvf elasticsearch-7.15.1-linux-x86_64.tar.gz -C /opt/elasticsearch/

# 创建Elasticsearch数据、日志和仓库目录
mkdir -p /opt/elasticsearch/elasticsearch-7.15.1/es/{data,logs,repo}

# 备份旧的配置文件并写入新的配置文件
mv /opt/elasticsearch/elasticsearch-7.15.1/config/elasticsearch.yml /opt/elasticsearch/elasticsearch-7.15.1/config/elasticsearch.yml.bak
cat <<EOF | sudo tee /opt/elasticsearch/elasticsearch-7.15.1/config/elasticsearch.yml > /dev/null
# 集群和节点配置
cluster.name: es-cluster
node.name: node-$4
node.master: true
node.data: true
node.ingest: true

# 网络和发现配置
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["$1", "$2", "$3"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
discovery.zen.fd.ping_interval: 30s
discovery.zen.fd.ping_timeout: 120s
discovery.zen.fd.ping_retries: 6

# JVM调优
#bootstrap.memory_lock: true
#indices.memory.index_buffer_size: 50%

# 索引和搜索配置
#index.number_of_shards: 5
#index.number_of_replicas: 1
#indices.queries.cache.size: 20%

# 磁盘和文件系统配置
path.data: /opt/elasticsearch/elasticsearch-7.15.1/es/data
path.logs: /opt/elasticsearch/elasticsearch-7.15.1/es/logs
path.repo: /opt/elasticsearch/elasticsearch-7.15.1/es/repo

# 监控和性能调优
xpack.monitoring.enabled: true
thread_pool.search.size: 50
search.max_buckets: 10000

# HTTP跨域设置
http.cors.enabled: true
http.cors.allow-origin: "*"
EOF

# 设置Java参数
echo "-Xms3g" >> /opt/elasticsearch/elasticsearch-7.15.1/config/jvm.options
echo "-Xmx3g" >> /opt/elasticsearch/elasticsearch-7.15.1/config/jvm.options

# 内核优化
echo "esadmin soft nofile 65536" >> /etc/security/limits.conf
echo "esadmin hard nofile 131072c" >> /etc/security/limits.conf
echo "esadmin soft nproc 4096" >> /etc/security/limits.conf
echo "esadmin hard nproc 4096" >> /etc/security/limits.conf
echo "elasticsearch soft memlock unlimited" >> /etc/security/limits.conf
echo "elasticsearch hard memlock unlimited" >> /etc/security/limits.conf

# 查看当前ulimit配置
ulimit -a

#内核优化2
echo "vm.max_map_count=655360" >> /etc/sysctl.conf && sysctl -p

#修改目录权限
chmod -R esadmin /opt/elasticsearch

#添加es_java_home
cat << EOF | sudo tee -a /etc/profile
export ES_JAVA_HOME=/opt/elasticsearch/elasticsearch-7.15.1/jdk
EOF
source /etc/profile
# 使用esadmin用户启动Elasticsearch
su - esadmin -c "/opt/elasticsearch/elasticsearch-7.15.1/bin/elasticsearch -d"