当前位置： 首页 > news >正文

ES原理、zookeeper、kafka

news 2025/10/20 21:46:19
ES原理、zookeeper、kafka

ES高级

ES底层原理

协调节点是 Elasticsearch 中接收客户端请求、将请求转发到相关数据节点、并汇总最终结果返回给客户端的中心路由节点

Cluster State 是 Elasticsearch 集群的元数据大脑，它记录了所有索引的设置、映射、节点信息等全局性配置

Pipeline 是 Elasticsearch 在索引文档（写入）前，对原始文档进行一系列预处理（如解析、转换、丰富数据）的一个工作流或过滤器集合

单个文档读取流程

image

多个文档读取流程

image

文档写入流程

image

ES底层分片存储原理剖析

  • Lucene 是驱动 Elasticsearch 实现高效倒排索引和快速全文搜索的底层核心搜索引擎库
  • Segment 是 Lucene 底层的、不可变的最小索引单元，一个分片由多个 Segment 组成，每次搜索都会遍历所有 Segment
  • 预写日志(WAL)主要记录的是所有未持久化到磁盘的最新数据操作，用于在系统崩溃时恢复分片，防止数据丢失
  • Checkpoint 会对比 最后一次磁盘提交点 和 Translog 中最后的操作序列号，将提交点之后的所有数据刷新到磁盘，并截断旧的 Translog
  • 出现 “searchable” 和 “unsearchable” 状态的根本原因，并不是一个技术缺陷，而是一个经过深思熟虑的架构设计：
    • 如果你想要极快的写入速度，就不能每次写入都直接落盘和刷新索引。
    • 如果你想要数据不丢失，就需要一个像 Translog 这样的“备忘录”。
    • 如果你想要高效的搜索，就需要 immutable（不可变）的索引结构以便缓存
  • 出现 “unsearchable” 状态，是因为数据已经成功写入了“备忘录”，但还没有被加工成“正式档案”
    • 数据先放入内存缓冲区，批量处理后再生成 Segment（就是在这个时间段造成了 unsearchable 的情况）
    • 数据先放入内存缓冲区，同时生成一个日志，如果只写入了日志而没有生成 segment，就会造成unsearchable

image

  ES集群加密

 ES集群加密认证（建议先拍摄快照）

  • 1.生成证书文件
[root@elk91 ~]# /usr/share/elasticsearch/bin/elasticsearch-certutil cert --days 3650 -out \
/etc/elasticsearch/myconfig/elastic-certificates.p12 -pass ""
Directory /etc/elasticsearch/myconfig does not exist. Do you want to create it? [Y/n]Yelasticsearch-certutil：Elasticsearch内置的PKI证书工具（专门用于生成和管理Elasticsearch 集群的SSL/TLS证书）cert：表示生成证书--days 3650：证书有效期（10年）-out /etc/elasticsearch/myconfig/elastic-certificates.p12：指定生成的证书文件保存位置指定生成的证书文件保存位置-pass ""：密钥库密码（空密码）
  • 2.查看证书文件属主和属组并同步到其他节点
# 查看证书文件属主和组
[root@elk91 ~]# ll /etc/elasticsearch/myconfig/
-rw------- 1 root elasticsearch 3596 Oct 20 17:47 elastic-certificates.p12
[root@elk91 ~]# chmod +r /etc/elasticsearch/myconfig/elastic-certificates.p12
[root@elk91 ~]# ll /etc/elasticsearch/myconfig/
-rw-r--r-- 1 root elasticsearch 3596 Oct 20 17:47 elastic-certificates.p12# 同步证书到其他节点
[root@elk91 ~]# scp -r /etc/elasticsearch/myconfig/ root@10.0.0.92:/etc/elasticsearch/
[root@elk91 ~]# scp -r /etc/elasticsearch/myconfig/ root@10.0.0.93:/etc/elasticsearch/

 

  • 3.修改ES集群的配置文件并同步到其他节点（在最后一行添加）
# 启用 Elasticsearch 安全功能（包括认证和授权）
xpack.security.enabled: true
# 启用节点间通信的传输层 SSL 加密
xpack.security.transport.ssl.enabled: true
# 节点间 SSL 验证模式为检查证书有效性（不验证主机名）
xpack.security.transport.ssl.verification_mode: certificate
# 指定 SSL 密钥库路径（包含节点证书和私钥）
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/myconfig/elastic-certificates.p12
# 指定 SSL 信任库路径（包含受信任的 CA 证书）
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/myconfig/elastic-certificates.p12[root@elk91 ~]# scp /etc/elasticsearch/elasticsearch.yml root@10.0.0.92:/etc/elasticsearch/elasticsearch.yml
[root@elk91 ~]# scp /etc/elasticsearch/elasticsearch.yml root@10.0.0.93:/etc/elasticsearch/elasticsearch.yml

 

 

  • 4.重启所有节点ES集群、检查端口、访问测试
# 重启所有节点ES集群
[root@elk91/elk92/elk93 ~]# systemctl restart elasticsearch.service# 检查端口是否更新
[root@elk91/elk92/elk93 ~]# ss -lntup |grep "9[2|3]00"# 测试访问ES集群（访问被拒绝且状态码为401，则ES集群加密成功）
curl 10.0.0.93:9200/_cat/nodes  # 报错
curl 10.0.0.93:9200/_cat/nodes  # 报错

 

  • 5.生成ES的随机密码（此密码不可随意外泄）
[root@elk91 ~]# /usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto
warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
Initiating the setup of passwords for reserved users elastic,apm_system,kibana,kibana_system,logstash_system,beats_system,remote_monitoring_user.
The passwords will be randomly generated and printed to the console.
Please confirm that you would like to continue [y/N]y
Changed password for user apm_system
PASSWORD apm_system = HwysXjWaUn46LUFTp8jP
Changed password for user kibana_system
PASSWORD kibana_system = t63x4qAi4XiBUrg0OP8R
Changed password for user kibana
PASSWORD kibana = t63x4qAi4XiBUrg0OP8R
Changed password for user logstash_system
PASSWORD logstash_system = O8canAcjtjSPdsCM7wmJ
Changed password for user beats_system
PASSWORD beats_system = qtwns3ToQ3Cp3AfWDK7f
Changed password for user remote_monitoring_user
PASSWORD remote_monitoring_user = rch4vrN5D7qNQ4m1sPn1
Changed password for user elastic
PASSWORD elastic = P0wnK8EySuwva3f4371M

 

  • 6.使用密码访问ES集群
[root@elk91 ~]# curl -u elastic:P0wnK8EySuwva3f4371M 10.0.0.93:9200/_cat/nodes
10.0.0.93 65 65 9 0.00 0.13 0.17 cdfhilmrstw * elk93
10.0.0.91 69 89 13 0.03 0.68 0.71 cdfhilmrstw - elk91
10.0.0.92 70 56 8 0.06 0.19 0.22 cdfhilmrstw - elk92

 

 kibana页面登录认证及elastic密码修改

# 1.修改kibana的配置文件
[root@elk91 ~]# vim /etc/kibana/kibana.yml
elasticsearch.username: "kibana_system"
elasticsearch.password: "t63x4qAi4XiBUrg0OP8R"# 2.重启kibana服务
[root@elk91 ~]# systemctl restart kibana.service # 3.检查kibana服务是否监听
[root@elk91 ~]# ss -lntup |grep 5601

 

image

postman访问ES加密集群

image

filebeat访问ES加密集群

[root@elk93 ~]# cat /etc/filebeat/myconfig/tcp-to-elasticsearch-custom-index.yaml 
filebeat.inputs:
- type: tcphost: "0.0.0.0:9000"
output.elasticsearch:hosts: - "http://10.0.0.91:9200"- "http://10.0.0.92:9200"- "http://10.0.0.93:9200"index: "yuanxiaojiang-customindex-tcp%{+yyyy.MM.dd}"username: "elastic"password: "123456"setup.ilm.enabled: false
setup.template.name: "yuanxiaojiang-customindex"
setup.template.pattern: "yuanxiaojiang-customindex-tcp*"
setup.template.overwrite: false
setup.template.settings:index.number_of_shards: 3index.number_of_replicas: 0

 

logstash访问ES加密集群

[root@elk93 ~]# cat /etc/logstash/myconfig/my_patterns.conf 
input {file {path => "/tmp/patterns.log"start_position => "beginning"}
}
filter {grok {patterns_dir => ["/etc/logstash/my-patterns/"]match => {"message" => "%{SCHOOL:school_name} %{CLASS:class_name} %{YEAR:enroll_year} %{TERM:term}"}}
}
output {stdout {}
}
[root@elk93 ~]# logstash -rf /etc/logstash/myconfig/tcp-to-es.conf
[root@elk93 ~]# echo "logstash---> www.yuanxiaojiang.com" | nc 10.0.0.93 8888

 

kibana的RBAC（基于角色的访问控制）

image

ES集群API

ES集群API查看

[root@elk91 ~]# curl -su elastic:123456 10.0.0.91:9200/_cluster/health |jq
{"cluster_name": "my-application","status": "green","timed_out": false,"number_of_nodes": 3,"number_of_data_nodes": 3,"active_primary_shards": 49,"active_shards": 71,"relocating_shards": 0,"initializing_shards": 0,"unassigned_shards": 0,"delayed_unassigned_shards": 0,"number_of_pending_tasks": 0,"number_of_in_flight_fetch": 0,"task_max_waiting_in_queue_millis": 0,"active_shards_percent_as_number": 100
}

 

ES集群API相关参数说明

https://www.elastic.co/guide/en/elasticsearch/reference/7.17/cluster-health.html

 

 

cluster_name：集群的名称
status：集群的健康状态（基于其主分片和副本分片的状态）ES集群有以下三种状态:green：所有分片都已分配yellow所有主分片都已分配，但一个或多个副本分片未分配如果集群中的某个节点发生故障，则在修复该节点之前，某些数据可能不可用red一个或多个主分片未分配，因此某些数据不可用。这可能会在集群启动期间短暂发生，因为分配了主分片
timed_out：是否在参数false指定的时间段内返回响应（默认情况下30秒）
number_of_nodes：集群内的节点数
number_of_data_nodes：作为专用数据节点的节点数
active_primary_shards：可用主分片的数量
active_shards：可用主分片和副本分片的总数
relocating_shards：正在重定位的分片数
initializing_shards：正在初始化的分片数
unassigned_shards：未分配的分片数
delayed_unassigned_shards：分配因超时设置而延迟的分片数
number_of_pending_tasks：尚未执行的集群级别更改的数量
number_of_in_flight_fetch：未完成的提取次数
task_max_waiting_in_queue_millis：自最早启动的任务等待执行以来的时间（以毫秒为单位）
active_shards_percent_as_number：集群中活动分片的比率，以百分比表示

 

 

ELasticStack之ELFK架构存在的瓶颈

资源利用不足;
耦合性太强;
高峰期时间较短，峰值较短;- 11:40~13:30   35M  ----> 2GB12:30 ~ 13:00- 19:00 ~ 22:0020:00 ~ 21:30

 

image

image

image

zookeeper集群搭建

zookeeper集群规模选择

如果读的请求大约在75%以下，建议选择3台

参考连接：https://zookeeper.apache.org/doc/current/zookeeperOver.html

zookeeper集群搭建

# 下载zookeeper
[root@elk91 ~]# wget https://dlcdn.apache.org/zookeeper/zookeeper-3.9.4/apache-zookeeper-3.9.4-bin.tar.gz# 创建工作目录
[root@elk91 ~]# mkdir -p /my-zookeeper/{softwares,data,logs}/
[root@elk91 ~]# mkdir -p /my-zookeeper/{softwares,data,logs}/
[root@elk91 ~]# mkdir -p /my-zookeeper/{softwares,data,logs}/
# 解压软件包
[root@elk91 ~]# tar xf apache-zookeeper-3.9.4-bin.tar.gz -C /my-zookeeper/softwares/# 修改zookeeper的集群地址
[root@elk91 ~]# cp /my-zookeeper/softwares/apache-zookeeper-3.9.4-bin/conf/zoo_sample{.cfg,.cfg.bak}
[root@elk91 ~]# vim /my-zookeeper/softwares/apache-zookeeper-3.9.4-bin/conf/zoo_sample.cfg
tickTime=2000  # 定义最小单元的时间tick（ms）
initLimit=10  # Followers 初始连接 Leader 的最大等待时间（10*tickTime）
syncLimit=5  # Leader 与 Followers 间心跳响应的超时时间（5*tickTime）
dataDir=/my-zookeeper/data/  # ZooKeeper 数据存储目录
clientPort=2181  # 客户端通过此端口访问ZooKeeper
4lw.commands.whitelist=*  # 开启四字命令允许所有的节点访问

# server.ID=A:B:C[:D]
ID：服务器唯一标识（1-255）
A：服务器 IP 地址（10.0.0.91/92/93）
B：Leader 选举通信端口（5888）
C：节点间数据同步端口（6888）

server.91=10.0.0.91:5888:6888
server.92=10.0.0.92:5888:6888
server.93=10.0.0.93:5888:6888

# 同步配置文件到其他节点 

[root@elk91 ~]# scp -r /my-zookeeper/softwares/apache-zookeeper-3.9.4-bin/ root@10.0.0.92:/my-zookeeper/softwares/

[root@elk91 ~]# scp -r /my-zookeeper/softwares/apache-zookeeper-3.9.4-bin/ root@10.0.0.93:/my-zookeeper/softwares/

 

http://www.hskmm.com/?act=detail&tid=35314

相关文章：

  • CF1606E Arena 题解（动态规划）
  • 服务器CPU市场概况2025
  • CSP-S 24
  • 读书笔记：深入理解java虚拟机
  • CSP-S 19
  • CSP-S 20
  • Flutter应用设置插件 - 轻松打开iOS和Android系统设置
  • CSP-S 22
  • Project. 2025.11化学小组pre
  • MySQLDay1
  • 蛋白表达标签：重组蛋白研究的精妙引擎
  • 106.腾讯地图位置服务再出错
  • 心理咨询系统
  • Adaptive Learning Rate（自适应学习率） - -一叶知秋
  • Luogu P10034 「Cfz Round 3」Circle 题解 [ 蓝 ] [ 背包 DP ] [ 质数筛 ] [ 图论 ] [ 构造 ]
  • 2025.10.20模拟赛
  • SQLite简单使用
  • 新学期每日总结(第12天)
  • 2025.10.20总结 - A
  • CF2107E Ain and Apple Tree
  • 傻瓜式处理kauditd0病毒程序记录
  • win10 升级 win11 后时间更新失败
  • 2025，为什么公众号编辑器排版决定阅读完成率？——一次从流程到结果的深评
  • 软件工程学习日志2025.10.20
  • P14254 分割（树上计数问题） 题解
  • P14262 [ROI 2015 Day1] 自动好友
  • 软件工程第二次团队作业
  • 超越技术范畴：低代码如何重塑企业数字文化
  • 歌手与模特儿
  • 20251019