ES高级
ES底层原理
协调节点是 Elasticsearch 中接收客户端请求、将请求转发到相关数据节点、并汇总最终结果返回给客户端的中心路由节点
Cluster State 是 Elasticsearch 集群的元数据大脑,它记录了所有索引的设置、映射、节点信息等全局性配置
Pipeline 是 Elasticsearch 在索引文档(写入)前,对原始文档进行一系列预处理(如解析、转换、丰富数据)的一个工作流或过滤器集合
单个文档读取流程
多个文档读取流程
文档写入流程
ES底层分片存储原理剖析
- Lucene 是驱动 Elasticsearch 实现高效倒排索引和快速全文搜索的底层核心搜索引擎库
- Segment 是 Lucene 底层的、不可变的最小索引单元,一个分片由多个 Segment 组成,每次搜索都会遍历所有 Segment
- 预写日志(WAL)主要记录的是所有未持久化到磁盘的最新数据操作,用于在系统崩溃时恢复分片,防止数据丢失
- Checkpoint 会对比
最后一次磁盘提交点
和Translog 中最后的操作序列号
,将提交点之后的所有数据刷新到磁盘,并截断旧的 Translog - 出现 “searchable” 和 “unsearchable” 状态的根本原因,并不是一个技术缺陷,而是一个经过深思熟虑的架构设计:
- 如果你想要极快的写入速度,就不能每次写入都直接落盘和刷新索引。
- 如果你想要数据不丢失,就需要一个像 Translog 这样的“备忘录”。
- 如果你想要高效的搜索,就需要 immutable(不可变)的索引结构以便缓存
- 出现 “unsearchable” 状态,是因为数据已经成功写入了“备忘录”,但还没有被加工成“正式档案”
- 数据先放入内存缓冲区,批量处理后再生成 Segment(就是在这个时间段造成了 unsearchable 的情况)
- 数据先放入内存缓冲区,同时生成一个日志,如果只写入了日志而没有生成 segment,就会造成unsearchable
ES集群加密
ES集群加密认证(建议先拍摄快照)
- 1.生成证书文件
[root@elk91 ~]# /usr/share/elasticsearch/bin/elasticsearch-certutil cert --days 3650 -out \ /etc/elasticsearch/myconfig/elastic-certificates.p12 -pass "" Directory /etc/elasticsearch/myconfig does not exist. Do you want to create it? [Y/n]Yelasticsearch-certutil:Elasticsearch内置的PKI证书工具(专门用于生成和管理Elasticsearch 集群的SSL/TLS证书)cert:表示生成证书--days 3650:证书有效期(10年)-out /etc/elasticsearch/myconfig/elastic-certificates.p12:指定生成的证书文件保存位置指定生成的证书文件保存位置-pass "":密钥库密码(空密码)
- 2.查看证书文件属主和属组并同步到其他节点
# 查看证书文件属主和组 [root@elk91 ~]# ll /etc/elasticsearch/myconfig/ -rw------- 1 root elasticsearch 3596 Oct 20 17:47 elastic-certificates.p12 [root@elk91 ~]# chmod +r /etc/elasticsearch/myconfig/elastic-certificates.p12 [root@elk91 ~]# ll /etc/elasticsearch/myconfig/ -rw-r--r-- 1 root elasticsearch 3596 Oct 20 17:47 elastic-certificates.p12# 同步证书到其他节点 [root@elk91 ~]# scp -r /etc/elasticsearch/myconfig/ root@10.0.0.92:/etc/elasticsearch/ [root@elk91 ~]# scp -r /etc/elasticsearch/myconfig/ root@10.0.0.93:/etc/elasticsearch/
- 3.修改ES集群的配置文件并同步到其他节点(在最后一行添加)
# 启用 Elasticsearch 安全功能(包括认证和授权) xpack.security.enabled: true # 启用节点间通信的传输层 SSL 加密 xpack.security.transport.ssl.enabled: true # 节点间 SSL 验证模式为检查证书有效性(不验证主机名) xpack.security.transport.ssl.verification_mode: certificate # 指定 SSL 密钥库路径(包含节点证书和私钥) xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/myconfig/elastic-certificates.p12 # 指定 SSL 信任库路径(包含受信任的 CA 证书) xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/myconfig/elastic-certificates.p12[root@elk91 ~]# scp /etc/elasticsearch/elasticsearch.yml root@10.0.0.92:/etc/elasticsearch/elasticsearch.yml [root@elk91 ~]# scp /etc/elasticsearch/elasticsearch.yml root@10.0.0.93:/etc/elasticsearch/elasticsearch.yml
- 4.重启所有节点ES集群、检查端口、访问测试
# 重启所有节点ES集群 [root@elk91/elk92/elk93 ~]# systemctl restart elasticsearch.service# 检查端口是否更新 [root@elk91/elk92/elk93 ~]# ss -lntup |grep "9[2|3]00"# 测试访问ES集群(访问被拒绝且状态码为401,则ES集群加密成功) curl 10.0.0.93:9200/_cat/nodes # 报错 curl 10.0.0.93:9200/_cat/nodes # 报错
- 5.生成ES的随机密码(此密码不可随意外泄)
[root@elk91 ~]# /usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME Initiating the setup of passwords for reserved users elastic,apm_system,kibana,kibana_system,logstash_system,beats_system,remote_monitoring_user. The passwords will be randomly generated and printed to the console. Please confirm that you would like to continue [y/N]y Changed password for user apm_system PASSWORD apm_system = HwysXjWaUn46LUFTp8jP Changed password for user kibana_system PASSWORD kibana_system = t63x4qAi4XiBUrg0OP8R Changed password for user kibana PASSWORD kibana = t63x4qAi4XiBUrg0OP8R Changed password for user logstash_system PASSWORD logstash_system = O8canAcjtjSPdsCM7wmJ Changed password for user beats_system PASSWORD beats_system = qtwns3ToQ3Cp3AfWDK7f Changed password for user remote_monitoring_user PASSWORD remote_monitoring_user = rch4vrN5D7qNQ4m1sPn1 Changed password for user elastic PASSWORD elastic = P0wnK8EySuwva3f4371M
- 6.使用密码访问ES集群
[root@elk91 ~]# curl -u elastic:P0wnK8EySuwva3f4371M 10.0.0.93:9200/_cat/nodes 10.0.0.93 65 65 9 0.00 0.13 0.17 cdfhilmrstw * elk93 10.0.0.91 69 89 13 0.03 0.68 0.71 cdfhilmrstw - elk91 10.0.0.92 70 56 8 0.06 0.19 0.22 cdfhilmrstw - elk92
kibana页面登录认证及elastic密码修改
# 1.修改kibana的配置文件 [root@elk91 ~]# vim /etc/kibana/kibana.yml elasticsearch.username: "kibana_system" elasticsearch.password: "t63x4qAi4XiBUrg0OP8R"# 2.重启kibana服务 [root@elk91 ~]# systemctl restart kibana.service # 3.检查kibana服务是否监听 [root@elk91 ~]# ss -lntup |grep 5601
postman访问ES加密集群
filebeat访问ES加密集群
[root@elk93 ~]# cat /etc/filebeat/myconfig/tcp-to-elasticsearch-custom-index.yaml filebeat.inputs: - type: tcphost: "0.0.0.0:9000" output.elasticsearch:hosts: - "http://10.0.0.91:9200"- "http://10.0.0.92:9200"- "http://10.0.0.93:9200"index: "yuanxiaojiang-customindex-tcp%{+yyyy.MM.dd}"username: "elastic"password: "123456"setup.ilm.enabled: false setup.template.name: "yuanxiaojiang-customindex" setup.template.pattern: "yuanxiaojiang-customindex-tcp*" setup.template.overwrite: false setup.template.settings:index.number_of_shards: 3index.number_of_replicas: 0
logstash访问ES加密集群
[root@elk93 ~]# cat /etc/logstash/myconfig/my_patterns.conf input {file {path => "/tmp/patterns.log"start_position => "beginning"} } filter {grok {patterns_dir => ["/etc/logstash/my-patterns/"]match => {"message" => "%{SCHOOL:school_name} %{CLASS:class_name} %{YEAR:enroll_year} %{TERM:term}"}} } output {stdout {} }
[root@elk93 ~]# logstash -rf /etc/logstash/myconfig/tcp-to-es.conf
[root@elk93 ~]# echo "logstash---> www.yuanxiaojiang.com" | nc 10.0.0.93 8888
kibana的RBAC(基于角色的访问控制)
ES集群API
ES集群API查看
[root@elk91 ~]# curl -su elastic:123456 10.0.0.91:9200/_cluster/health |jq {"cluster_name": "my-application","status": "green","timed_out": false,"number_of_nodes": 3,"number_of_data_nodes": 3,"active_primary_shards": 49,"active_shards": 71,"relocating_shards": 0,"initializing_shards": 0,"unassigned_shards": 0,"delayed_unassigned_shards": 0,"number_of_pending_tasks": 0,"number_of_in_flight_fetch": 0,"task_max_waiting_in_queue_millis": 0,"active_shards_percent_as_number": 100 }
ES集群API相关参数说明
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/cluster-health.html
cluster_name:集群的名称
status:集群的健康状态(基于其主分片和副本分片的状态)ES集群有以下三种状态:green:所有分片都已分配yellow所有主分片都已分配,但一个或多个副本分片未分配如果集群中的某个节点发生故障,则在修复该节点之前,某些数据可能不可用red一个或多个主分片未分配,因此某些数据不可用。这可能会在集群启动期间短暂发生,因为分配了主分片
timed_out:是否在参数false指定的时间段内返回响应(默认情况下30秒)
number_of_nodes:集群内的节点数
number_of_data_nodes:作为专用数据节点的节点数
active_primary_shards:可用主分片的数量
active_shards:可用主分片和副本分片的总数
relocating_shards:正在重定位的分片数
initializing_shards:正在初始化的分片数
unassigned_shards:未分配的分片数
delayed_unassigned_shards:分配因超时设置而延迟的分片数
number_of_pending_tasks:尚未执行的集群级别更改的数量
number_of_in_flight_fetch:未完成的提取次数
task_max_waiting_in_queue_millis:自最早启动的任务等待执行以来的时间(以毫秒为单位)
active_shards_percent_as_number:集群中活动分片的比率,以百分比表示
ELasticStack之ELFK架构存在的瓶颈
资源利用不足; 耦合性太强; 高峰期时间较短,峰值较短;- 11:40~13:30 35M ----> 2GB12:30 ~ 13:00- 19:00 ~ 22:0020:00 ~ 21:30
zookeeper集群搭建
zookeeper集群规模选择
如果读的请求大约在75%以下,建议选择3台
参考连接:https://zookeeper.apache.org/doc/current/zookeeperOver.html
zookeeper集群搭建
# 下载zookeeper [root@elk91 ~]# wget https://dlcdn.apache.org/zookeeper/zookeeper-3.9.4/apache-zookeeper-3.9.4-bin.tar.gz# 创建工作目录 [root@elk91 ~]# mkdir -p /my-zookeeper/{softwares,data,logs}/ [root@elk91 ~]# mkdir -p /my-zookeeper/{softwares,data,logs}/
[root@elk91 ~]# mkdir -p /my-zookeeper/{softwares,data,logs}/ # 解压软件包 [root@elk91 ~]# tar xf apache-zookeeper-3.9.4-bin.tar.gz -C /my-zookeeper/softwares/# 修改zookeeper的集群地址 [root@elk91 ~]# cp /my-zookeeper/softwares/apache-zookeeper-3.9.4-bin/conf/zoo_sample{.cfg,.cfg.bak} [root@elk91 ~]# vim /my-zookeeper/softwares/apache-zookeeper-3.9.4-bin/conf/zoo_sample.cfg tickTime=2000 # 定义最小单元的时间tick(ms) initLimit=10 # Followers 初始连接 Leader 的最大等待时间(10*tickTime) syncLimit=5 # Leader 与 Followers 间心跳响应的超时时间(5*tickTime) dataDir=/my-zookeeper/data/ # ZooKeeper 数据存储目录 clientPort=2181 # 客户端通过此端口访问ZooKeeper
4lw.commands.whitelist=* # 开启四字命令允许所有的节点访问
# server.ID=A:B:C[:D]
ID:服务器唯一标识(1-255)
A:服务器 IP 地址(10.0.0.91/92/93)
B:Leader 选举通信端口(5888)
C:节点间数据同步端口(6888)
server.91=10.0.0.91:5888:6888
server.92=10.0.0.92:5888:6888
server.93=10.0.0.93:5888:6888
# 同步配置文件到其他节点
[root@elk91 ~]# scp -r /my-zookeeper/softwares/apache-zookeeper-3.9.4-bin/ root@10.0.0.92:/my-zookeeper/softwares/
[root@elk91 ~]# scp -r /my-zookeeper/softwares/apache-zookeeper-3.9.4-bin/ root@10.0.0.93:/my-zookeeper/softwares/