当前位置: 首页 > news >正文

测试环境elasticSearch数据泄露排查

测试环境elasticSearch数据泄露排查

测试环境elasticSearch数据泄露排查

es中同一条会员 或者车辆或者交易 主要刷新一次 就会有一条被删除的文档
所以几万测试数据 检查那边看到了几百万被删除是记录 以为几百万数据泄露
实际都是删除的 es底层是日志结构 改一次就生成一个新的老的标记为已删除 且删除的数据内容没加密。

 

elasticSearch 更新文档的时候,实际是删除了原文件,再新建一个文档吗
是的,Elasticsearch 更新文档的实质是通过标记删除旧文档并新建文档实现的,而非直接修改原文档。以下是具体机制分析:

‌更新操作的本质‌

更新请求会触发以下流程:
标记旧文档为逻辑删除(记录在.del文件中)
创建包含新数据的新文档并建立索引
版本号(_version)递增以控制并发
物理删除旧文档延迟到段合并(Segment Merge)阶段执行

综上,Elasticsearch的更新操作本质是新建+标记删除的组合,通过延迟物理删除优化性能

 

elasticSearch 逻辑删除.del文件在哪可以获取

如何查看.del文件‌
‌直接访问文件系统‌:
需进入 Elasticsearch 数据目录(默认路径为 /var/lib/elasticsearch),通过 ls 命令查找 .del 文件

若需查看文件内容,可使用 cat 或文本编辑器

使用 _segments API 可查看分片段的删除信息(需替换 <index_name> 和 <shard_id>):
curl -XGET "http://localhost:9200/<index_name>/_segments?pretty"


手动清理‌:
若需立即释放空间,可执行 _forcemerge 操作合并段:
curl -XPOST http://localhost:9200/<index_name>/_forcemerge?max_num_segments=1


.del文件打开后的格式 样式?
.del 文件是一种定界ASCII文件格式,其打开后的样式和结构如下:
‌行与列结构‌:
.del 文件由多行数据组成,每行代表一条记录,行内数据通过列分隔符(默认为逗号 ,)分隔
"Name","Age","City"
"Alice",30,"New York"
"Bob",25,"Los Angeles"

http://www.hskmm.com/?act=detail&tid=24074

相关文章:

  • 深入解析:Spring boot中 限制 Mybatis SQL日志的大字段输出
  • 【AI时代速通QT】第九节:揭秘Qt编译全流程-从.pro材料到可执行程序
  • 考试心得5
  • javascript高级 - Ref
  • Solar9月赛wp - 场
  • 实用指南:深度解析Sora2:技术革命与创意产业的未来图景
  • 自动化安全工具的双刃剑:红队演练揭示安全响应盲区
  • Elastic Search 安装部署最全教程(Docker)
  • 详细介绍:图像分割:PyTorch从零开始实现SegFormer语义分割
  • 深入解析:Playwright同步、异步、并行、串行执行效率比较
  • 2025十一集训——Day2模拟赛
  • 2025十一集训——Day模拟赛
  • Qt纯代码实现智能安防集中管理平台/楼宇对讲管理系统/门禁管理/视频监控
  • 汉文博士词典库源文件已在 github 开放
  • 读人形机器人30未来20年
  • Flutter + Ollama:开启本地AI的全平台新纪元 —— 从零剖析一款现代化AI客户端的技能奥秘
  • 股票资料API接口全解析:从技术原理到多语言实战(含实时行情、MACD、KDJ等技术指标数据与API文档详解)
  • 产业园区招商团队快躺平了 - 智慧园区
  • 洛谷 P3545
  • 题解:AT_wtf22_day2_b The Greatest Two
  • 威胁狩猎实战:终端攻击行为分析与检测
  • 实用指南:基于Hadoop+Spark的人体体能数据分析与可视化系统开源实现
  • 英语_阅读_Water Sliding_待读
  • 实用指南:ArcGIS JSAPI 高级教程 - 高亮效果优化之开启使用多高亮样式
  • const在for用不了
  • about me
  • 10月北京中学集训随笔
  • 使用100%缩放比例重新启动Visual Studio 界面模糊的解决方案
  • 某工程师入职华为,职级比较高,但还看不懂代码,有点尴尬
  • 使用Silobase在几分钟内快速部署后端API