当前位置: 首页 > news >正文

10.2笔记

  1. HBase 数据库
    架构理解:
    HMaster:管理 RegionServer 的负载均衡、Region 分配等。
    RegionServer:负责数据的读写操作,管理多个 Region。
    ZooKeeper:协调集群状态,监控 RegionServer 存活。
    HDFS:底层存储,HBase 数据以 HFile 格式存储在 HDFS 上。
    数据模型:
    表(Table):由行键(RowKey)、列族(Column Family)、列限定符(Qualifier)、时间戳(Timestamp)组成。
    RowKey 设计原则:避免热点(如加盐、哈希、反转),长度适中(建议 10-100 字节)。
    列族优化:不超过 3 个,过多会触发频繁 Flush 和 Compaction。
    读写流程:
    写路径:先写 WAL(Write-Ahead Log),再写入 MemStore,MemStore 满后 Flush 成 HFile。
    读路径:先检查 BlockCache(LRU 缓存),再读 MemStore 和 HFile(通过 BloomFilter 过滤)。
    调优参数:
    hbase.hregion.max.filesize:控制 Region 大小(默认 10GB,调大减少 Split)。
    hbase.regionserver.handler.count:RPC 线程数(建议 100-200,视内存调整)。
    hbase.bucketcache.ioengine:启用堆外缓存(如 offheap 或 file:/path/to/cache)。
  2. VM 虚拟机实践
    克隆与快照:
    链接克隆:依赖原始虚拟机,节省磁盘空间(但原始 VM 损坏则失效)。
    完整克隆:独立副本,占用双倍空间,适合长期隔离环境。
    快照链:避免超过 3 层,合并快照用 vmware-vdiskmanager -k 压缩磁盘。
    网络模式:
    NAT:VM 共享主机 IP,端口转发需手动配置(如 vmnet8 网卡)。
    桥接:VM 直接接入物理网络,需独立 IP(适合集群测试)。
    仅主机模式:隔离环境,通过 vmnet1 与主机通信(模拟内网)。
    性能优化:
    关闭虚拟化引擎的 “侧通道缓解”(提升 10%-20% 性能,但降低安全性)。
    预分配磁盘空间(避免动态扩展导致的碎片化)。
    启用 虚拟化 CPU 计数器(如 vt-x / amd-v)以支持 64 位嵌套虚拟化。
  3. 问题记录
    HBase 启动失败:
    报错 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing,因 ZooKeeper 未清理旧数据。解决:
    bash

zkCli.sh rmr /hbase-unsecure/meta-region-server

http://www.hskmm.com/?act=detail&tid=23177

相关文章:

  • Shell / Bash 学习
  • 【Linux 架构探幽:从入门到内核・系统编程开篇】基础指令与权限精讲,筑牢框架制作根基
  • 使用 Dart 进行验证码识别
  • 用 Rust 进行验证码识别
  • teset3
  • Java并发编程(5)
  • 定时任务详解
  • 华为wlan无线配置 - 教程
  • PINN训练新思路:把初始条件和边界约束嵌入网络架构,解决多目标优化难题
  • 可持久化数据结构
  • 2025.10.2——1黄
  • 图的匹配
  • Tarjan 算法
  • Mondriaans Dream题解
  • 网络流 最大流 Dinic 算法
  • 2025.10.2 测试
  • 数学章节总结
  • 软件工程_作业一
  • CF VP 记录
  • LabVIEW与PLC 汽车驻车制动自动调整 - 实践
  • 04. 布局管理
  • 关于安装博客园皮肤中有关于配置音乐播放器的补充(awescnb)
  • AGC VP 记录 2
  • 2025 --【J+S 二十连测】-- 第四套 总结
  • Websocket+cpolar:如何轻松实现服务远程访问? - 教程
  • 如何用C语言实现5种基本的排序算法
  • 函数-装饰器基础知识+推导式
  • VUE - 实战 2
  • QBXT2025S刷题 Day1
  • 2025多校冲刺CSP模拟赛1(螳臂复活祭)