当前位置: 首页 > news >正文

TDengine 高级特性——读缓存

在这里插入图片描述

简介

在物联网(IoT)和工业互联网(IIoT)大数据应用场景中,实时数据的价值往往远超历史数据。企业不仅需要数据处理系统具备高效的实时写入能力,更需要能快速获取设备的最新状态,或者对最新数据进行实时计算和分析。无论是工业设备的状态监控、车联网中的车辆位置追踪,还是智能仪表的实时读数,当前值都是业务运行中不可或缺的核心数据。这些数据直接关系到生产安全、运营效率以及用户体验。

例如,在工业生产中,生产线设备的当前运行状态至关重要。操作员需要实时监控温度、压力、转速等关键指标,一旦设备出现异常,这些数据必须即时呈现,以便迅速调整工艺参数,避免停产或更大的损失。在车联网领域,以滴滴为例,车辆的实时位置数据是滴滴平台优化派单策略、提升运营效率的关键,确保每位乘客快速上车并享受更高质量的出行体验。

同时,看板系统和智能仪表作为现场操作和用户端的窗口,也需要实时数据支撑。无论是工厂管理者通过看板获取的实时生产指标,还是家庭用户随时查询智能水表、电表的用量,实时性不仅影响到运营和决策效率,更直接关系到用户对服务的满意程度。

传统缓存方案的局限性

为了满足这些高频实时查询需求,许多企业选择将 Redis 等缓存技术集成到大数据平台中,通过在数据库和应用之间添加一层缓存来提升查询性能。然而,这种方法也带来了不少问题:

TDengine 的解决方案:内置读缓存

为了解决这些问题,TDengine 针对物联网和工业互联网的高频实时查询场景,设计并实现了读缓存机制。这一机制能够自动将每张表的最后一条记录缓存到内存中,从而在不引入第三方缓存技术的情况下,直接满足用户对当前值的实时查询需求。

TDengine 采用时间驱动的缓存管理策略,将最新数据优先存储在缓存中,查询时无需访问硬盘即可快速返回结果。当缓存容量达到设定上限时,系统会批量将最早的数据写入硬盘,既提升了查询效率,也有效减少了硬盘的写入负担,延长硬件使用寿命。

用户可通过设置 cachemodel 参数,自定义缓存模式,包括缓存最新一行数据、每列最近的非 NULL 值,或同时缓存行和列的数据。这种灵活设计在物联网场景中尤为重要,使设备状态的实时查询更加高效精准。

这种读缓存机制的内置化设计显著降低了查询延迟,避免了引入 Redis 等外部系统的复杂性和运维成本。同时,减少了频繁查询对存储系统的压力,大幅提升系统的整体吞吐能力,确保在高并发场景下依然稳定高效运行。通过读缓存,TDengine 为用户提供了一种更轻量化的实时数据处理方案,不仅优化了查询性能,还降低了整体运维成本,为物联网和工业互联网用户提供强有力的技术支持。

TDengine 的读缓存配置

在创建数据库时,用户可以选择是否启用缓存机制以存储该数据库中每张子表的最新数据。这一缓存机制由数据库创建参数 cachemodel 进行控制。参数 cachemodel 具有如下 4 种情况:

当使用数据库读缓存时,可以使用参数 cachesize 来配置每个 vnode 的内存大小。

关于数据库的具体创建,相关参数和操作说明请参考创建数据库

实时数据查询的缓存实践

本节以智能电表为例,来详细看看 LAST 缓存对实时数据查询的性能提升。首先使用 taosBenchmark 工具,生成本章内容需要的智能电表的时序数据。

# taosBenchmark -d power -Q --start-timestamp=1600000000000 --tables=10000 --records=10000 --time-step=10000 -y

上面的命令,taosBenchmark 工具在 TDengine 中生成了一个用于测试的 电表数据库 power,产生共 10 亿条时序数据。时序数据的时间戳从 1600000000000(2020-09-13T20:26:40+08:00) 开始,超级表为 meters,包含 10000 个设备(子表),每个设备有 10000 条数据,时序数据的采集频率是 10 秒/条。

查询任意一个电表的最新的电流和时间戳数据,执行如下 SQL

taos>
select last(ts,
current
)
from meters;
last(ts) | last(
current
) |
=================================================
2020-09-15 00:13:10.000 | 1.1294620 |
Query OK, 1
row(s) in
set (0.353815s)
taos>
select last_row(ts,
current
)
from meters;
last_row(ts) | last_row(
current
) |
=================================================
2020-09-15 00:13:10.000 | 1.1294620 |
Query OK, 1
row(s) in
set (0.344070s)

希望使用缓存来查询任意一个电表的最新时间戳数据,执行如下 SQL,并检查数据库的缓存生效。

taos>
alter
database power cachemodel 'both'
;
Query OK, 0
row(s) affected (0.046092s)
taos>
show
create
database power\G;
*************************** 1.
row ***************************
Database: power
Create
Database: CREATE
DATABASE `power` BUFFER 256 CACHESIZE 1 CACHEMODEL 'both' COMP 2 DURATION 14400m WAL_FSYNC_PERIOD 3000 MAXROWS 4096 MINROWS 100 STT_TRIGGER 2 KEEP 5256000m,5256000m,5256000m PAGES 256 PAGESIZE 4
PRECISION 'ms' REPLICA 1 WAL_LEVEL 1 VGROUPS 10 SINGLE_STABLE 0 TABLE_PREFIX 0 TABLE_SUFFIX 0 TSDB_PAGESIZE 4 WAL_RETENTION_PERIOD 3600 WAL_RETENTION_SIZE 0 KEEP_TIME_OFFSET 0
Query OK, 1
row(s) in
set (0.000282s)

再次查询电表的最新的实时数据,第一次查询会做缓存计算,后续的查询时延就大大缩减。

taos>
select last(ts,
current
)
from meters;
last(ts) | last(
current
) |
=================================================
2020-09-15 00:13:10.000 | 1.1294620 |
Query OK, 1
row(s) in
set (0.044021s)
taos>
select last_row(ts,
current
)
from meters;
last_row(ts) | last_row(
current
) |
=================================================
2020-09-15 00:13:10.000 | 1.1294620 |
Query OK, 1
row(s) in
set (0.046682s)

可以看到查询的时延从 353/344ms 缩短到了 44ms,提升约 8 倍。

访问官网

更多内容欢迎访问 TDengine 官网

http://www.hskmm.com/?act=detail&tid=25341

相关文章:

  • 非合作博弈之软性均衡:东方智慧与西方理论的融合框架
  • 如何快速搭建spring-boot工程 - murphy
  • Ai元人文:东谈西论——非合作博弈之软性均衡
  • 反向传播与梯度下降:神经网络如何真正学会分类
  • Spring Cloud Alibaba微服务开发
  • OI 各种东西的板子
  • 价值弥漫:AI元人文的场域革命与共生之路
  • 做题记录 #1
  • 阿爸阿爸
  • 深度学习优化器算法巧思速览
  • 完整教程:LangChain完全指南:从入门到精通,打造AI应用开发新范式
  • NDK开发与实践(入门篇微课视频版)
  • 调了很久的代码总结
  • CF700E
  • 价值弥漫:“AI元人文”的场域革命与共生之路
  • k8s之pod概念
  • CF 1055 Div.1+Div.2
  • 2026 NOI 做题记录(五)
  • ARC 207 (Div.1)
  • “齐俊杰投资智能体”更新完了9月份的资料
  • LVS+Keepalived高可用群集 - 指南
  • luogu P1020 [NOIP 1999 提高组] 导弹拦截
  • RabbitMQ 离线安装
  • Nginx 离线安装
  • docker 离线安装
  • uniapp 转回tabbar页面
  • 第十一届中国大学生程序设计竞赛网络预选赛 魔塔
  • JDK 离线安装
  • minio 离线安装
  • HbuilderX 将 h5转成uniapp的一些记录.19127294