如何将数据库查询的通信开销降低高达97%
某中心的研究人员描述了一种在服务器间分配数据库表的新方法。
在第46届超大型数据库国际会议上,研究人员提出了一种跨服务器分配数据的新方法。在涉及从多个表检索数据的查询实验中,该方法相对于原始未优化配置将通信开销降低了高达97%。
连接多重图
该方法的第一步是创建所谓的连接多重图。在连接多重图中,顶点是数据库的表,边连接已执行连接操作的独立表的属性,边权重表示这些属性间连接所需的数据传输。
目标是找到使所有边累积权重最大化的图分区方案。研究证明该问题是NP完全的,意味着精确求解在计算上不可行。
优化方法
研究人员采用了"最佳世界"方法,首先尝试使用整数线性规划来分区图,对线性规划求解器设置时间限制。如果求解器超时,则使用四种不同的启发式方法对图进行分区,并选择产生最大累积权重的方案。
这四种启发式方法都是最大权重匹配问题的近似解,研究证明该问题是分布键推荐问题的特殊情况。
测试结果
在四个不同数据集上的测试表明,该方法将通信开销降低了80%到97%,这些节省将直接转化为客户端的性能改进。
该方法已被某中心Redshift Advisor采用,用于向客户推荐数据存储配置,使他们能够执行更高效的数据库查询。
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号(网络安全技术点滴分享)
公众号二维码
公众号二维码