1. 首页>
  2. 腾讯云代理

现场报道 SIGMOD 2019 数据库顶级会议

腾讯云 2019年07月17日 浏览59

    腾讯云代理 腾讯云新闻 腾讯云代理 腾讯云直播申请 游戏上云

摘要:

SIGMOD第一天大会Keynote主题为“Responsible Data Science”;第二天的Keynote主题是区块链,更偏应用一些,由IBM Almaden研究中心的著名数据库研究员C. Mohan报告。他自从2016年以来重点研究和推广区块链技术,据统计已经在全世界十几个国家做过相关的报告。区块链技术经过了十年的发展,至今还存在一些争议。本次报告主要集中在私有区块链系统的相关技术,也比较了传统数据库与区块链技术并指出了未来的研究方向。



SIGMOD Keynote: State of Public and Private Blockchains: Myths and Reality

在第二天SIGMOD大会中,华中科技大学与腾讯TEG云架构平台部CDB数据库团队合作的学术论文“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”(以下简称CDBTune论文)作为“分布式数据管理”主题的第一篇论文出现。

参数调优是云数据库性能优化的重要方法。由于数据库参数较多,关系复杂,人工调优有着效率低和成本高的问题。同时,现有的一些研究使用的方法有一些限制,包括:

1. 使用pipeline的机器学习方法而不是端到端的方式

2. 需要大量的高质量样本来进行参数调优

3. 无法调优高维并连续的参数

4. 不具有较好的适应性应对云上的环境等



因此论文提出了一种端到端的自动参数调优系统CDBTune,来应对这些挑战。CDBTune使用深度强化学习方法(DDPG)在高维连续空间中寻找更优配置。整体架构如图所示:


CDBTune使用try-and-error的策略,使用少量样本初始化训练,使用reward-feedback机制来代替传统的回归方法,进行端到端学习并加快收敛速度。


从实验结果来看,CDBTune具有较好的性能调优结果,并且有较好的泛化能力。


论文题目:An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning

论文原文链接:https://dl.acm.org/citation.cfm?doid=3299869.3300085



腾讯团队与华中科技大学团队合影

此外,我们还重点关注了“现代硬件”主题。它包含6篇论文,涉及到多核环境下的日志处理和恢复、NUMA环境下的数据流处理、RDMA硬件下的索引设计、GPU对矩阵计算和图处理的加速等等。结合会议前期举办的专题研讨(DaMoN:新硬件上的数据管理技术),可以发现新硬件技术的发展对数据库的研究和设计具有强大的影响,相关的研究涉及多核、RDMA、FPGA、GPU、NVM存储等各种各样的新型硬件。



当天的会议还包括查询处理和优化、数据溯源(Provenance)、流处理(Streams)、数据集成/数据清洗、图处理(Graphs)等学术主题,以及一个工业主题“存储和索引”。值得重视的是,SIGMOD会议期间一共有三场图处理的主题会议,而查询处理和优化也涉及很多图的处理,可以看出图处理是一个非常热门的研究领域。



SIGMOD第三天上午以颁奖会开始,其中工业界密切关注的奖项System Award由亚马逊的Aurora团队获得,以表彰其对云环境下的关系数据库存储做出的全新设计。



随后进行的报告主题中包括研究类的“系统和机器学习”、“索引技术”、“公平性和非确定性”、“图处理”、“机器学习”、“可扩展性”以及工业界的“数据平台”。“索引技术”主题中有4篇论文,其中IBM的论文“Designing Succinct Secondary Indexing Mechanism by Exploiting Column Correlations”通过发掘数据列之间的关联关系来创建精简的索引结构。微软的“AI Meets AI: Leveraging Query Executions to Improve Index Recommendations”则通过AI技术来实现索引的自动创建,与SQL Server的产品功能关系密切。从产品实现的角度看,这二者提出的方法相对容易被集成到关系数据库产品中去。



此外,“数据平台”主题中的“Socrates: The New SQL Server in the Cloud”,采用了与亚马逊Aurora类似的架构设计,但在逻辑层次上将数据库日志作为独立的一层,论文讨论的实现细节和总结的系统设计理念都比较有参考价值。该论文入选大会可以看做是对Aurora获得系统设计奖项的呼应。



在大会期间,腾讯犀牛鸟之夜活动也迎来了参与盛会的优秀学者们欢聚一堂,探讨技术热点,探索产学合作创新模式。




相关文章

在线客服
淘宝购买
腾讯云直播申请 title=
+成为腾讯云VIP客户 腾讯云直播申请 客服电话

15818558013

0755-33940501-803

0755-33940501-808