对话|DAS的数据库自治技术解读

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介: 《数据库风向标》是一档聚焦数据库新趋势与新技术的视频栏目,节目每期会请到几位资深技术大咖,与大家共话数据库热点话题。

1.jpg

点击观看完整视频:数据库风向标


>>>薛高敏(天钰)

阿里云数据库产品经理,现负责数据库自治服务DAS的产品管理、方案设计工作。

>>>陈杰(艾奥)

阿里云数据库高级算法专家,现负责数据库自治服务DAS产品实例弹性扩缩容、异常检测和SQL优化方向的研发。

>>>张涛(鼎智)

阿里云数据库研发专家,现负责DAS数据链路和查询治理方面的研发。

>>>付晗(远名)

博士,现于达摩院数据库存储实验室负责数据库智能研究,曾在ACL、CVPR等人工智能顶级会议上发表论文。


Q

薛高敏:谈到数据库,一个始终离不开的话题就是SQL。我们很多开发者在日常工作中都会接触到SQL。用户在写SQL的过程中,由于不同数据库引擎需要适配不同的SQL模板。导致用户的学习成本变高,而执行效率往往较低。如果出现故障,企业也没有兜底的方案。那么过去和现在都是如何解决这些问题的?

  艾奥:  在过去,数据库的运维工作主要依赖DBA进行人工运维。因为DBA对自己负责的数据库及相关业务有很多了解,可以针对性的优化数据库实例、解决相关问题。随着DBA人均负责的数据库实例越来越多,会基于运维知识和场景化开发相应的自动化工具,进一步提高维护的效率和标准。


在云场景下,数据库实例支持的业务越来越多样化,规模也越来越大。企业依赖传统人工运维或特定场景的标准化工具,已经无法解决所有问题。


因此,在云上出现了更多系统化的数据库实例运维工具。它能对实例进行全方位的监控,基于实例的工作负载和性能数据,做出针对性的更新定位。结合机器学习算法,对实例进行调优,达到数据库实例自治的目标。

2.png

在阿里云自治服务DAS上,针对SQL的相关问题,例如索引缺失、SQL不优等进行了相应的优化。在空间问题,容量评估、负载问题和数据安全方面,都有相应的场景化分析工具和智能化的策略。


Q

薛高敏:企业的实例数往往非常庞大,如何进行大规模的常态化治理,成为企业非常关心的话题。那么有哪些发现问题SQL的方法?

  鼎智:  发现问题SQL的方法,通常可以分为两类。第一类,在上线前发现问题并进行拦截。第二类,是基于智能辅助系统,进行半人工的治理。第三类,全自治的智能数据库。


目前DAS完全覆盖了第一种和第二种方式,作为一个智能辅助系统不断地迭代,提供更准确的归因分析能力。


与此同时,DAS也朝着全自治的目标努力。


Q

薛高敏:关于自然语言到SQL转译问题的最新研究进展。达摩院的智能数据库实验室具体做了哪些方向的探索和解决方案?

  付晗:  智能数据库实验室从2019年开始,对NL2SQL相关领域进行研究。目前,主要开展四个方向的研究。

3.png

第一个方向,提升神经网络模型的效率。我们设计了一种新的预测方式,可以在相同配置条件下,把吞吐率提升5至10倍。


第二个方向,利用数据库领域的知识,提升SQL在语法和语义上的准确性。目前已可以显著超过现有方法的准确率。


第三个方向,支持多领域的大数据库。达摩院提出了库表定位技术,可以有效支持几十个领域、上千个表的大数据库,并且保证最终的准确率不会下降。


第四个方向,无监督的NL2SQL。神经网络模型需要大量人工标注的数据,标注成本很高。达摩院的主要目标是,不需要人工标注数据实现NL2SQL。


 / End /  

相关文章
|
5天前
|
存储 安全 数据管理
新型数据库技术:基于区块链的分布式数据存储系统
传统数据库系统面临着中心化管理、数据安全性和可信度等方面的挑战。本文介绍了一种基于区块链技术的新型数据库系统,通过分布式存储和去中心化的特性,提高了数据的安全性和可信度,同时实现了高效的数据管理和共享。该系统在多个领域如金融、医疗和物联网等具有广阔的应用前景。
|
5天前
|
存储 分布式计算 大数据
HBase分布式数据库关键技术与实战:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入剖析了HBase的核心技术,包括数据模型、分布式架构、访问模式和一致性保证,并探讨了其实战应用,如大规模数据存储、实时数据分析及与Hadoop、Spark集成。同时,分享了面试经验,对比了HBase与其他数据库的差异,提出了应对挑战的解决方案,展望了HBase的未来趋势。通过Java API代码示例,帮助读者巩固理解。全面了解和掌握HBase,能为面试和实际工作中的大数据处理提供坚实基础。
55 3
|
5天前
|
存储 中间件 关系型数据库
数据库切片大对决:ShardingSphere与Mycat技术解析
数据库切片大对决:ShardingSphere与Mycat技术解析
49 0
|
5天前
|
机器学习/深度学习 存储 人工智能
新一代数据库技术:融合人工智能与分布式系统的未来前景
传统数据库技术在应对大规模数据处理和智能化需求方面逐渐显露出瓶颈。本文探讨了新一代数据库技术的发展趋势,重点关注了人工智能与分布式系统的融合,以及其在未来数据管理和分析中的潜在优势。通过深度学习和自动化技术,新型数据库系统能够实现更高效的数据处理和智能化决策,为企业带来更灵活、可靠的数据解决方案。
|
5天前
|
存储 人工智能 NoSQL
现代数据库技术演进与应用前景分析
本文探讨了现代数据库技术的演进历程及其在各领域的应用前景。首先介绍了传统数据库的局限性,随后分析了NoSQL、NewSQL以及分布式数据库等新兴技术的特点和优势。接着探讨了人工智能、物联网、大数据等领域对数据库技术提出的新要求,并展望了未来数据库技术的发展趋势与应用前景。
|
5天前
|
Cloud Native OLAP OLTP
云原生一体化数据库技术是一个具有潜力的领域
【5月更文挑战第13天】在业务处理分析一体化趋势下,开发者需权衡OLTP和OLAP数据库的选型。一体化数据库如阿里云瑶池通过Zero-ETL实现数据自动搬迁,简化流程,支持高并发事务和复杂分析。但也带来定制化开发、性能优化及管理维护的挑战。随着集中式与分布式数据库边界模糊,开发者需更深入理解各种架构特点,灵活选择以适应业务需求。云原生一体化数据库在处理大规模数据和高并发场景中展现优势,但选择时需综合考虑技术成熟度、成本和维护因素。总的来说,一体化数据库技术是未来发展的重要方向,但也需要谨慎评估和决策。
28 3
|
5天前
|
存储 机器学习/深度学习 人工智能
新一代数据库技术:融合AI的智能数据管理系统
传统数据库管理系统在数据存储和查询方面已经取得了巨大的成就,但随着数据量的不断增长和应用场景的多样化,传统数据库已经难以满足日益增长的需求。本文将介绍一种新一代数据库技术,即融合了人工智能技术的智能数据管理系统。通过结合AI的强大能力,这种系统能够实现更高效的数据管理、更智能的数据分析和更精准的数据预测,为用户带来全新的数据管理体验。
|
5天前
|
存储 NoSQL 搜索推荐
探索新一代数据库技术:基于图数据库的应用与优势
传统关系型数据库在处理复杂的关系数据时存在着诸多限制,而基于图数据库的新一代数据库技术则提供了更为灵活和高效的解决方案。本文将深入探讨图数据库的核心概念、应用场景以及与传统数据库相比的优势,带领读者一窥未来数据库技术的发展趋势。
|
5天前
|
存储 缓存 算法
ICDE2024 |VDTuner:向量数据库自动调优技术
在CodeFuse接入实际业务的过程中,大模型的推理成本以及生成内容的准确性是产品规模落地的两个核心考量因素。为了降低推理成本,我们研发了CodeFuse-ModelCache语义缓存加速功能,通过引入Cache机制,缓存已经计算的结果,当接收到类似请求后直接提取缓存结果返回给用户。另一方面,为了提升代码生成的准确度,我们引入了few shot机制,在输入大模型之前拼接一些类似的代码片段,帮助大模型更好的理解希望生成的目标代码。上述两个核心功能的实现都依赖于向量数据库(Vector Data Management Systems, VDMS)存储并检索相似的请求或者代码片段。
18 0
|
5天前
|
存储 关系型数据库 分布式数据库
数据库索引回表困难?揭秘PolarDB存储引擎优化技术
PolarDB分布式版存储引擎采用CSM方案均衡资源开销与可用性。
数据库索引回表困难?揭秘PolarDB存储引擎优化技术

热门文章

最新文章