数据库和人工智能的方向怎么样?数据库与 AI 技术结合有哪 些案例?哪些具体 AI 技术在数据库底层系统如何应用?
我觉得有三个维度,第一是说人工智能 AI 的技术来智能化的管控平台。我们现在数据库实例非常多,系统处理也变得越来越复杂。像 NoSQL、OLTP、 OLAP,要处理结构化数据,同时也要处理非结构化数据等等。在阿里,管理云上超 过了几十万的实例数,集团内也有几十万的实例数,如何去高效和管理这么多的数据 库实例?异常发现、异常检测、Slow SQL、MySQL、内存管理等这些都是依赖人 工智能技术的。比如说在阿里巴巴集团内部用机器学习和人工智能技术实时去采集所 有实例运行的状态,把它的 IO/CPO 的使用率和它的 Workload 的特点,去在线建 模做 8 份大小的调整,每一个数据库的实例它是 4G、8G、16G。为什么要做这件 事?因为随着它一天 Workload 的变化,它实际上不需要在一天内的任何时候都需要 一个非常大的 Buffer,可能高峰 Buffer 要扩,等到峰值过去后 Buffer 可以缩下来, 这样的话就可以把内存资源做一个动态调度。
第二是在内核里面。比如说做内存管理和做查询优化,现在业界也在开始使用一 些机器学习的方法。传统使用一些简单的统计方法来做一些内存管理、做查询优化、 Buffer Management,比如说 LRU 或者 MRU 这种非常简单的方式。现在可以看到 有一些人工智能和机器学习的方法来做更复杂但是更智能化的、高效的智能化管理, 以及 CBO 这是查询优化里很重要的一块。
第三个维度是说在数据库的应用层,需要对非结构化的数据进行处理,除了结构 化的数据。比如说在 ADB 里面就把非结构化数据先做一个转换,把它从非结构化数 据转化到高纬的向量,比如说用 embeddng 把这种文档或者是图像甚至像视频都可 以把他们映射到一个高维的空间里面,这样的话做一个向量处理引擎,就能把这种非 结构化数据变成高维向量,再通过这些高维向量处理引擎把这些非结构化数据和结构 化数据在一个数据库引擎里进行联合的查询和分析。这就是用数据库系统来支持 AI 机器学习和数据处理和 Workload。
总结来讲有两个维度 AI 或 DB,就是机器学习和人工智能技术使得数据库系统 更高效、更可靠、更好用。另外一个是 DB 或 AI,就是用数据库的系统来支持机器学 习和人工智能的处理。
资源来源于《给ITer的技术前沿课》
https://developer.aliyun.com/topic/download?id=136
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。