瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。

作者: 周鑫 阿里云瓴羊智能科技高级技术专家



近年来,尽管 AI Agent 实现了爆发式增长,但许多企业仍面临 AI 应用与实际业务脱节的难题,其关键原因之一,在于数据质量不佳。根据Gartner的预测,2025 年中国至少三分之二的生成式人工智能项目,将由于数据质量差而面临“终结”。

AI时代,如何才能把握住数据治理机会,让数据真正为业务服务?

瓴羊「数据荟」数据Meet Up 第3站线上开讲,为大模型时代的数据治理创新实践献智献策。阿里云智能集团瓴羊高级技术专家周鑫围绕“AI驱动的数据治理”,从数据治理面临的难题出发,聚焦AI时代数据治理机会,剖析了瓴羊Dataphin在面对数据治理这一关键议题时的提效方案。

数据标准:数据治理“化零为整”的核心

从实施链路来看,数据治理为何如此困难?

“整个数据治理实施过程困难重重,主要体现在现状评估难、组织架构复杂、实施成本高,治理迭代难,造成最大的原因是整个治理过程关注的点太多了,没有核心的抓手”,周鑫表示,大部分企业进行数据治理时,往往经历评估现状、制定目标、执行计划、持续监控四个步骤,每一项都需要大量的工作,导致治理动作非常零散。

这些零散的需求点,导致企业在实施阶段很容易偏离治理目标,缺少一个核心抓手。即使艰难地完成治理,后续迭代也非常困难,随着业务的变化,需要调整治理目标时,没有办法增量的迭代,又需要重头开始评估执行,已完成的治理项的变更影响也需要全量评估,使得治理成本变得非常高。

因此,问题的关键,是找到数据治理的核心抓手——数据标准。

近年来,国家频频颁布数据标准相关政策规范,从《“数据要素x”三年行动计划》到国家数据标准体系,再到全国数据标准化技术委员会,都印证了数据标准的重要位置。

“企业只需完成数据标准的梳理,即可完成大部分数据治理工作”,周鑫表示,以瓴羊Dataphin为例,企业完成业务与数据盘点后,统一进入到Data Catalog,在此基础上梳理数据标准。Dataphin在数据标准的建立过程中会自动生成元数据和内容的监控,数据标准会贯穿数据的整个生命周期,实现对数据的事前、事中和事后的标准落标稽核。


例如,在身份证号的标准设置中,系统会根据用户填写的标准属性,自动生成一系列元数据和内容监控,以及安全的分级。用户在治理过程中,只需关心那些没有满足标准的数据即可。这使数据标准的落标情况,成为衡量数据质量优劣的“晴雨表”,符合数据标准的数据越多,数据质量也就越好。


AI激活一池春水,数据治理的提效之道

AI时代奔迅而至,激活了数据治理的一池春水。在AI技术爆发式增长的当下,数据治理的机会在哪里?

周鑫认为,结合AI对数据治理提效的实现完整的主动数据治理,包括以下几点。

首先,通过AI能很好地理解结构化数据和非结构化的数据,自动化地进行业务梳理, 促进数据标准建设的效率。其次,在数据标准建设完成后,企业可借助AI实现自动治理:构建质量规则,实现分类分级和特征识别,管控数据整个生命周期。最后,数据治理动作完成后,AI还可自动评估治理效果,自动改进治理策略,形成数据治理良性内循环。


Dataphin解决方案:让“好数据”成就“好业务”

“我是电商业务负责人,今年大促目标是GMV提升20%,数据能帮我做什么?”

“我正在准备做运营外投,对于圈选母婴群,希望从数据上结合知识库,有什么建议?”

“我是产品运营,我想了解产品的销量指标定义是什么?”

……

在AI的助力下,以上数据资产应用问题,都可以通过对话的方式得到回应。

而承载这一功能的平台,便是智能小D。

智能小D承担了数据PD与数据架构师的角色,它可以根据每一条策略,找到与之对应的数据资产表”,周鑫表示,智能小D基于Dataphin打造,由阿里云百炼平台和开源Dify提供支持,擅长数据知识的梳理和应用。未来,智能小D将进一步支持非结构化知识和智能体管理,用户还可通过挂载自定义智能体,实现智能体的个性化定义与功能拓展。

借助智能小D,用户可以直接基于业务需求找数据,如“我要找客户表”、“我要做客户分层,需要哪些表?”、“销量下降明显,可能的原因有哪些?”等,大模型将根据用户需求,通过分解、联想等方式,为其快速提供对应的数据资产表,让用户无需将需求拆解成资产的关键词,也能实现轻松找数。


除此之外,Dataphin还在属性丰富上引入了AI能力简化了资产上架的流程。以往,一张表上架到目录,需要历经以下几个步骤:针对表及其所有字段,逐一描述其名称与含义;熟知上架目录,制定便于搜索的标签;若过程中发现表中的指标也需要上架,还需返回重新填写目录和标签。

“一套几百个字段下来,至少半小时才能将这张表完整地上架,我们引入AI能力后,把速度提高了近百倍,周鑫表示,Dataphin可以帮用户智能生成所有描述,规划所有目录,自动识别潜在指标,待用户确认无误后,即可一键上架,几十秒即可完成所有资产上架工作。


在特征识别方面,Dataphin通过引入AI能力,降低了识别门槛,加快了识别速度。例如,在进行性别字段识别时,需要编写SQL能够识别的正则表达式,还需要探查多种数据的表达,例如:(男/女、Malel/Female、Sex/性别),很难一次性枚举种种条件。引入AI能力后,Dataphin即可以自动生成所有的正则表达式,几十秒内即可完成一次特征识别。


周鑫指出,目前Dataphin的数据治理AI计划正处于提效阶段。在这一阶段,Dataphin将进一步引入更多行业和业务知识,增强对非结构化数据的理解能力,并辅助生成质量规则。随着提效阶段的完成,数据治理将迈入自动化阶段,平台将实现质量规则的自动生成、分类分级的自动处理,以及敏感数据的自动识别等功能。最终,在更高阶的智能化阶段,Dataphin将基于对业务流程的深度理解,实现系统自动生成数据标准,全面提升数据治理的智能化水平。


著名的信息技术领域思想领袖J. Ladley 在其著作《数据治理》中宣称,数据治理的最终目标是让它不再是一个独立的计划,而是成为业务核心的一部分。未来,瓴羊旗下Dataphin将发挥自身在数据治理领域的深厚沉淀,致力于将数据治理融入业务环节,推动其从支撑性工具走向核心驱动力,以智能化手段赋能企业战略决策与创新实践。



(如对瓴羊Dataphin数据治理感兴趣,欢迎扫码入群领取Dataphin白皮书)

目录
打赏
0
27
28
3
336
分享
相关文章
健康监测设备的技术革命:AI+物联网如何让你随时掌握健康数据?
健康监测设备的技术革命:AI+物联网如何让你随时掌握健康数据?
62 19
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
57 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI前行需创新驱动,也要伦理护航:探索生成式人工智能的未来之路
随着科技发展,生成式人工智能(Generative AI)成为推动社会进步的重要力量。本文探讨其创新驱动与伦理护航的重要性,介绍GAI认证如何提升个人和企业在AI时代的竞争力。GAI认证不仅涵盖技术技能,还强调伦理、法律和社会影响,确保AI的健康发展。通过GAI认证,学员能掌握生成式AI的核心应用,具备负责任使用这些工具的能力,在职场中更具竞争力。
阿里云PolarDB重磅发布云原生与Data+AI新特性,打造智能时代数据引擎
阿里云PolarDB重磅发布云原生与Data+AI新特性,打造智能时代数据引擎
AI重构采购新生态:CIO如何驱动企业降本增效?
AI重构采购新生态:CIO如何驱动企业降本增效?
从零开始即刻拥有 DeepSeek-R1 满血版并使用 Dify 部署 AI 应用
本文介绍了如何使用阿里云提供的DeepSeek-R1大模型解决方案,通过Chatbox和Dify平台调用百炼API,实现稳定且高效的模型应用。首先,文章详细描述了如何通过Chatbox配置API并开始对话,适合普通用户快速上手。接着,深入探讨了使用Dify部署AI应用的过程,包括选购云服务器、安装Dify、配置对接DeepSeek-R1模型及创建工作流,展示了更复杂场景下的应用潜力。最后,对比了Chatbox与Dify的输出效果,证明Dify能提供更详尽、精准的回复。总结指出,阿里云的解决方案不仅操作简便,还为专业用户提供了强大的功能支持,极大提升了用户体验和应用效率。
1027 19
从零开始即刻拥有 DeepSeek-R1 满血版并使用 Dify 部署 AI 应用
AI程序员:通义灵码 2.0应用VScode前端开发深度体验
AI程序员:通义灵码 2.0应用VScode前端开发深度体验,在软件开发领域,人工智能技术的融入正深刻改变着程序员的工作方式。通义灵码 2.0 作为一款先进的 AI 编程助手,与广受欢迎的代码编辑器 Visual Studio Code(VScode)相结合,为前端开发带来了全新的可能性。本文将详细分享通义灵码 2.0 在 VScode 前端开发环境中的深度使用体验。
138 2
牛逼,这款开源聊天应用竟能一键召唤多个AI助手,跨平台通话神器!
`JiwuChat`是一款基于Tauri2和Nuxt3构建的轻量化多平台即时通讯工具,仅约8MB体积却集成了**AI群聊机器人**、**WebRTC音视频通话**、**屏幕共享**等前沿功能。一套代码适配Windows/macOS/Linux/Android/iOS/Web六大平台,堪称开发者学习跨端开发的绝佳样板!

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等