在过去的十余年间,中国的大数据产业犹如一场技术革命,以惊人的速度蓬勃发展。十年前,金融、电信等行业构建数据仓库时,几乎无一例外地依赖于国际厂商的产品与服务,高昂的成本往往令许多项目动辄耗费千万乃至上亿元。
于是,大家对于数据建设、数据治理的印象都停留在又贵又重的阶段,高昂建设成本成了不少企业的拦路虎,但同时,这些企业对数据建设和治理依然有旺盛需求。
同时,狂飙猛进的技术演进对企业数据架构的可扩展性提出了新的挑战。Gartner报告就指出,到2028年,50%构建于2023年之前的中国数据分析和AI平台,也将因为与生态系统脱钩而过时。
数据建设治理领域正呼唤一场革新。
日前,阿里巴巴集团副总裁、瓴羊CEO朋新宇在云栖大会瓴羊Data×AI专场论坛中指出,企业要拥抱AI时代,需要完成场景解构、业务重构。其中,数据治理领域也正在迎来一波重构浪潮。
瓴羊智能数据建设与治理产品Datapin的诞生,直指企业在数字化转型过程中面临的首要挑战:数据「脏乱差」,通过标准化数据处理流程,统一数据口径,提供全面的数据资产管理,帮助企业建立起可靠、一致的数据基础,为数字化转型铺平道路。Dataphin 最初源于阿里这个「超级工厂」的实践经验,逐步进化为适用于各行各业规模企业的数据治理平台。
现在,针对行业里数据治理高成本和难扩展等建设难题,瓴羊智能数据建设与治理产品Datapin全面升级,可演进扩展的数据架构体系为企业数据治理预留发展空间,推出敏捷版用以解决企业数据量不大但需构建数据的场景问题,基于大模型打造的DataAgent更是为企业用好数据资产提供了便利。
1. 数据治理正当时,普惠低成本带来更多选择
瓴羊副总裁王赛在对接各类型的企业过程中,看到中小型企业有强烈的数据治理及数据资产建设的需求:企业的数据量相比龙头企业们可能不是很大,但有复杂度和多样性,这些企业需要把这些数据做一些轻度的治理。
但这些企业的数据治理之路面临不少问题:大数据相关的人才储备可能不足,也没有太多的预算投入,甚至对数据资产建设和数据治理的认知也有所欠缺。
基于这些痛点,瓴羊把基于阿里巴巴内部数据治理的经验,加之服务外部大型企业客户打造推出的智能数据建设与治理平台Dataphin,进行了轻量化改造,推出Dataphin敏捷版。
Dataphin敏捷版的产品架构更轻量,企业最低只需要投入三台硬件设备,投资仅二三十万元就能低成本启动数据治理工作。这也意味着,相比于之前功能强大、架构复杂的Dataphin版本,广大中小企业现在多了一个选择。
2. 数据治理,如何兼顾当前和长远
当企业在开启数据治理工作后,都会考虑一个问题,随着业务发展,数据量变得庞大,当前系统能否满足需求?难道又要重新评估数据架构?
比如,国内一家零售企业数据负责人,这些年遇到了“成长的烦恼”,由于业务布局广泛,企业数据需求的复杂程度和处理难度变得越来越高,他察觉到了数据治理的建设思路需要发生变化,“之前更重视产生了什么数据,哪些业务流程是可以数字化的,以及数据合规问题”,如果往后看5年,随着企业数据量越来越大,传统的数仓建设思路已经不能再支撑企业的存数、管数、用数的需求。
这也是不少企业在数据治理中的共性问题——数据架构如何为未来的发展预留出空间,从而满足未来更多更复杂的数据治理需求。基于这一行业普遍痛点,瓴羊的Datapin产品创新性升级数据系统架构:高扩展性,可持续演进升级。
如果起步期用的是敏捷版,发展期可以原地升级,扩展底层的算力引擎,自如地向上平滑演进,即可变身为一站式数据建设治理与运营平台。再进一步,如果部分企业监管合规要求高,不能上云或者只能部分上云,或者有些企业本地已经搞了一摊,有些利旧的小九九。不用慌,瓴羊Dataphin支持多云多引擎,允许多云部署或者本地化私有部署,并支持50+数据源,自由混搭,满足各种复杂场景。
“小型、中型和大型,我们都在一套部署结构之下,可以帮助企业无缝升级。”王赛说。这就是考虑到了企业数据治理的长期发展特性,企业可以自如地基于自身的数据规模和治理要求,选择合适的产品。
瓴羊Dataphin带给客户的体验就是:不必一步到位,却可步步到位。
3. 半托管,兼具个性化和性价比
另外,在数据领域,企业还面临另一大问题:个性化和和性价比之间的矛盾。大企业基于自身的业务需求,往往追求私有化部署,但这也意味着更高成本。而标准化的云产品明显更便宜,但也失去了个性化配置的能力。
针对这类问题,瓴羊Dataphin的解题思路是提供灵活的部署模式:全托管、半托管、独立部署,满足各种部署诉求。
企业可以像租公寓一样,直接订阅公共云多租户SaaS版本,按需付费。也可以采用半托管模式,快速拥有自己的独立云别墅,更可以完全独立部署,自己“盖楼”,完全自主。这其中,云上半托管模式,是当下主流客户最爱的一种部署方式。这种模式,既能独享可控的环境,又能享受公共云的弹性调度。相当于用户在云上租“别墅”,1小时立等可取,获得别墅级独立部署产品服务。
比如,一些集团型企业,不同的业务模块或者子业务的数据处理要求不一样。财务类、会员类的数据要求本地运行计算,另外一些安全敏感性不高的数据可以上云,与云上业务联动及数据处理。这类企业需求就适合半托管模式,具有个性化定制需求,但同时考量经济性的企业的需求。
总体而言,在数据建设、治理、消费领域,Dataphin正基于阿里巴巴集团多年数据治理的系统化建设经验,为大中小不同规模的企业,提供横跨多类引擎,适应多种环境要求的,可扩展可升级的数据治理产品。
数据治理领域,企业正迎来按需采购、自如升级的新阶段。
4. AI时代,如何让数据资产快速用起来
王赛看过很多数据治理平台的项目,他发现一个规律,如果对方是一个纯IT团队,没有数据资产运营的理念,这类项目的成功率往往不会很高。
数据如果只存储在数据库里,只会成为成本和负担。王赛提到:“我们刻在骨子里的理念就是数据构建好之后,一定要把数据用起来。” 所以瓴羊非常强调数据资产的治理和运营,光把数据聚合在一起还不够,还要让数据更好地用起来。
要让企业用好数据,客观存在着一个巨大的鸿沟。对业务人员而言,理解业务和理解数据是两码事。很多时候业务人员缺乏数据思维,数据获取依然要求助于数据专家,这面临着大量的沟通和时间成本。而在具体的获取数据环节,数据团队压力也很大。他们经常会面临大量的关于数据在哪里、该数据含义、如何使用、在哪里使用的咨询。并且,要在海量的数据资产中快速找到、找对、找准想要的数据,也并不容易。
这反映出,企业用数需求,不止是从Chatbot中获得一个具体的数据结果,还涉及到基于业务需求去找到和使用好内部的数据资产的需求。
举个例子,王赛经常碰到企业用户提这样的问题:企业的商机转化率低,有什么样的数据能解决问题?解决问题的核心在业务流程里,先回到业务中,问题涉及哪些人员和组织,涉及哪些流程,这样才有可能给用户有价值的指导,而不是就数据返回一个数据结果。
从这一痛点出发,瓴羊推出业内首个数据资产智能体——Dataphin·DataAgent,在大模型的加持下,企业能自定义自己专属的Agent,业务人员能更便捷实现从问题到思路、数据、用法的全链路自助化操作。
“未来每个人都有一个专属的数据助手。”王赛说,它不只是工具层面帮用户取数,还能帮助连接业务,输入问题后直接给到数据视角的内容。
如某一家头部乳业品牌的数据中台已经建设多年,形成了超过20个数据域,上千指标,几百用户标签和近百个应用。目前一部分业务的需求仍需要通过数据工程师人工满足,业务人员觉得响应慢,而工程师又被需求压得喘不过气。现在通过Dataphin的智能DataAgent,每次都能快速找到资产进行快速研发,让研发效率翻倍。
这个过程里,Dataphin·DataAgent的三大能力也展露无遗。首先是基于全域的数据资产,可以快速便捷帮助企业构建向量数据库,完成知识库的搭建;其次是,基于对知识库的理解,提供了不少辅助工具和元素化的交互能力,加速智能体的设计和编排;再次,数据智能体一键发布,能帮助企业更方便去消费数据。
从降低中小企业启动数据治理的门槛,到降低企业数据系统架构升级的门槛,到降低企业兼具个性化和性价比的部署门槛,到基于DataAgent智能体降低数据消费和使用的门槛,瓴羊Dataphin正在重构企业数据治理,重构企业数据服务的价值。
了解更多请前往官网: Dataphin智能建设与治理 >>
获取深度资料:Dataphin产品白皮书 >>