袋鼠云数据中台专栏(二) :数据资源规划与获取

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 数据资源规划是数据治理,数据建模,数据资产管理,数据指标体系规范等工作的前置环节和必要条件,因此数据资源规划的作用至关重要,包括数据资源梳理、数据资源规划实施、数据资源可视化、数据资源分析报告四部分内容。

0423bfbcb811cfbfd09228719949484708156921


本文作者:古明


10年以上技术应用经验沉淀,在金融、政府、互联网行业领域具有资深背景。曾担任过多个大型项目的项目经理或咨询总监,服务过云上贵州、浙江交通运输厅、天弘基金、新网银行等多家大型企事业单位。


正文:正文


  “人类已经由IT时代进入了DT时代,数据取代了石油成为了最核心的资源,在未来,数据会成为像水、电、石油一样的公共资源。”


——马云 2015年在杭州云栖大会发言


数据是未来社会最重要的资源之一。近年来由于互联网与大数据技术的不断发展,越来越多的企业也渐渐意识到对数据的开发和利用在企业发展过程中变得越来越重要。


但是由于企事业部门之间的系统分散开发或者些单位系统重建或引进系统开发项目,导致很多单位内部之间的信息不能共享,产生数据与信息孤岛;或者没有统一的数据规范和标准,造成数据整合的不便。数据还仅仅停留在散乱的资源阶段,离数据“变现”,形成数据资产的理想阶段,还相距甚远。


为解决上述问题,就需要企业自身进行合理有效的数据资源规划,梳理清楚企业自身的“数据家底,从而掌握企业当前数据资源的详实状况,明确企业的数据种类、未来可能获取的数据种类,以及这些数据的数据量、数据质量、数据用途等等。


数据资源规划是数据治理,数据建模,数据资产管理,数据指标体系规范等工作的前置环节和必要条件,因此数据资源规划的作用至关重要,包括数据资源梳理、数据资源规划实施、数据资源可视化、数据资源分析报告四部分内容。


ec8d66e4ed67dcd4ac30b330e6f27e4deb63d8a3


数据资源梳理:即企业需要梳理清楚:数据来自谁,用在何处,如何存储?一般而言,业内会从三个维度,来对数据资源进行分类管理,数据产生主体、数据来源、存储形式等。


7b325d1557a90c2c72123de5950181807c7a4dd7


2018年5月25日生效的GDPR法案要求, 企业必须明确满足数据主体的信息权,获取权,纠正权,限制处理权,反对权,删除权和数据可移动权等。


为了满足法案要求,合规,企业首先就要知道自己有哪些数据,数据存储在哪里,需要一个完整的数据地图,对每一个信息进行分类,为企业提供一个所有物理和数字信息的360度的视图,确保企业可有快速定位,评估和监控正在进行的基础上的所有数据。


8a1e133efcb4a5311857a2ddfbd7a4c6b3de7c8f


袋鼠云数据资源规划与获取服务,则无疑在思路、技术上都可以满足企业GDPR法案合规需求。



企业内外部数据资源可通过不同的渠道和方式获取,内部数据资源大多通过企业内部业务和应用系统数据库为数据源,外部数据资源主要通过埋点、爬虫等技术手段来获取。


埋点数据:通过App或网站埋点采集用户行为数据,典型的埋点数据应用场景包括用户行为分析,线上广告营销转化率分析等。


爬虫数据:使用爬虫程序获取第三方系统或网站的数据,典型的爬虫数据可应用于网络舆情分析和价格监测等场景。


日志数据:借助日志采集工具采集机器和应用产生的日志数据,典型的日志数据可用于系统服务异常监控,安全合规审计等场景。



数据资源规划实施:企业在数据资源规划与获取的过程中,除了需要企业内部提供有效的组织保障,包括数据管理人员、数据分析人员和业务使用人员之间的紧密协作,而且还需要全面的对整个企业或政府部门组织需求分析调研,这样才可有效帮助企业理清数据资源家底,明确数据资源获取与使用的方式方法。


数据资源可视化:


在数据中台理念下,我们所指的数据资源规划和获取一定是企业全局性的考量和行为。“牵一发而动全身”这必然会牵扯到各部门和各层级组织架构的利益。


如果能将现有数据资源梳理结果进行可视化呈现,让各子公司、各部门、各业务需求方都可以清晰了解自身数据资源现状,以及要满足自身数据应用需求,还需要获取哪些数据资源,还需要增加多少量的数据存储空间,还需要补充哪些外部数据,现有数据质量又如何,则可以大规模提高企业数据资源利用的效率。



a9e50ff69f5a534a6113d3244c29f66932821be9


数据资源分析报告:企业以前对自身数据资源的认识是模糊的,企业需要一份完整详备的数据资源分析报告,指导后续数据治理和数据资产管理平台的建设,最终服务于企业数据应用场景。为了满足客户的这一需求痛点,袋鼠云便将数据资源分析报告作为“数据资源规划与获取服务”的交付产出物之一。


“虽然数据还没有被列入企业的资产负债表,但这只是一个时间问题”。


——维克托·迈尔·舍恩伯格《大数据时代》


数据资源规划与获取是袋鼠云数据中台7大服务中的基础服务之一,从数据资源到数据资产,还必须经过数据治理和数据整体建模,即我们数据中台专栏下期要讲的,基于数据中台策略的数据整体建模和数据资产管理。


下期再见。


相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
3月前
|
机器学习/深度学习 敏捷开发 存储
数据飞轮:激活数据中台的数据驱动引擎
数据飞轮:激活数据中台的数据驱动引擎
|
5月前
|
数据采集 存储 监控
从零到一建设数据中台 - 数据治理路径
从零到一建设数据中台 - 数据治理路径
129 6
|
4月前
|
SQL 运维 Oracle
【迁移秘籍揭晓】ADB如何助你一臂之力,轻松玩转Oracle至ADB的数据大转移?
【8月更文挑战第27天】ADB(Autonomous Database)是由甲骨文公司推出的自动化的数据库服务,它极大简化了数据库的运维工作。在从传统Oracle数据库升级至ADB的过程中,数据迁移至关重要。
73 0
|
5月前
|
存储 JSON Cloud Native
数据库ADB-PG问题之数据源处理如何解决
数据库ADB-PG问题之数据源处理如何解决
|
3月前
|
机器学习/深度学习 数据可视化 数据挖掘
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
本文探讨了如何通过数据飞轮激活数据中台的潜力,实现数据驱动的创新。文章分析了数据中台面临的挑战,如数据孤岛和工具复杂性,并提出了建立统一数据治理架构、引入自动化数据管道和强化数据与业务融合等策略。通过实际案例和技术示例,展示了如何利用数据飞轮实现业务增长,强调了数据可视化和文化建设的重要性。旨在帮助企业充分挖掘数据价值,提升决策效率。
84 1
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
|
3月前
|
存储 机器学习/深度学习 数据管理
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
|
3月前
|
机器学习/深度学习 消息中间件 搜索推荐
【数据飞轮】驱动业务增长的高效引擎 —从数据仓库到数据中台的技术进化与实战
在数据驱动时代,企业逐渐从数据仓库过渡到数据中台,并进一步发展为数据飞轮。本文详细介绍了这一演进路径,涵盖数据仓库的基础存储与查询、数据中台的集成与实时决策,以及数据飞轮的自动化增长机制。通过代码示例展示如何在实际业务中运用数据技术,实现数据的最大价值,推动业务持续优化与增长。
102 4
|
3月前
|
机器学习/深度学习 搜索推荐 算法
从数据中台到数据飞轮:企业升级的必然之路
在探讨是否需从数据中台升级至数据飞轮前,我们应先理解两者之间的关系。数据中台作为数据集成、清洗及治理的强大平台,是数据飞轮的基础;而要实现数据飞轮,则需进一步增强数据自动化处理与智能化利用能力。借助机器学习与人工智能技术,“转动”数据并创建反馈机制,使数据在循环中不断优化,如改进产品推荐系统,进而形成数据飞轮。此外,为了适应市场变化,企业还需提高数据基础设施的敏捷性和灵活性,这可通过采用微服务架构和云计算技术来达成,从而确保数据系统的快速扩展与调整,支持数据飞轮高效运转。综上所述,数据中台虽为基础,但全面升级至数据飞轮则需在数据自动化处理、反馈机制及系统敏捷性方面进行全面提升。
108 14
|
2月前
|
机器学习/深度学习 JSON JavaScript
LangChain-21 Text Splitters 内容切分器 支持多种格式 HTML JSON md Code(JS/Py/TS/etc) 进行切分并输出 方便将数据进行结构化后检索
LangChain-21 Text Splitters 内容切分器 支持多种格式 HTML JSON md Code(JS/Py/TS/etc) 进行切分并输出 方便将数据进行结构化后检索
36 0
|
2月前
|
数据管理 数据挖掘 大数据
数据飞轮崛起:数据中台真的过时了吗?
数据飞轮崛起:数据中台真的过时了吗?