带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——四、数据中台项目管理实践(下)

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——四、数据中台项目管理实践(下)

《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——四、数据中台项目管理实践(上) https://developer.aliyun.com/article/1229405?groupCode=dataphin



2. 需求调研与设计

研和设阶段的是的是目起始阶段的产,并下一阶段“技术实施输出发实施求。


为了加的实施度,在做研的同时,可以同步行数据的上云工作,和数据中台数据的设公共层设)。


以下 3 线是可以并行行:

业务线负责业务研。

上云线负责数据上云

构线负责公共层数据


1) 业务线


• 业务调研及结合行业最佳实践

数据中台类项的实施,有一个比较大的不同在于,数据中台是基于业务场景驱动的技术交付一个业务场景围绕着建立业务场景的/标签体系(以下简称标体系),并标体系指导业务运驱动和实现价值创造的过程。


• PRD 设计

PRD 的是标的价值,确定指标的可地性,并设以可化的方式,展示这些标。


2) 数据线

数据线大概分个步:首先是确定数据盘点上云先级,其次是行数据盘点,最上云和数据上云


• 确定数据盘点和上云的范围和优先级

该阶段标是,探个场景所需的数据,了解这些数据分布的系统,产出数据盘点上云系统清单


• 数据盘点

上云系统清单盘点所需用到的数据,盘点的内包括:系统流程表、数据源基信息、数据资源、数据


• 上云架构设计和数据上云

该阶段盘点的数据信息和数据使用要求,设计上云,并依照架构开始上云作。


3) 架构线

构线作:理企业的业务图,以及基于业务图,指导数据中台的公共层建设。


3. 技术实施

1) 传统流水线开发

在做数据中台的时沿的是流线型的发方式,是在一个阶段有较清晰完整的交付物时,才进入到下一个阶段如需。设计明确了,才开发。发完成了,才开


这样的处是:

便求的管理,可以过设里程确定需求,以低需求的

便规划资源的,在一资源的环节投入BA,设计环节PD


是这样的题是:

出现求不能实现。

重复工作,BA 向客户调口径PD/TM 接手清单后,PD/TM 又需要重新和客理一

由于有的/标签是同时上线,客需要的时间较长。客不能较好控制标的先级。

对于方也是的,等都开发完成以才让。验收的风险期长,风险大

数据中台持续期可能是年以难保在这长的期内,需求是一层不变的。哪了,也有更可能。


2) 敏捷式开发

为了解题,瓴羊的专家实施中引入迭代式的发。以双周作为迭代计划,周都是一个完整的


这样可以据客价值的先级来行的。迭代都能有指标验收上线。对于方来能提前分批预知风险,客也可以提使用高价值的标。


,质量保障不能等行,这样加了复工风险。质量保障应有一个完整的持续进行。


4. 数据中台-项目收尾

阶段归交付物自行存档并发,为完目进程和作总结。设一些式,里程。同时复和缺细节,以帮助下一个

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
2月前
|
监控 数据处理 索引
整合LlamaIndex与LangChain构建高级的查询处理系统
该文阐述了如何结合LlamaIndex和LangChain构建一个扩展性和定制性强的代理RAG应用。LlamaIndex擅长智能搜索,LangChain提供跨平台兼容性。代理RAG允许大型语言模型访问多个查询引擎,增强决策能力和多样化回答。文章通过示例代码展示了如何设置LLM、嵌入模型、LlamaIndex索引及查询引擎,并将它们转换为LangChain兼容的工具,实现高效、精准的问题解答。通过多代理协作,系统能处理复杂查询,提高答案质量和相关性。
106 0
|
2月前
|
弹性计算 自然语言处理 开发工具
基于阿里云向量检索 Milvus 版和 LangChain 快速构建 LLM 问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
|
25天前
|
存储 SQL 多模数据库
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
|
1月前
|
人工智能 自然语言处理 API
深入浅出 LangChain 与智能 Agent:构建下一代 AI 助手
深入浅出 LangChain 与智能 Agent:构建下一代 AI 助手
327 0
深入浅出 LangChain 与智能 Agent:构建下一代 AI 助手
|
27天前
|
数据采集 分布式计算 大数据
森马基于MaxCompute+Hologres+DataWorks构建数据中台
本次案例主要分享森马集团面对多年自建的多套数仓产品体系,通过阿里云MaxCompute+Hologres+DataWorks统一数仓平台,保障数据生产稳定性与数据质量,减少ETL链路及计算时间,每年数仓整体费用从300多万降到180万。
|
1月前
|
数据采集 数据可视化 数据管理
台州银行携手瓴羊Dataphin共建数据平台,打造小微金融治理新标杆
台州银行数据治理项目携手瓴羊Dataphin,荣获中国信息通信研究院评为“2023年铸基计划高质量数字化转型典型优秀案例”、数字化研究机构沙丘社区选为“2024中国数据资产管理最佳实践案例”双重认可。
262 4
|
2月前
|
机器学习/深度学习 人工智能
【LangChain系列】第九篇:LLM 应用评估简介及实践
【5月更文挑战第23天】本文探讨了如何评估复杂且精密的语言模型(LLMs)应用。通过创建QA应用程序,如使用GPT-3.5-Turbo模型,然后构建测试数据,包括手动创建和使用LLM生成示例。接着,通过手动评估、调试及LLM辅助评估来衡量性能。手动评估借助langchain.debug工具提供执行细节,而QAEvalChain则利用LLM的语义理解能力进行评分。这些方法有助于优化和提升LLM应用程序的准确性和效率。
355 8
|
2月前
|
存储 机器学习/深度学习 人工智能
【LangChain系列】第八篇:文档问答简介及实践
【5月更文挑战第22天】本文探讨了如何使用大型语言模型(LLM)进行文档问答,通过结合LLM与外部数据源提高灵活性。 LangChain库被介绍为简化这一过程的工具,它涵盖了嵌入、向量存储和不同类型的检索问答链,如Stuff、Map-reduce、Refine和Map-rerank。文章通过示例展示了如何使用LLM从CSV文件中提取信息并以Markdown格式展示
119 2
|
2月前
|
机器学习/深度学习 自然语言处理 数据挖掘
【LangChain系列】第七篇:工作流(链)简介及实践
【5月更文挑战第21天】LangChain是一个框架,利用“链”的概念将复杂的任务分解为可管理的部分,便于构建智能应用。数据科学家可以通过组合不同组件来处理和分析非结构化数据。示例中展示了如何使用LLMChain结合OpenAI的GPT-3.5-turbo模型,创建提示模板以生成公司名称和描述。顺序链(SimpleSequentialChain和SequentialChain)则允许按顺序执行多个步骤,处理多个输入和输出
361 1
|
2月前
|
存储 人工智能 搜索推荐
【LangChain系列】第六篇:内存管理简介及实践
【5月更文挑战第20天】【LangChain系列】第六篇:内存管理简介及实践
98 0
【LangChain系列】第六篇:内存管理简介及实践

相关产品

  • 智能数据建设与治理 Dataphin