前沿分享|数澜科技联合创始人&副总裁 江敏:基于云原生数据仓库AnalyticDB PostgreSQL的最佳实践

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 本篇内容为2021云栖大会-云原生数据仓库AnalyticDB技术与实践峰会分论坛中,数澜科技联合创始人&副总裁江敏关于“基于云原生数据仓库AnalyticDB PostgreSQL的最佳实践”的分享。

3a51ad200ad744a6a8894d9195cf7d12.jpeg

本篇内容将通过四个部分来介绍基于云原生数据仓库AnalyticDB PG的最佳实践。

一、背景介绍

二、方案介绍

三、客户实践—某商业集团

四、公司介绍

 2.png



一、背景介绍


当前我国数据中台行业处于从萌芽转向高速发展的过渡期,伴随着数据星的爆发式增长,数据处理技术的进步,以及企业数字化转型驱动市场需求不断增加,行业增长势头明显,市场规模快速扩张。目前,数据中台在行业头部已逐渐薄地,而对于数据中台能力要求相对简单的中小企业,为其提供标准化、轻量化的整体解决方案将是日前市场的主要诉求。

3.png



我们去构建整个数据中台的能力的时候,其实会碰到一些问题。比如,底层架构复杂。传统数据中台架构思维,导致客户在选型和部署大数据组件,开发和调度数据任务和运维和运营数据需要多方进行权衡考虑,架构复杂,使用门槛过高。其次,运维成本高。伴随着传统統数据中台底层架构的复杂性,随之而来的是复杂的IT人员体系以及高昂的运维成本。第三,响应时效挑战大。随着数据量的不断增加以及业务需求的不断迭代,如何快速响应业务人员需求、减少数据分析的等待时间、让业务人员有更好的体验将成为数据中台成功的关键指标。


4.png


二、方案介绍

5.png



我们基于ADB PG这个版本去构建整个轻量级数据中台的时候,你会发现底下就一个ADB PG。中间的话,我们是一个轻量级数据中台的套件。这样两套系统就可以去撑我们上层的业务建设。

6.png


从整个的业务架构来说,底层是我们现有的各种数据源的系统。然后我们会在数据中台会搭建一个技术体系,在技术体系里包括了ADB。之后再构建我们整个的数据体系跟服务体系。在数据中台的技术体系上,就是我们的数据流。它会经过一个数据建模的过程。对于轻量化的中小微企业来说,当需要轻量化的方案时,我们会把它放到ADB里。在这过程中,就不需要去考虑搬迁数据的问题,我所有的数据都在这个体系里面。ADB的数据量,其实能够支撑大部分企业的数据量使用。

7.png



企业只要在这里构建整个数据模型,我们会有相应的工具来支撑,包括数据同步,环境管理,模型开发,模型监测,包括数据治理的一些功能。对于数据及服务来说,我们在构建数据模型的时候,针对企业的对象,我们会去构建一些具体的指标,相应的内幕体系也会建设起来。比如,我们从客户的视角,构建客户的画像体系。从供应商的视角,构建供应商的画像体系。数据构建完之后,我们就可以去做洞察,营销,精准匹配等。所以从数据层面看,它能够支撑应用场景。

8.png



针对具体的场景来看,我们分成几大块。第一个,财务领域。财务报表有时候会跟企业的经营报表口径统一,大部分企业在面临财务审计的时候,对于企业来说是一个非常强的需求。第二个,企业的应收应付和人力资源的管理。对员工的洞察,也需要通过数字化的手段去管理员工叫数字员工。更加精细化的去对员工做一些考核,包括一些相应的指标分析。第三,我们目前在一些领域做实时数据的分析。根据轨迹去做态势的分析,包括一些碰撞的分析。第四,加密数据库的能力。这种场景可以基于ADB的底座去构建。数据的可用不可见,让我们对数据可以更加高效的管理。

9.png



三、客户实践—某商业集团


我们主要讲一个商业集团的案例。这个商业集团,主要是管理高速服务区。原先服务区,每个服务区自己建设系统。现在随着智能化服务区概念的提出,需要对进出服务区的管理进行统一。在建设之初,我们也遇到了一些问题。比如,数据收集难,50对+服务区,各自独立,只能收集部分统计数据;多种信息系统独自建设,归口各不统一;无法有效获得周边路段的数据;数据孤岛问题明显。数据管理混乱,各位数据笆理部门不一,没有形成统一的资产目录; 数据标准不一,数据质参差不齐;跨部门数据使用协调繁琐。数据使用弱,数据大部分处于沉唾状态。对于管理者的运营监控、经营决策等方面缺少必要的智能洞察。


在解决这些问题的时候,要考虑到对于各个服务区的这个站点,怎样能够降低维护成本?怎样可以开箱即用?,对于它里面建设场景刚才其实也简单介绍过。第一个,服务器里会有很多视频分析的场景。涉及到关键信息,要实时抓取,写到道数据库里。比如人流的情况,车流的情况,拥堵的这种情况,人员进来之后,对什么样的商品有需求?对于服务区总体的管控来说,我们在预测服务区的流量,一些供需关系,一些管理的时候。它需要把数据汇聚到总部来,做统一的管理,统一的分析。


10.png


从客户价值呈现的角度来说,第一,智能化。我们通过对各类数据的采集、加工、治理及应用,并结合成熟的业务模型,释放数据价值,支撑业务的智能化。第二,轻量化。我们简化传统中台架构,用ADB替代Hadoop生态,降低企业资源存储及计算的复杂度和成本;为多维分析决策提供保障。第三,场景化。我们以具体的业务场最为切入点,自下而上,围绕场景开展数据治理,构建数据资产,支撑数据应用需求,贴近价值。

11.png



四、公司介绍


数澜科技成立于2016年6月,自成立之日起,秉持”让数据用起来”的使命,帮助企业持续数据资产化,赋能业务创新。数澜科技总部位于杭州,在华北(北京)、华南(深圳)、华西(成都)、华中(武汉)设有本地化团队,核心成员均来自阿里巴巴、华为、IBM、 百度、金蝶、甲骨文等一线企业,是国内较早-批大数据服务创新实践者。截止目前,数澜科技使用旗下核心产品”数栖平台”, 已为1000+企业客户提供数据中台建设服务,帮助客窖户使用数据中台作为关键数字技术推动企业的数字化变革。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
3月前
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
14天前
|
Kubernetes Cloud Native Ubuntu
庆祝 .NET 9 正式版发布与 Dapr 从 CNCF 毕业:构建高效云原生应用的最佳实践
2024年11月13日,.NET 9 正式版发布,Dapr 从 CNCF 毕业,标志着云原生技术的成熟。本文介绍如何使用 .NET 9 Aspire、Dapr 1.14.4、Kubernetes 1.31.0/Containerd 1.7.14、Ubuntu Server 24.04 LTS 和 Podman 5.3.0-rc3 构建高效、可靠的云原生应用。涵盖环境准备、应用开发、Dapr 集成、容器化和 Kubernetes 部署等内容。
40 5
|
28天前
|
监控 Cloud Native 持续交付
云原生架构下微服务的最佳实践与挑战####
【10月更文挑战第20天】 本文深入探讨了云原生架构在现代软件开发中的应用,特别是针对微服务设计模式的最优实践与面临的主要挑战。通过分析容器化、持续集成/持续部署(CI/CD)、服务网格等关键技术,阐述了如何高效构建、部署及运维微服务系统。同时,文章也指出了在云原生转型过程中常见的难题,如服务间的复杂通信、安全性问题以及监控与可观测性的实现,为开发者和企业提供了宝贵的策略指导和解决方案建议。 ####
44 5
|
27天前
|
Kubernetes Cloud Native 持续交付
云原生架构下的微服务设计原则与最佳实践##
在数字化转型的浪潮中,云原生技术以其高效、灵活和可扩展的特性成为企业IT架构转型的首选。本文深入探讨了云原生架构的核心理念,聚焦于微服务设计的关键原则与实施策略,旨在为开发者提供一套系统性的方法论,以应对复杂多变的业务需求和技术挑战。通过分析真实案例,揭示了如何有效利用容器化、持续集成/持续部署(CI/CD)、服务网格等关键技术,构建高性能、易维护的云原生应用。文章还强调了文化与组织变革在云原生转型过程中的重要性,为企业顺利过渡到云原生时代提供了宝贵的见解。 ##
|
1月前
|
人工智能 Cloud Native 安全
从云原生到 AI 原生,网关的发展趋势和最佳实践
本文整理自阿里云智能集团资深技术专家,云原生产品线中间件负责人谢吉宝(唐三)在云栖大会的精彩分享。讲师深入浅出的分享了软件架构演进过程中,网关所扮演的各类角色,AI 应用的流量新特征对软件架构和网关所提出的新诉求,以及基于阿里自身实践所带来的开源贡献和商业能力。
175 11
|
1月前
|
存储 运维 监控
云原生应用的可观察性:理解、实现与最佳实践
【10月更文挑战第10天】随着云原生技术的发展,可观察性成为确保应用性能和稳定性的重要因素。本文探讨了云原生应用可观察性的概念、实现方法及最佳实践,包括监控、日志记录和分布式追踪的核心组件,以及如何通过选择合适的工具和策略来提升应用的可观察性。
|
24天前
|
缓存 监控 大数据
构建高可用AnalyticDB集群:最佳实践
【10月更文挑战第25天】在大数据时代,数据仓库和分析平台的高可用性变得尤为重要。作为阿里巴巴推出的一款完全托管的PB级实时数据仓库服务,AnalyticDB(ADB)凭借其高性能、易扩展和高可用的特点,成为众多企业的首选。本文将从我个人的角度出发,分享如何构建和维护高可用性的AnalyticDB集群,确保系统在各种情况下都能稳定运行。
26 0
|
27天前
|
数据采集 分布式计算 OLAP
最佳实践:AnalyticDB在企业级大数据分析中的应用案例
【10月更文挑战第22天】在数字化转型的大潮中,企业对数据的依赖程度越来越高。如何高效地处理和分析海量数据,从中提取有价值的洞察,成为企业竞争力的关键。作为阿里云推出的一款实时OLAP数据库服务,AnalyticDB(ADB)凭借其强大的数据处理能力和亚秒级的查询响应时间,已经在多个行业和业务场景中得到了广泛应用。本文将从个人的角度出发,分享多个成功案例,展示AnalyticDB如何助力企业在广告投放效果分析、用户行为追踪、财务报表生成等领域实现高效的数据处理与洞察发现。
52 0
|
2月前
|
Cloud Native 关系型数据库 Serverless
基于阿里云函数计算(FC)x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。该最佳实践会指导大家基于开源WebChat组件LobeChat和阿里云函数计算(FC)构建企业生产级别LLM Chat应用。实现同一个WebChat中既可以支持自定义的Agent,也支持基于Ollama部署的开源模型场景。
438 16
|
4月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之分组优化如何实现
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

相关产品

  • 云原生数据仓库AnalyticDB MySQL版
  • 云原生数据仓库 AnalyticDB PostgreSQL版
  • 下一篇
    无影云桌面