开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

基于 MaxCompute 的湖仓一体架构有哪些更新?

基于 MaxCompute 的湖仓一体架构有哪些更新?

展开
收起
游客lmkkns5ck6auu 2022-09-14 18:56:03 978 0
1 条回答
写回答
取消 提交回答
  • • 对外部数据库生态联邦查询 支持 MaxCompute 外部 Schema 整库映射 MySQL、Hologres DB/Schema,同 时与 Hologres 能够存储直读,提升读写效率,用户不用做类似于从关系型数据库 到 MaxCompute 的数据迁移工作,直接通过外部数据源的映射,在 MaxCompute 里可以实现本地数仓和外部数据源的联邦查询。

    • 对非结构化数据的管理和处理 MaxCompute 通过 Mount OSS 路径,可以将存储在 OSS 上的结构化文件、非结 构化图片、音视频等等,纳入到数仓权限体系做管理。OSS 还是对文件做粗粒度 的权限管理,把 OSS 提升为 MaxCompute 的一个对象,利用 MaxCompute 里的 ACL 对每个用户是否可以访问 OSS 上的某些文件,做细粒度的权限管理。通过 MaxCompute 里的 Spark 引擎或者机器学习 PAI 对结构化、半结构化以及非结构 化文件格式的数据做处理。

    • 对 Hadoop 资源池的云上扩展 当 IDC 集群或者云上 Hadoop 集群需要扩容以及业务线快速的更新迭代,想要快 速的试错。在不对本身集群资源做调整的情况下,直接将需要的算力放到 Serverless 云数仓服务,就可以实现对业务的快速迭代和试错,达到对现有资源 的无缝扩展。

    以上内容摘自《阿里云云原生一体化数仓新能力解读》电子书,点击https://developer.aliyun.com/ebook/download/7725 可下载完整版

    2022-09-14 23:14:39
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    基于云原生数据仓库AnalyticDB PG的最佳实践 立即下载
    新氧云原生全栈数仓最佳实践 立即下载
    离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载