开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

离线数仓阶段小迈数仓的业务出现什么问题?

已解决

离线数仓阶段小迈数仓的业务出现什么问题?

展开
收起
游客lmkkns5ck6auu 2022-08-29 21:46:37 281 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    • 系统间通过神策系统以 JDBC 的方式拉取数据,过度依赖第三方神策,过于耦合,神策出问题的时候,整个计算流程无法继续,无法满足业务的敏捷分析需求。神策恢复之后,手动参与重新跑数据,浪费了许多人力;

    • 数据统计完之后,数据入库慢,大大影响了整个链路的跑数时间,而业务对数据计算的实时性要求越来越高,现阶段无法支撑;

    • 数据量呈现指数级别的增长,分析维度越来越多,结果数据基本达到了明细数据级别,现有的数据查询引擎某 DB 不足以支撑这么大数据的多维度分析,面临最大的挑战就是对百亿级规模的行为数据做低延迟、高 QPS 的查询分析;

    • 为了解决查询引擎不足以支撑大数据量查询的问题,因此数据做了很多的前置 计算,造成计算冗余,成本上升;

    • 同时系统越来越多,导致运维成本、开发成本也随之线性增长,导致无法快速满足业务的各种诉求。

    以上内容摘自《大数据&AI实战派 第1期》电子书,点击https://developer.aliyun.com/ebook/download/7722 可下载完整版

    2022-08-30 12:41:12
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

热门讨论

热门文章

相关电子书

更多
新氧云原生全栈数仓最佳实践 立即下载
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载
企业大数据平台下数仓架构 立即下载