备案控制台
探索云世界

亢海鹏_个人页

个人头像照片 亢海鹏
个人头像照片 个人头像照片 个人头像照片 个人头像照片
文章
64
问答
143
视频
0

个人介绍

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效的分析处理海量数据。

擅长的技术

  • Java
  • Python
  • 前端开发
  • Linux
  • 数据库
获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

阿里云技能认证

详细说明
暂无更多信息

2024年04月

2023年08月

2023年06月

2023年04月

2023年02月

2023年01月

2022年12月

  • 12.01 15:33:35
    发表了文章 2022-12-01 15:33:35

    MaxCompute 新售卖规格解读与新版控制台操作详解

    MaxCompute近期推出新版控制和新的售卖规格，新售卖规格包含弹性预留CU、资源抵扣包。本文为您介绍新售卖规格的特性、限制以及新版控制包含的具体功能以及相关操作。

2022年11月

2022年08月

2022年07月

2022年06月

2022年05月

2022年04月

  • 04.26 10:09:59
    发表了文章 2022-04-26 10:09:59

    【转载】基于MaxCompute的大数据安全方案

    随着法律的完善，数据安全，信息安全，网络安全，升级成国家安全，所以数据安全不管对用户，还是对公司也都会变的越来越重要。做为大数据云数仓解决方案的领导者，阿里云MaxCompute在安全体系上也做了很多特性，本文给大家简单介绍下MaxCompute关于数据安全的一些能力。
  • 04.11 09:37:00
    回答了问题 2022-04-11 09:37:00

    在纬度表中怎么在生成一个不会变化的id

    踩0 评论0

2022年01月

2021年11月

  • 11.29 14:35:18
    回答了问题 2021-11-29 14:35:18

    MaxCompute Studio连接问题

    踩0 评论0
  • 11.29 10:52:50
    回答了问题 2021-11-29 10:52:50

    odpscmd 执行spark list错误

    踩0 评论0
  • 11.15 16:58:01
    发表了文章 2021-11-15 16:58:01

    离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

    阿里云智能研究员 林伟 ：阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考，使得湖的灵活性、数据种类丰富与仓的可成长性和企业级管理得到有机融合，这是阿里巴巴最佳实践的宝贵资产，是大数据的新一代架构。
  • 11.10 18:03:19
    回答了问题 2021-11-10 18:03:19

    畅谈元宇宙，空间还是时间？机遇还是空谈？【我们谈】

    踩0 评论1
  • 11.09 10:23:31
    发表了文章 2021-11-09 10:23:31

    湖仓一体在金融科技行业的实践

    上海数禾信息科技大数据平台负责人 程俊杰：MaxCompute+DLF+EMR的湖仓一体架构实现了统一元数据管理 ，统一存储管理，统一权限管理 ，真正实现湖仓计算的自由流动，为企业业务高速发展助力。
  • 11.05 17:00:42
    发表了文章 2021-11-05 17:00:42

    数字营销行业大数据平台云原生升级实战

    加和科技CTO 王可攀：技术是为业务价值而服务
  • 11.05 16:40:22
    发表了文章 2021-11-05 16:40:22

    “万里牛”实时数仓的演进之路

    湖畔网络大数据平台负责人 陈晓亮：我们建设数据中台的原动力是希望积累的数据能够持续产生价值，阿里云提供的大数据产品组件，让我们这种中小规模数据团队也有机会可以支撑大数据业务。
  • 11.05 16:23:21
    发表了文章 2021-11-05 16:23:21

    新氧云原生全栈数仓最佳实践

    新氧数据中台数据研发部总监 高宏超：自建大数据平台面临困难与挑战，我们从成本、安全、资产管理及组件可扩展性等综合考量后决定整体迁移到阿里云，上云后，总体资源成本降低30%，性能上提升2-3倍，商家、用户、活动等运营体验提升，未来期待更多互动和交流。

2021年09月

  • 09.28 10:41:39
    回答了问题 2021-09-28 10:41:39

    maxcompute 查询4万条数据总数，为什么需要15秒。

    踩0 评论0
  • 09.26 18:05:33
    发表了文章 2021-09-26 18:05:33

    基于Delta lake、Hudi格式的湖仓一体方案

    Delta Lake 和 Hudi 是流行的开放格式的存储层，为数据湖同时提供流式和批处理的操作，这允许我们在数据湖上直接运行 BI 等应用，让数据分析师可以即时查询新的实时数据，从而对您的业务产生即时的洞察。MaxCompute 在湖仓一体架构中，通过支持 Delta Lake 和 Hudi 在数据湖中提供数据仓库性能。
  • 09.23 17:40:38
    发表了文章 2021-09-23 17:40:38

    基于MaxCompute SQL 的半结构化数据处理实践

    MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。通过与阿里云内、外部服务灵活组合，可构建丰富的数据应用。全托管的数据与分析解决方案，可简化平台运维、管理投入，提升面向业务的服务能力，加速价值实现。
  • 09.22 14:26:04
    发表了文章 2021-09-22 14:26:04

    基于 MaxCompute + Hologres 的人群圈选和数据服务实践

    本文主要介绍如何通过 MaxCompute 进行海量人群的标签加工，通过 Hologres 进行分析建模，从而支持大规模人群复杂圈选场景下的交互式体验，以及基于API的数据服务最佳实践。
  • 09.10 16:34:49
    发表了文章 2021-09-10 16:34:49

    基于MaxCompute分布式Python能力的大规模数据科学分析

    如何利用云上分布式 Python 加速数据科学。 如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈，同时又受限于平台的计算性能无法处理，本文介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一，就会用 MaxCompute 分布式 Python 的能力。
  • 09.03 17:38:19
    发表了文章 2021-09-03 17:38:19

    基于 MaxCompute 的实时数据处理实践

    MaxCompute 通过流式数据高性能写入和秒级别查询能力(查询加速)，提供EB级云原生数仓近实时分析能力；高效的实现对变化中的数据进行快速分析及决策辅助。当前Demo基于近实时交互式BI分析/决策辅助场景，实现指标卡近实时BI分析、近实时市场监测、近实时趋势分析、近实时销量拆分功能。

2021年08月

  • 发表了文章 2024-04-15

    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云

  • 发表了文章 2024-04-15

    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云

  • 发表了文章 2023-08-28

    【深入MaxCompute】人力家：用MaxCompute 事务表2.0主键模型去重数据持续降本增效

  • 发表了文章 2023-06-25

    MaxCompute湖仓一体近实时增量处理技术架构揭秘

  • 发表了文章 2022-12-01

    MaxCompute 新售卖规格解读与新版控制台操作详解

  • 发表了文章 2022-08-29

    《阿里云云原生一体化数仓新能力解读》电子书重磅来袭！六大能力，助力企业构建全托管的现代化数仓！

  • 发表了文章 2022-08-03

    阿里云云原生一体化数仓--数据安全能力解读

  • 发表了文章 2022-07-22

    阿里云云原生一体化数仓 — 湖仓一体新能力解读

  • 发表了文章 2022-07-15

    阿里云云原生一体化数仓 — 数据治理新能力解读

  • 发表了文章 2022-07-08

    阿里云云原生一体化数仓 — 数据建模新能力解读

  • 发表了文章 2022-06-29

    阿里云云原生一体化数仓 — 分析服务一体化新能力解读

  • 发表了文章 2022-06-24

    阿里云云原生一体化数仓 — 离线实时一体化新能力解读

  • 发表了文章 2022-05-05

    【转载】大数据在线离线一体化解决方案最佳实践

  • 发表了文章 2022-04-26

    【转载】基于MaxCompute的大数据安全方案

  • 发表了文章 2021-11-15

    离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

  • 发表了文章 2021-11-09

    湖仓一体在金融科技行业的实践

  • 发表了文章 2021-11-05

    数字营销行业大数据平台云原生升级实战

  • 发表了文章 2021-11-05

    “万里牛”实时数仓的演进之路

  • 发表了文章 2021-11-05

    新氧云原生全栈数仓最佳实践

  • 发表了文章 2021-09-26

    基于Delta lake、Hudi格式的湖仓一体方案

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2023-04-18

    dataworks 数据落地到ftp变成文件，有没有给数据中间加分隔符的功能？

    如果使用DataWorks数据集成同步，可以自定义列分隔符。 参考文档：https://help.aliyun.com/document_detail/137756.htm

    踩0 评论0
  • 回答了问题 2023-04-18

    有没有大佬可以帮忙一下 dataworks实时同步任务 监听到了binlog 但是maxc

    是说监控到了数据更新或者删除，但MaxCompute侧的数据没有变化是吗？ 在实时同步场景下，数据写入不同目的端时，对源端DDL和DML操作的支持情况不同，MaxCompute普通内部表不支持更新和删除操作。 https://help.aliyun.com/document_detail/442337.htm

    踩0 评论0
  • 回答了问题 2023-04-18

    MaxCompute新建的项目没有odps_first默认数据源，这个找谁处理？

    您好，应该是创建工作空间时没有添加MaxCompute引擎。 image.png 点击工作空间配置 image.png

    踩0 评论0
  • 回答了问题 2023-02-07

    Maxcompute能否像MySQL一样灵活使用用户变量（即MySQL的@变量名）

    可以看下MaxCompute脚本模式，用odps Script节点。 https://help.aliyun.com/document_detail/139140.html

    踩0 评论0
  • 回答了问题 2023-01-18

    云原生大数据计算服务 MaxCompute开发者版有什么注意事项？

    MaxCompute开发者版已于北京时间2022年10月31日（周一）00:00:00停止新购，于2023年04月30日（周日）00:00:00停止续订，于2023年10月31日（周二）00:00:00停止服务。 请及时更换付费方式。 期间您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群（钉钉群号：10405002914）联系我们。 感谢您的配合！ MaxCompute公告：https://help.aliyun.com/document_detail/44035.html#section-qyy-5t2-lkf

    踩0 评论0
  • 回答了问题 2023-01-18

    为什么我不能开通maxcomputer开发者版

    MaxCompute开发者版已于北京时间2022年10月31日（周一）00:00:00停止新购，于2023年04月30日（周日）00:00:00停止续订，于2023年10月31日（周二）00:00:00停止服务。 请及时更换付费方式。 期间您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群（钉钉群号：10405002914）联系我们。 感谢您的配合！ MaxCompute公告：https://help.aliyun.com/document_detail/44035.html#section-qyy-5t2-lkf

    踩0 评论0
  • 回答了问题 2023-01-18

    MaxCompute中开发者版项目切换其它类型资源组后可以切回开发者版吗

    当前MaxCompute开发者版已于北京时间2022年10月31日（周一）00:00:00停止新购，于2023年04月30日（周日）00:00:00停止续订，于2023年10月31日（周二）00:00:00停止服务。 请及时更换付费方式。 期间您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群（钉钉群号：10405002914）联系我们。 感谢您的配合！

    踩0 评论0
  • 回答了问题 2022-12-14

    Maxcompute使用Mars DataFrame索引找不到

    Mars是支持直接读写MaxCompute表

    参考这个https://help.aliyun.com/document_detail/167460.html

    踩0 评论0
  • 回答了问题 2022-11-07

    MaxCompute上使用pyodps连接云上数据库计算auc，数据量太大老是撑爆内存

    看着是运行到了本地，导致本地内存爆了。

    你可以参考这篇文章改一下。

    https://developer.aliyun.com/article/782779

    我理解用udf或者用Python第三方库才能解决你的问题。

    踩0 评论1
  • 回答了问题 2022-11-07

    为什么按照pyodps使用第三方包这一节中先上传为maxcompute资源再import会报错呢

    是不是上传为MaxCompute资源后，没有在datastudio界面上面展示？有做提交吗？ 这个问题还是有点不太具体，这个错误原因需要具体看报错什么。 可以加到MaxCompute社区钉群中具体问下。 点击申请加入

    踩0 评论0
  • 回答了问题 2022-11-07

    hive的视图maxcompute能接吗？

    可以接。 使用DataWorks的数据集成，使用独享数据集成资源组，添加hive数据源，在数据同步节点转成脚本模式同步需要同步的视图就可以。

    踩0 评论0
  • 回答了问题 2022-11-04

    不允许JNI调用限制

    您好，MaxCompute MapReduce及UDF程序在分布式环境中运行时，受到Java沙箱的限制，所以不允许JNI调用。

    MaxCompute出于安全方面的考虑，不建议客户取消这个沙箱限制。

    踩0 评论0
  • 回答了问题 2022-10-14

    Java SDK查看权限信息

    show principals <role_name>;命令用于查询角色授予的用户信息。

    可以先使用list roles查看角色正确名称。再执行show principals 命令。

    如果还解决不了问题，可以补充评论。

    踩0 评论1
  • 回答了问题 2022-07-06

    关于MaxCompute中对于上传数据的事务性

    MaxCompute上传数据的方式有以下几种。 1、Tunnel 2、DataWorks数据集成 3、DTS 4、Datahub 开源产品sqoop、kettle、Flume等

    MaxCompute支持ACID语义，可以参考文档：ACID语义

    踩0 评论0
  • 回答了问题 2022-07-06

    maxcompute中的数据是否能够与你们的分析库数据ads进行关联起来查询？

    您好，当前MaxCompute中的数据无法跟ads中的数据进行关联查询。 关于更多大数据问题可以在MaxCompute开发者社区钉群中进行咨询。 点击群邀请链接申请加入

    踩0 评论0
  • 回答了问题 2022-05-26

    dataworks数据开发pyodps使用第三方包

    您好，DF的话就使用options.df.libraries = ['six.whl', 'python_dateutil.whl'] 也可以在DataWorks独享资源组里面用运维助手。

    踩0 评论0
  • 回答了问题 2022-04-11

    在纬度表中怎么在生成一个不会变化的id

    您好，当前MaxCompute不支持主键，可以试试用ROW_NUMBER函数实现自增ID。 参考文档：https://help.aliyun.com/document_detail/34994.html#section-cm1-cd1-wdb

    踩0 评论0
  • 回答了问题 2022-01-20

    odps alter column 判断存在

    您好，当前MaxCompute针对列的操作有添加列或注释、修改列名、修改列注释、同时修改列名及列注释。但常用命令和DDL都无法提前判断列是否存在。 感谢您对MaxCompute的持续关注与支持。您可以加入MaxCompute开发者社区钉群，跟开发者们交流关于大数据计算、云数据仓库等技术。欢迎扫码或点击申请链接进群。 申请链接 海清2群.png

    踩0 评论0
  • 回答了问题 2021-11-29

    MaxCompute Studio连接问题

    您好，请问提示什么错误？ 可以在扫码在MaxCompute开发者社区钉群问下。 或者点击邀请链接加入。 海清2群.png

    踩0 评论0
  • 回答了问题 2021-11-29

    odpscmd 执行spark list错误

    您好，请问您具体的需求是什么呢？这个命令暂时还没有在公有云上使用，您可以说下您的需求，我看看有没有其他方式可以满足。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息