亢海鹏
亢海鹏_个人页
亢海鹏
文章
65
问答
143
视频
0
个人介绍
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效的分析处理海量数据。
擅长的技术
- Java
- Python
- 前端开发
- Linux
- 数据库
-
发表了文章 2024-05-19
阿里云MaxCompute携手华大基因打造精准医疗应用云平台，十万基因组计算成本降低至1000美金以内
华大基因是中国最领先的基因科技公司，华大基因为消除人类病痛、经济危机、国家灾难、濒危动物保护、缩小贫富差距等方面提供分子遗传层面的技术支持。让我们结合maxcompute的技术特点，看看如何助力华大基因。
-
发表了文章 2024-04-15
MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
一，背景与概述 复杂系统的灾难恢复是个难题，具有海量数据及复杂业务场景的大数据容灾是个大难题。 MaxCompute是集团内重要数据平台，是自主研发的大数据解决方案，其规模和稳定性在业界都是领先的。
-
发表了文章 2024-04-15
MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
一，背景与概述 复杂系统的灾难恢复是个难题，具有海量数据及复杂业务场景的大数据容灾是个大难题。 MaxCompute是集团内重要数据平台，是自主研发的大数据解决方案，其规模和稳定性在业界都是领先的。
-
发表了文章 2023-08-28
【深入MaxCompute】人力家：用MaxCompute 事务表2.0主键模型去重数据持续降本增效
MaxCompute新增Transaction Table2.0（下文简称事务表2.0)表类型在2023年6月27日开始邀测，支持基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。
-
发表了文章 2023-06-25
MaxCompute湖仓一体近实时增量处理技术架构揭秘
本文将介绍阿里云云原生大数据计算服务MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。
-
发表了文章 2022-12-01
MaxCompute 新售卖规格解读与新版控制台操作详解
MaxCompute近期推出新版控制和新的售卖规格，新售卖规格包含弹性预留CU、资源抵扣包。本文为您介绍新售卖规格的特性、限制以及新版控制包含的具体功能以及相关操作。
-
发表了文章 2022-08-29
《阿里云云原生一体化数仓新能力解读》电子书重磅来袭！六大能力，助力企业构建全托管的现代化数仓！
离线实时一体、分析服务一体、湖仓一体、数据安全、数据建模、数据治理，六大热门主题，六位大数据专家，带你了解当前炙手可热的云数仓产品最新演进趋势。
-
发表了文章 2022-08-03
阿里云云原生一体化数仓--数据安全能力解读
云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力，包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、开发生产环境隔离等安全能力，实现了端到端的安全管控能力。
-
发表了文章 2022-07-22
阿里云云原生一体化数仓 — 湖仓一体新能力解读
本文主要介绍如何通过湖仓一体，打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖，以及 Hologres、MySQL 等数据平台，并通过 DataWorks 做统一数据开发和治理。
-
发表了文章 2022-07-15
阿里云云原生一体化数仓 — 数据治理新能力解读
本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展，包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读，以及围绕降本增效的成本治理最佳实践。
-
发表了文章 2022-07-08
阿里云云原生一体化数仓 — 数据建模新能力解读
本文主要介绍DataWorks智能数据建模的核心产品能力。
-
发表了文章 2022-06-29
阿里云云原生一体化数仓 — 分析服务一体化新能力解读
本文主要介绍如何通过Hologres在分析和服务场景下的新功能，包括资源隔离，数据湖（Delta、Hudi）的支持、JSON优化支持等。
-
发表了文章 2022-06-24
阿里云云原生一体化数仓 — 离线实时一体化新能力解读
介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案，通过用实时的引擎做预处理，实现离线实时数据入仓后做更加实时的服务化BI分析实践。
-
发表了文章 2022-05-05
【转载】大数据在线离线一体化解决方案最佳实践
本文重点介绍大数据产品集通用解决方案，即大数据在线计算+离线计算一体化解决方案，并通过真实案例模拟来说明此通用解决方案在具体项目中是如何落地的。
-
发表了文章 2022-04-26
【转载】基于MaxCompute的大数据安全方案
随着法律的完善，数据安全，信息安全，网络安全，升级成国家安全，所以数据安全不管对用户，还是对公司也都会变的越来越重要。做为大数据云数仓解决方案的领导者，阿里云MaxCompute在安全体系上也做了很多特性，本文给大家简单介绍下MaxCompute关于数据安全的一些能力。
-
发表了文章 2021-11-15
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
阿里云智能研究员 林伟 ：阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考，使得湖的灵活性、数据种类丰富与仓的可成长性和企业级管理得到有机融合，这是阿里巴巴最佳实践的宝贵资产，是大数据的新一代架构。
-
发表了文章 2021-11-09
湖仓一体在金融科技行业的实践
上海数禾信息科技大数据平台负责人 程俊杰：MaxCompute+DLF+EMR的湖仓一体架构实现了统一元数据管理 ，统一存储管理，统一权限管理 ，真正实现湖仓计算的自由流动，为企业业务高速发展助力。
-
发表了文章 2021-11-05
数字营销行业大数据平台云原生升级实战
加和科技CTO 王可攀：技术是为业务价值而服务
-
发表了文章 2021-11-05
“万里牛”实时数仓的演进之路
湖畔网络大数据平台负责人 陈晓亮：我们建设数据中台的原动力是希望积累的数据能够持续产生价值，阿里云提供的大数据产品组件，让我们这种中小规模数据团队也有机会可以支撑大数据业务。
-
发表了文章 2021-11-05
新氧云原生全栈数仓最佳实践
新氧数据中台数据研发部总监 高宏超：自建大数据平台面临困难与挑战，我们从成本、安全、资产管理及组件可扩展性等综合考量后决定整体迁移到阿里云，上云后，总体资源成本降低30%，性能上提升2-3倍，商家、用户、活动等运营体验提升，未来期待更多互动和交流。
-
发表了文章 2021-09-26
基于Delta lake、Hudi格式的湖仓一体方案
Delta Lake 和 Hudi 是流行的开放格式的存储层，为数据湖同时提供流式和批处理的操作，这允许我们在数据湖上直接运行 BI 等应用，让数据分析师可以即时查询新的实时数据，从而对您的业务产生即时的洞察。MaxCompute 在湖仓一体架构中，通过支持 Delta Lake 和 Hudi 在数据湖中提供数据仓库性能。
-
发表了文章 2021-09-23
基于MaxCompute SQL 的半结构化数据处理实践
MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。通过与阿里云内、外部服务灵活组合，可构建丰富的数据应用。全托管的数据与分析解决方案，可简化平台运维、管理投入，提升面向业务的服务能力，加速价值实现。
-
发表了文章 2021-09-22
基于 MaxCompute + Hologres 的人群圈选和数据服务实践
本文主要介绍如何通过 MaxCompute 进行海量人群的标签加工，通过 Hologres 进行分析建模，从而支持大规模人群复杂圈选场景下的交互式体验，以及基于API的数据服务最佳实践。
-
发表了文章 2021-09-10
基于MaxCompute分布式Python能力的大规模数据科学分析
如何利用云上分布式 Python 加速数据科学。 如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈，同时又受限于平台的计算性能无法处理，本文介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一，就会用 MaxCompute 分布式 Python 的能力。
-
发表了文章 2021-09-03
基于 MaxCompute 的实时数据处理实践
MaxCompute 通过流式数据高性能写入和秒级别查询能力(查询加速)，提供EB级云原生数仓近实时分析能力；高效的实现对变化中的数据进行快速分析及决策辅助。当前Demo基于近实时交互式BI分析/决策辅助场景，实现指标卡近实时BI分析、近实时市场监测、近实时趋势分析、近实时销量拆分功能。
-
发表了文章 2021-08-30
基于MaxCompute+PAI的用户增长方案实践
如何通过PAI+MaxCompute完成用户增长模型AARRR全链路，包含拉新、促活、留存、创收、分享。
-
提交了问题
2021-08-23
MaxCompute中python udf报错
-
提交了问题
2021-08-23
MaxCompute 中Python udf报错
-
提交了问题
2021-08-23
MaxCompute中python udf报错
-
提交了问题
2021-08-23
MaxCompute 中python udf报错
-
提交了问题
2021-08-23
MaxCompute 中 python udf报错
-
提交了问题
2021-08-23
MaxCompute 中python udf报错
-
提交了问题
2021-08-23
MaxCompute 中 python udf报错：
-
提交了问题
2021-08-23
MaxCompute中python udf报错
-
提交了问题
2021-08-23
Python UDF报错function or view 'xxx' cannot be resol
-
发表了文章 2021-08-19
基于MaxCompute+开放搜索的电商、零售行业搜索开发实践
搜索一直是电商行业流量来源的核心入口之一，如何搭建电商行业搜索并提升搜索效果，一直是电商行业开发者努力攻克的难题。基于传统数据库或开源引擎虽然能够搭建基础搜索服务，但随着商品数据的增多和业务流量的增长，难免会遇到性能瓶颈和效果瓶颈。另一方面，随着电商、直播、云计算等技术的不断发展，越来越多的传统零售企业正在进行互联网云上转型，特别是受近两年疫情等因素的影响，APP、小程序已经成为零售企业重要的业务增长来源。在此背景下，如何快速搭建高效搜索服务成为零售行业上云及转型的难题。
-
发表了文章 2021-08-11
基于 MaxCompute 的业务增长解决方案
在互联网行业红利已过、在获客成本越来越高、在用户在线时长全网基本无增长以及信息大爆炸的情况下，如何更好的转化新用户和提升老用户粘性就变得至关重要，智能化的个性化推荐无疑是经过验证的重要手段之一，我们每天使用的移动App或企业内都处处有其身影。
-
发表了文章 2021-07-29
外部工具连接SaaS模式云数仓MaxCompute 实战—— 数据库管理工具篇
本次直播将主要分享MaxCompute查询加速功能、数据库管理工具DBeaver、DataGrip、SQL Workbench/J的部分连接演示。
-
提交了问题
2021-07-22
如何迁移跨region的MaxCompute相关的业务流程以及表数据？
-
提交了问题
2021-07-22
影响MaxCompute Tunenl下载速度的原因，主要是什么？
-
提交了问题
2021-07-22
MaxCompute将查询出来的数据写入到oss上(MaxCompute的外部表)，能控制生成的数量
-
提交了问题
2021-07-22
MaxCompute中有命令可以把所有的project列出来吗？
-
提交了问题
2021-07-22
MaxCompute 中，节点任务的参数如何传递到spark的输入参数
-
提交了问题
2021-07-22
MaxCompute 非分区表支持直接转换为分区表吗？
-
发表了文章 2021-07-22
外部工具连接SaaS模式云数据仓库MaxCompute实战——BI分析工具篇
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，帮助企业和大数据开发者经济并高效的分析处理海量数据。
-
发表了文章 2021-07-15
MaxCompute Spark 资源使用优化详解
本文主要讲解MaxCompute Spark资源调优，目的在于在保证Spark任务正常运行的前提下，指导用户更好地对Spark作业资源使用进行优化，极大化利用资源，降低成本。
-
提交了问题
2021-07-09
从自建hive往MaxCompute内导入数据的时候，默认数据为覆盖，覆盖是整张表 drop 掉，重
-
提交了问题
2021-07-09
MaxCompute中给表中指定位置加字段的sql怎么写呢？
-
提交了问题
2021-07-09
MaxCompute中有实现IP地址归属地转换的函数吗？
-
提交了问题
2021-07-09
如何把开发表中的数据同步到生产表中？
暂无更多信息
-
发表了文章
2024-05-19
阿里云MaxCompute携手华大基因打造精准医疗应用云平台，十万基因组计算成本降低至1000美金以内
-
发表了文章
2024-05-15
MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
-
发表了文章
2024-05-15
MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
-
发表了文章
2023-08-28
【深入MaxCompute】人力家：用MaxCompute 事务表2.0主键模型去重数据持续降本增效
-
发表了文章
2023-06-25
MaxCompute湖仓一体近实时增量处理技术架构揭秘
-
发表了文章
2022-12-01
MaxCompute 新售卖规格解读与新版控制台操作详解
-
发表了文章
2022-08-29
《阿里云云原生一体化数仓新能力解读》电子书重磅来袭！六大能力，助力企业构建全托管的现代化数仓！
-
发表了文章
2022-08-03
阿里云云原生一体化数仓--数据安全能力解读
-
发表了文章
2022-07-22
阿里云云原生一体化数仓 — 湖仓一体新能力解读
-
发表了文章
2022-07-15
阿里云云原生一体化数仓 — 数据治理新能力解读
-
发表了文章
2022-07-08
阿里云云原生一体化数仓 — 数据建模新能力解读
-
发表了文章
2022-06-29
阿里云云原生一体化数仓 — 分析服务一体化新能力解读
-
发表了文章
2022-06-24
阿里云云原生一体化数仓 — 离线实时一体化新能力解读
-
发表了文章
2022-05-05
【转载】大数据在线离线一体化解决方案最佳实践
-
发表了文章
2022-04-26
【转载】基于MaxCompute的大数据安全方案
-
发表了文章
2021-11-15
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
-
发表了文章
2021-11-09
湖仓一体在金融科技行业的实践
-
发表了文章
2021-11-05
数字营销行业大数据平台云原生升级实战
-
发表了文章
2021-11-05
“万里牛”实时数仓的演进之路
-
发表了文章
2021-11-05
新氧云原生全栈数仓最佳实践
滑动查看更多
-
回答了问题
2023-04-18
dataworks 数据落地到ftp变成文件，有没有给数据中间加分隔符的功能？
如果使用DataWorks数据集成同步，可以自定义列分隔符。 参考文档：https://help.aliyun.com/document_detail/137756.htm赞0 踩0 评论0 -
回答了问题
2023-04-18
有没有大佬可以帮忙一下 dataworks实时同步任务 监听到了binlog 但是maxc
是说监控到了数据更新或者删除，但MaxCompute侧的数据没有变化是吗？ 在实时同步场景下，数据写入不同目的端时，对源端DDL和DML操作的支持情况不同，MaxCompute普通内部表不支持更新和删除操作。 https://help.aliyun.com/document_detail/442337.htm赞0 踩0 评论0 -
回答了问题
2023-04-18
MaxCompute新建的项目没有odps_first默认数据源，这个找谁处理？
您好，应该是创建工作空间时没有添加MaxCompute引擎。 点击工作空间配置赞0 踩0 评论0 -
回答了问题
2023-02-07
Maxcompute能否像MySQL一样灵活使用用户变量（即MySQL的@变量名）
可以看下MaxCompute脚本模式，用odps Script节点。 https://help.aliyun.com/document_detail/139140.html赞1 踩0 评论0 -
回答了问题
2023-01-18
云原生大数据计算服务 MaxCompute开发者版有什么注意事项？
MaxCompute开发者版已于北京时间2022年10月31日（周一）00:00:00停止新购，于2023年04月30日（周日）00:00:00停止续订，于2023年10月31日（周二）00:00:00停止服务。 请及时更换付费方式。 期间您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群（钉钉群号：10405002914）联系我们。 感谢您的配合！ MaxCompute公告：https://help.aliyun.com/document_detail/44035.html#section-qyy-5t2-lkf赞0 踩0 评论0 -
回答了问题
2023-01-18
为什么我不能开通maxcomputer开发者版
MaxCompute开发者版已于北京时间2022年10月31日（周一）00:00:00停止新购，于2023年04月30日（周日）00:00:00停止续订，于2023年10月31日（周二）00:00:00停止服务。 请及时更换付费方式。 期间您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群（钉钉群号：10405002914）联系我们。 感谢您的配合！ MaxCompute公告：https://help.aliyun.com/document_detail/44035.html#section-qyy-5t2-lkf赞0 踩0 评论0 -
回答了问题
2023-01-18
MaxCompute中开发者版项目切换其它类型资源组后可以切回开发者版吗
当前MaxCompute开发者版已于北京时间2022年10月31日（周一）00:00:00停止新购，于2023年04月30日（周日）00:00:00停止续订，于2023年10月31日（周二）00:00:00停止服务。 请及时更换付费方式。 期间您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群（钉钉群号：10405002914）联系我们。 感谢您的配合！赞0 踩0 评论0 -
回答了问题
2022-12-14
Maxcompute使用Mars DataFrame索引找不到
Mars是支持直接读写MaxCompute表参考这个https://help.aliyun.com/document_detail/167460.html赞0 踩0 评论0 -
回答了问题
2022-11-07
MaxCompute上使用pyodps连接云上数据库计算auc，数据量太大老是撑爆内存
看着是运行到了本地，导致本地内存爆了。你可以参考这篇文章改一下。https://developer.aliyun.com/article/782779我理解用udf或者用Python第三方库才能解决你的问题。赞0 踩0 评论1 -
回答了问题
2022-11-07
为什么按照pyodps使用第三方包这一节中先上传为maxcompute资源再import会报错呢
是不是上传为MaxCompute资源后，没有在datastudio界面上面展示？有做提交吗？ 这个问题还是有点不太具体，这个错误原因需要具体看报错什么。 可以加到MaxCompute社区钉群中具体问下。 点击申请加入赞0 踩0 评论0 -
回答了问题
2022-11-07
hive的视图maxcompute能接吗？
可以接。 使用DataWorks的数据集成，使用独享数据集成资源组，添加hive数据源，在数据同步节点转成脚本模式同步需要同步的视图就可以。赞0 踩0 评论0 -
回答了问题
2022-11-04
不允许JNI调用限制
您好，MaxCompute MapReduce及UDF程序在分布式环境中运行时，受到Java沙箱的限制，所以不允许JNI调用。MaxCompute出于安全方面的考虑，不建议客户取消这个沙箱限制。赞0 踩0 评论0 -
回答了问题
2022-10-14
Java SDK查看权限信息
show principals ;命令用于查询角色授予的用户信息。可以先使用list roles查看角色正确名称。再执行show principals 命令。如果还解决不了问题，可以补充评论。赞0 踩0 评论1 -
回答了问题
2022-07-06
关于MaxCompute中对于上传数据的事务性
MaxCompute上传数据的方式有以下几种。 1、Tunnel 2、DataWorks数据集成 3、DTS 4、Datahub 开源产品sqoop、kettle、Flume等 MaxCompute支持ACID语义，可以参考文档：ACID语义赞0 踩0 评论0 -
回答了问题
2022-07-06
maxcompute中的数据是否能够与你们的分析库数据ads进行关联起来查询？
您好，当前MaxCompute中的数据无法跟ads中的数据进行关联查询。 关于更多大数据问题可以在MaxCompute开发者社区钉群中进行咨询。 点击群邀请链接申请加入赞0 踩0 评论0 -
回答了问题
2022-05-26
dataworks数据开发pyodps使用第三方包
您好，DF的话就使用options.df.libraries = ['six.whl', 'python_dateutil.whl'] 也可以在DataWorks独享资源组里面用运维助手。赞1 踩0 评论0 -
回答了问题
2022-04-11
在纬度表中怎么在生成一个不会变化的id
您好，当前MaxCompute不支持主键，可以试试用ROW_NUMBER函数实现自增ID。 参考文档：https://help.aliyun.com/document_detail/34994.html#section-cm1-cd1-wdb赞0 踩0 评论0 -
回答了问题
2022-01-20
odps alter column 判断存在
您好，当前MaxCompute针对列的操作有添加列或注释、修改列名、修改列注释、同时修改列名及列注释。但常用命令和DDL都无法提前判断列是否存在。 感谢您对MaxCompute的持续关注与支持。您可以加入MaxCompute开发者社区钉群，跟开发者们交流关于大数据计算、云数据仓库等技术。欢迎扫码或点击申请链接进群。 申请链接赞0 踩0 评论0 -
回答了问题
2021-11-29
MaxCompute Studio连接问题
您好，请问提示什么错误？ 可以在扫码在MaxCompute开发者社区钉群问下。 或者点击邀请链接加入。赞0 踩0 评论0 -
回答了问题
2021-11-29
odpscmd 执行spark list错误
您好，请问您具体的需求是什么呢？这个命令暂时还没有在公有云上使用，您可以说下您的需求，我看看有没有其他方式可以满足。赞0 踩0 评论0
滑动查看更多
暂无更多信息