AI 助理
备案控制台

亢海鹏_个人页

个人头像照片 亢海鹏
个人头像照片 个人头像照片 个人头像照片 个人头像照片
文章
65
问答
143
视频
0

个人介绍

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效的分析处理海量数据。

擅长的技术

  • Java
  • Python
  • 前端开发
  • Linux
  • 数据库
获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

阿里云技能认证

详细说明
暂无更多信息

2021年05月

2021年03月

2021年02月

  • 02.20 13:47:43
    发表了文章 2021-02-20 13:47:43

    【转载】一次 MySQL 千万级大表的优化过程

    使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死，严重影响业务。老系统，当时设计系统的人大概是大学没毕业，表设计和SQL语句写的不仅仅是垃圾，简直无法直视。原开发人员都已离职，到我来维护，这就是传说中的维护不了就跑路，然后我就是掉坑的那个！！！

2021年01月

  • 01.28 14:14:59
    发表了文章 2021-01-28 14:14:59

    MaxCompute Tunnel 技术原理及开发实战

    MaxCompute（原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案, 致力于批量结构化数据的存储和计算，为用户提供数据仓库的解决方案及分析建模服务。Tunnel是MaxCompute提供的数据传输服务，提供高并发的离线数据上传下载服务，适合于全量数据或历史数据的批量导入, 并且在MaxCompute的客户端工具中，提供对应的命令实现本地文件与服务数据的互通。
  • 01.28 11:19:50
    发表了文章 2021-01-28 11:19:50

    MaxCompute消费预警与控制

    MaxCompute（原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案, 致力于批量结构化数据的存储和计算，为用户提供数据仓库的解决方案及分析建模服务，以及完善的数据导入方案和多种经典的分布式计算模型，帮助用户轻松完成大数据分析。目前，MaxCompute服务已覆盖全球16个国家和地区，为全球用户提供海量数据存储和计算服务。
  • 01.07 10:41:22
    发表了文章 2021-01-07 10:41:22

    MaxCompute Spark 使用和常见问题

    本文将就MaxCompute Spark开发环境搭建、常用配置、作业迁移注意事项以及常见问题进行深入介绍。

2020年12月

  • 发表了文章 2024-05-19

    阿里云MaxCompute携手华大基因打造精准医疗应用云平台，十万基因组计算成本降低至1000美金以内

  • 发表了文章 2024-05-15

    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云

  • 发表了文章 2024-05-15

    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云

  • 发表了文章 2023-08-28

    【深入MaxCompute】人力家：用MaxCompute 事务表2.0主键模型去重数据持续降本增效

  • 发表了文章 2023-06-25

    MaxCompute湖仓一体近实时增量处理技术架构揭秘

  • 发表了文章 2022-12-01

    MaxCompute 新售卖规格解读与新版控制台操作详解

  • 发表了文章 2022-08-29

    《阿里云云原生一体化数仓新能力解读》电子书重磅来袭！六大能力，助力企业构建全托管的现代化数仓！

  • 发表了文章 2022-08-03

    阿里云云原生一体化数仓--数据安全能力解读

  • 发表了文章 2022-07-22

    阿里云云原生一体化数仓 — 湖仓一体新能力解读

  • 发表了文章 2022-07-15

    阿里云云原生一体化数仓 — 数据治理新能力解读

  • 发表了文章 2022-07-08

    阿里云云原生一体化数仓 — 数据建模新能力解读

  • 发表了文章 2022-06-29

    阿里云云原生一体化数仓 — 分析服务一体化新能力解读

  • 发表了文章 2022-06-24

    阿里云云原生一体化数仓 — 离线实时一体化新能力解读

  • 发表了文章 2022-05-05

    【转载】大数据在线离线一体化解决方案最佳实践

  • 发表了文章 2022-04-26

    【转载】基于MaxCompute的大数据安全方案

  • 发表了文章 2021-11-15

    离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

  • 发表了文章 2021-11-09

    湖仓一体在金融科技行业的实践

  • 发表了文章 2021-11-05

    数字营销行业大数据平台云原生升级实战

  • 发表了文章 2021-11-05

    “万里牛”实时数仓的演进之路

  • 发表了文章 2021-11-05

    新氧云原生全栈数仓最佳实践

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2023-04-18

    dataworks 数据落地到ftp变成文件，有没有给数据中间加分隔符的功能？

    如果使用DataWorks数据集成同步，可以自定义列分隔符。 参考文档：https://help.aliyun.com/document_detail/137756.htm
    踩0 评论0
  • 回答了问题 2023-04-18

    有没有大佬可以帮忙一下 dataworks实时同步任务 监听到了binlog 但是maxc

    是说监控到了数据更新或者删除，但MaxCompute侧的数据没有变化是吗？ 在实时同步场景下，数据写入不同目的端时，对源端DDL和DML操作的支持情况不同，MaxCompute普通内部表不支持更新和删除操作。 https://help.aliyun.com/document_detail/442337.htm
    踩0 评论0
  • 回答了问题 2023-04-18

    MaxCompute新建的项目没有odps_first默认数据源，这个找谁处理？

    您好，应该是创建工作空间时没有添加MaxCompute引擎。 点击工作空间配置
    踩0 评论0
  • 回答了问题 2023-02-07

    Maxcompute能否像MySQL一样灵活使用用户变量（即MySQL的@变量名）

    可以看下MaxCompute脚本模式，用odps Script节点。 https://help.aliyun.com/document_detail/139140.html
    踩0 评论0
  • 回答了问题 2023-01-18

    云原生大数据计算服务 MaxCompute开发者版有什么注意事项？

    MaxCompute开发者版已于北京时间2022年10月31日（周一）00:00:00停止新购，于2023年04月30日（周日）00:00:00停止续订，于2023年10月31日（周二）00:00:00停止服务。 请及时更换付费方式。 期间您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群（钉钉群号：10405002914）联系我们。 感谢您的配合！ MaxCompute公告：https://help.aliyun.com/document_detail/44035.html#section-qyy-5t2-lkf
    踩0 评论0
  • 回答了问题 2023-01-18

    为什么我不能开通maxcomputer开发者版

    MaxCompute开发者版已于北京时间2022年10月31日（周一）00:00:00停止新购，于2023年04月30日（周日）00:00:00停止续订，于2023年10月31日（周二）00:00:00停止服务。 请及时更换付费方式。 期间您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群（钉钉群号：10405002914）联系我们。 感谢您的配合！ MaxCompute公告：https://help.aliyun.com/document_detail/44035.html#section-qyy-5t2-lkf
    踩0 评论0
  • 回答了问题 2023-01-18

    MaxCompute中开发者版项目切换其它类型资源组后可以切回开发者版吗

    当前MaxCompute开发者版已于北京时间2022年10月31日（周一）00:00:00停止新购，于2023年04月30日（周日）00:00:00停止续订，于2023年10月31日（周二）00:00:00停止服务。 请及时更换付费方式。 期间您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute部分售卖规格下线支持群（钉钉群号：10405002914）联系我们。 感谢您的配合！
    踩0 评论0
  • 回答了问题 2022-12-14

    Maxcompute使用Mars DataFrame索引找不到

    Mars是支持直接读写MaxCompute表参考这个https://help.aliyun.com/document_detail/167460.html
    踩0 评论0
  • 回答了问题 2022-11-07

    MaxCompute上使用pyodps连接云上数据库计算auc，数据量太大老是撑爆内存

    看着是运行到了本地，导致本地内存爆了。你可以参考这篇文章改一下。https://developer.aliyun.com/article/782779我理解用udf或者用Python第三方库才能解决你的问题。
    踩0 评论1
  • 回答了问题 2022-11-07

    为什么按照pyodps使用第三方包这一节中先上传为maxcompute资源再import会报错呢

    是不是上传为MaxCompute资源后，没有在datastudio界面上面展示？有做提交吗？ 这个问题还是有点不太具体，这个错误原因需要具体看报错什么。 可以加到MaxCompute社区钉群中具体问下。 点击申请加入
    踩0 评论0
  • 回答了问题 2022-11-07

    hive的视图maxcompute能接吗？

    可以接。 使用DataWorks的数据集成，使用独享数据集成资源组，添加hive数据源，在数据同步节点转成脚本模式同步需要同步的视图就可以。
    踩0 评论0
  • 回答了问题 2022-11-04

    不允许JNI调用限制

    您好，MaxCompute MapReduce及UDF程序在分布式环境中运行时，受到Java沙箱的限制，所以不允许JNI调用。MaxCompute出于安全方面的考虑，不建议客户取消这个沙箱限制。
    踩0 评论0
  • 回答了问题 2022-10-14

    Java SDK查看权限信息

    show principals ;命令用于查询角色授予的用户信息。可以先使用list roles查看角色正确名称。再执行show principals 命令。如果还解决不了问题，可以补充评论。
    踩0 评论1
  • 回答了问题 2022-07-06

    关于MaxCompute中对于上传数据的事务性

    MaxCompute上传数据的方式有以下几种。 1、Tunnel 2、DataWorks数据集成 3、DTS 4、Datahub 开源产品sqoop、kettle、Flume等 MaxCompute支持ACID语义，可以参考文档：ACID语义
    踩0 评论0
  • 回答了问题 2022-07-06

    maxcompute中的数据是否能够与你们的分析库数据ads进行关联起来查询？

    您好，当前MaxCompute中的数据无法跟ads中的数据进行关联查询。 关于更多大数据问题可以在MaxCompute开发者社区钉群中进行咨询。 点击群邀请链接申请加入
    踩0 评论0
  • 回答了问题 2022-05-26

    dataworks数据开发pyodps使用第三方包

    您好，DF的话就使用options.df.libraries = ['six.whl', 'python_dateutil.whl'] 也可以在DataWorks独享资源组里面用运维助手。
    踩0 评论0
  • 回答了问题 2022-04-11

    在纬度表中怎么在生成一个不会变化的id

    您好，当前MaxCompute不支持主键，可以试试用ROW_NUMBER函数实现自增ID。 参考文档：https://help.aliyun.com/document_detail/34994.html#section-cm1-cd1-wdb
    踩0 评论0
  • 回答了问题 2022-01-20

    odps alter column 判断存在

    您好，当前MaxCompute针对列的操作有添加列或注释、修改列名、修改列注释、同时修改列名及列注释。但常用命令和DDL都无法提前判断列是否存在。 感谢您对MaxCompute的持续关注与支持。您可以加入MaxCompute开发者社区钉群，跟开发者们交流关于大数据计算、云数据仓库等技术。欢迎扫码或点击申请链接进群。 申请链接
    踩0 评论0
  • 回答了问题 2021-11-29

    MaxCompute Studio连接问题

    您好，请问提示什么错误？ 可以在扫码在MaxCompute开发者社区钉群问下。 或者点击邀请链接加入。
    踩0 评论0
  • 回答了问题 2021-11-29

    odpscmd 执行spark list错误

    您好，请问您具体的需求是什么呢？这个命令暂时还没有在公有云上使用，您可以说下您的需求，我看看有没有其他方式可以满足。
    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息