aliyun4381607004_个人页

2024年11月

• 11.05 09:31:52
  发表了文章 2024-11-05 09:31:52

  阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析

  本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。

2024年10月

• 10.16 21:13:28
  发表了文章 2024-10-16 21:13:28

  阿里云PAI-Stable Diffusion开源代码浅析之（二）我的png info怎么有乱码

  阿里云PAI-Stable Diffusion开源代码浅析之（二）我的png info怎么有乱码

2024年07月

• 07.30 09:04:02
  发表了文章 2024-07-30 09:04:02

  阿里云PAI-Stable Diffusion开源代码浅析之（一）所有api的入参如何看

  阿里云PAI-Stable Diffusion开源代码浅析之所有api的入参如何看

2024年06月

• 06.29 17:06:35
  发表了文章 2024-06-29 17:06:35

  阿里云百炼大模型平台-自定义插件接口协议报错排查方案

  阿里云百炼大模型平台-自定义插件接口协议报错排查方案
• 06.25 13:50:58
  发表了文章 2024-06-25 13:50:58

  阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理

  阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
• 06.17 09:59:15
  发表了文章 2024-06-17 09:59:15

  阿里云DataWorks-部署自定义python项目问题

  阿里云DataWorks-多种方式部署自定义python项目并进行调度

2024年05月

• 04.07 16:52:59
  发表了文章 2024-04-07 16:52:59

  阿里云Flink-自定义kafka format实践及踩坑记录（以protobuf为例）

  阿里云Flink-自定义kafka format实践及踩坑记录（以protobuf为例）
• 03.13 14:49:17
  发表了文章 2024-03-13 14:49:17

  阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践

  本文以云厂商售后技术支持的角度，从客户的需求出发，对于阿里云EMR-Trino集群的选型，外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录，模拟客户已有的业务场景，满足客户需求的同时对过程中的问题点进行解决、记录和分析，包括但不限于Mysql、ODPS、Hive connector的配置，Hive、Delta及Hudi等不同表格式读取的兼容，aws s3、阿里云 oss协议访问异常的解决等。
• 01.18 14:49:09
  发表了文章 2024-01-18 14:49:09

  阿里云Flink-自定义kafka sink partitioner实践及相关踩坑记录

  阿里云Flink-自定义kafka sink partitioner实践及相关踩坑记录

2023年11月

• 11.06 13:36:36
  发表了文章 2023-11-06 13:36:36

  阿里云ElasticSearch基础巡检指标

  阿里云ElasticSearch基础巡检指标

2023年10月

• 10.30 15:36:33
  发表了文章 2023-10-30 15:36:33

  阿里云kubernetes（ACK）pod异常问题分析辅助工具-pod生命周期及事件可观测一览图

  阿里云kubernetes（ACK）pod异常问题分析辅助工具-pod生命周期及事件可观测一览图
• 10.18 12:47:25
  发表了文章 2023-10-18 12:47:25

  阿里云MaxCompute-Hive UDF（Java）迁移上云实践

  阿里云MaxCompute-Hive UDF（Java）迁移上云实践

2023年09月

• 09.22 10:00:44
  发表了文章 2023-09-22 10:00:44

  阿里云MaxCompute-Hive作业迁移语法兼容性踩坑记录

  阿里云MaxCompute-Hive作业迁移语法兼容性踩坑记录
• 09.18 13:41:00
  发表了文章 2023-09-18 13:41:00

  阿里云E-MapReduce集群-开源Ldap密码不安全问题解决方案

  社区开源Ldap密码不安全问题解决方案
• 09.12 16:39:51
  发表了文章 2023-09-12 16:39:51

  阿里云E-MapReduce集群不同计算引擎sleep task使用笔记

  需求：日常在E-MapReduce集群中进行相关测试，验证一些切换或变更是否会影响业务的运行导致任务failed。所以需要在测试集群中运行指定资源数（vcore及memory）或者指定运行时间的任务。 目前用到MapReduce和spark任务两种，其余的持续更新补充中……
• 09.07 12:05:56
  发表了文章 2023-09-07 12:05:56

  阿里云E-MapReduce节点优雅下线-基于Yarn Node Labels特性

  背景：阿里云E-MapReduce集群（简称EMR集群）部分节点需要下线迁移，但集群资源常年跑满，诉求是节点下线迁移过程中不影响任一任务执行。 本次方案基于Yarn Node Labels的特性进行资源隔离后下线。 下期对官网Graceful Decommission of YARN Nodes的方案进行验证，参考：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/GracefulDecommission.html。

2023年08月

• 08.30 16:24:49
  发表了文章 2023-08-30 16:24:49

  阿里云ElasticSearch安装开源插件实践

  阿里云ElasticSearch安装开源插件实践，包含较为常用的NLPchina/elasticsearch-sql与medcl/elasticsearch-analysis-stconvert两个插件的安装、使用测试及同类插件的差异对比
• 08.17 14:11:51
  发表了文章 2023-08-17 14:11:51

  阿里云ElasticSearch索引元数据迁移-基于Python3原生类库

  阿里云ElasticSearch索引元数据迁移-基于Python3原生类库
• 08.17 13:55:33
  发表了文章 2023-08-17 13:55:33

  阿里云ElasticSearch迁移-基于OSS全增量快照

  阿里云ElasticSearch迁移-基于OSS全增量快照

  
• 08.10 12:00:59
  发表了文章 2023-08-10 12:00:59

  阿里云ElasticSearch入门基础-增删改查

  阿里云ElasticSearch入门基础-增删改查，基于阿里云全托管ElasticSearch，版本6.7
• 08.09 11:35:17
  发表了文章 2023-08-09 11:35:17

  阿里云ElasticSearch从OSS快照恢复总消耗时长统计方法

  阿里云ElasticSearch从OSS快照恢复包含其他云厂商ES实例或本地IDC的ES实例中所有的索引，GET /_recovery包含独立索引从快照恢复的开始及结束时长，本方法统计ES实例级别的所有索引快照恢复时间，包含手动输入GET /_recovery及http请求两种信息获取方式。
• 08.07 10:56:45
  发表了文章 2023-08-07 10:56:45

  阿里云全托管flink-vvp平台hudi connector实践（基于emr集群oss-hdfs存储）

  阿里云全托管flink-vvp平台hudi sink connector实践，本文数据湖hudi基于阿里云E-MapReduce产品，以云对象存储oss-hdfs作为存储

2023年07月

• 07.26 11:02:14
  发表了文章 2023-07-26 11:02:14

  阿里云ecs搭建简易ftp服务器-用于DataWorks文件存储及依赖校验

  很多企业客户在使用阿里云产品时，经常需要与FTP服务器进行文件交互，诸如跨IDC任务done文件依赖，跨账号、部门临时数据交互等场景。这里简要记录阿里云ecs搭建简易ftp服务器用于上述场景答疑的过程。
• 07.25 10:39:47
  发表了文章 2023-07-25 10:39:47

  全托管flink-vvp 自定义mongodb-cdc-connector实践

  本文以阿里云全托管FLINK及开源mongodb-cdc-connector为基础进行mongodb数据库的source、sink实践。
• 07.07 16:13:25
  发表了文章 2023-07-07 16:13:25

  公有云小白的大模型实践-ChatGLM on PAI

  公有云小白的大模型实践-ChatGLM on PAI

2022年11月

• 11.07 14:02:30
  发表了文章 2022-11-07 14:02:30

  E-MapReduce集群-JAVA客户端远程连接HDFS

  阿里云E-MapReduce集群-JAVA客户端远程连接HDFS

  
• 11.07 13:47:34
  发表了文章 2022-11-07 13:47:34

  MaxCompute-udaf实现group_concat或listagg

  odps-udaf实现group_concat或listagg

  
• 11.07 13:33:05
  发表了文章 2022-11-07 13:33:05

  MaxCompute-udf用于torch离线模型批量推理

  odps-udf用于torch离线模型的批量推理实现以及踩坑

  

2022年07月

• 07.16 10:14:26
  发表了文章 2022-07-16 10:14:26

  QuickBI关于OpenAPI的使用问题梳理及高频需求实现样例

  Quick BI企业客户所购买的多为专业版，且企业存在自有oa（办公）系统，组织架构庞大、复杂，系统多，权限分配及管理存在自有的集成系统统一管理，用以做到精准的权限管控。而Quick BI官方提供的OpenAPI提供了多样化的权限控制统一接口用以满足不同企业权限统一且自动化管控的的集成需求，本文针对Quick BI的工作流程、使用方法及限制以及针对高频场景从OpenAPI Explorer到封装python SDK由浅入深的给出了多种调用方式的使用样例。

  
• 07.12 14:28:44
  发表了文章 2022-07-12 14:28:44

  DataV图表的数据筛选交互需求梳理及实现样例

  本文主要对DataV大屏数据表、气泡地图等组件的筛选交互需求进行一个简单的梳理及样例实现，其中包括单字段单选筛选、单字段多选筛选、多字段共同筛选、字段级联及查询按钮的配置。

  
• 07.12 11:21:30
  发表了文章 2022-07-12 11:21:30

  QuickBI关于业务分析人员连接MaxCompute数据源权限控制问题解决方案及常见报错解析

  企业上云，maxcompute数仓结合quickbi智能报表的组合较为常见，使用广泛。maxcompute权限管理较为精细化，部分权限缺失常常导致bi端相关数据应用报错，权限过高又会有潜在的风险暴露。本文针对上述问题提出相关的解决方案及常见的报错解析，当前方案已得到较多的应用。