阿里云大数据Al技术_个人页

2022年10月

• 10.31 15:38:56
  发表了文章 2022-10-31 15:38:56

  实时数据湖 Flink Hudi 实践探索

  本文整理自阿里云技术专家陈玉兆在7月17日阿里云数据湖技术专场交流会的分享。

  
• 10.28 15:34:30
  发表了文章 2022-10-28 15:34:30

  Spark on k8s 在阿里云 EMR 的优化实践

  本文整理自阿里云技术专家范佚伦在7月17日阿里云数据湖技术专场交流会的分享。

  
• 10.28 15:13:37
  发表了文章 2022-10-28 15:13:37

  基于 Delta Lake 构建数据湖仓体系

  本文整理自阿里云开源大数据平台技术专家毕岩在7月17日阿里云数据湖技术专场交流会的分享。

  
• 10.28 14:02:23
  发表了文章 2022-10-28 14:02:23

  DeepRec 大规模稀疏模型训练推理引擎

  本文将以下三个方面展开介绍：DeepRec 背景（我们为什么要做 DeepRec）、DeepRec 功能（设计动机和实现）以及DeepRec 社区（最新发布的 2206 版本主要功能）

  
• 10.21 10:54:40
  发表了文章 2022-10-21 10:54:40

  预约直播 | AI人像风格特效生成技术研究与应用

  阿里云AI技术分享会第七期《AI人像风格特效生成技术研究与应用》将在2022年10月26日晚18：00开启直播，精彩不容错过！

  
• 10.19 13:32:11
  发表了文章 2022-10-19 13:32:11

  EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT

  本⽂简要介绍CKBERT的技术解读，以及如何在EasyNLP框架、HuggingFace Models和阿里云机器学习平台PAI上使⽤CKBERT模型。

  
• 10.14 16:40:16
  发表了文章 2022-10-14 16:40:16

  《SREWorks 云原生数智运维工程实践》电子书重磅来袭！

  本书将分为三个主题，共11章节，适合正在向云原生转型的技术老兵，也适合刚入行正在熟悉 k8s 的小白。推荐阅读完本书后配合 SREWorks 进行实践，效果更佳。让我们共同实践，共同努力，推动云原生时代早日到来。

  
• 10.13 11:08:00
  发表了文章 2022-10-13 11:08:00

  预约直播 | 基于深度学习的稀疏模型训练 GPU 加速

  阿里云AI技术分享会第六期《基于深度学习的稀疏模型训练 GPU 加速》将在2022年10月19日晚18：00开启直播，精彩不容错过！

  
• 10.12 16:43:34
  发表了文章 2022-10-12 16:43:34

  【DSW Gallery】基于图算法实现金融风控

  图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同，图算法需要把数据整理成首尾相连的关系图谱，更多的是考虑边和点的概念。这里提供了丰富的图算法组件，包括K-Core、最大联通子图、标签传播聚类等。本示例是使用人物关系图数据，和少量标记用户数据，基于图算法实现金融风控。

  
• 10.12 16:13:31
  发表了文章 2022-10-12 16:13:31

  【DSW Gallery】Gbdt-LR模型

  GBDT+LR模型是由Facebook于2014年提出。该模型利用GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当做LR模型的输入，来产生最后的预测结果。该模型能够综合利用用户、物品和上下文等多种不同的特征，生成较为全面的推荐，在CTR点击率预估场景下使用较为广泛。

  
• 10.12 15:44:23
  发表了文章 2022-10-12 15:44:23

  【DSW Gallery】Gbdt-FM模型

  GBDT+FM 模型是由 Gbdt+LR 延伸出来的模型。该模型利用GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当做 FM 模型的输入，来产生最后的预测结果。该模型能够综合利用用户、物品和上下文等多种不同的特征，生成较为全面的推荐，在CTR点击率预估场景下使用较为广泛。

  
• 10.12 15:22:30
  发表了文章 2022-10-12 15:22:30

  【DSW Gallery】交替最小二乘算法解决推荐相关问题

  ALS (Alternating Lease Square）交替最小二乘法是一种model based的协同过滤算法， 用于对评分矩阵进行因子分解，然后预测user对item的评分。 它通过观察到的所有用户给产品的打分，来推断每个用户的喜好并向用户推荐适合的产品。

  
• 10.11 15:18:23
  发表了文章 2022-10-11 15:18:23

  【DSW Gallery】使用 Alink 结合 TFDV 进行数据探索和验证

  Alink 提供了对大规模数据的高效统计，能提供数量、缺失值、最大最小值、分位数、分布直方图等各种统计指标，用户可以探索数据特征，并为特征工程提供辅助。Alink 还能无缝结合 TensorFlow Data Validation，提供数据 schema 推断、数据偏移检测等功能。

  
• 10.11 14:35:20
  发表了文章 2022-10-11 14:35:20

  EasyCV DataHub 提供多领域视觉数据集下载，助力模型生产

  在人工智能广泛应用的今天，深度学习技术已经在各行各业起到了重要的作用。在计算机视觉领域，深度学习技术在大多数场景已经替代了传统视觉方法。如果说深度学习是一项重要的生产工具，那么数据就是不可或缺的生产资料，巧妇难为无米之炊，数据对于视觉模型生产起到了至关重要的作用。

  
• 10.10 18:38:19
  发表了文章 2022-10-10 18:38:19

  【DSW Gallery】Jupyter魔术命令使用技巧

  Jupyter Notebook除了能够执行Python代码之外，还提供一些魔术命令(Magic Command)方便用户简洁地解决标准数据分析中的各种常见问题，本文介绍几个常见的魔术命令使用技巧。

  
• 10.08 09:57:29
  发表了文章 2022-10-08 09:57:29

  预约直播 | 流批一体机器学习算法平台Alink介绍及应用

  阿里云AI技术分享会第五期《流批一体机器学习算法平台Alink介绍及应用》将在2022年10月12日晚18：00开启直播，精彩不容错过！

  

2022年09月

• 09.30 17:05:17
  发表了文章 2022-09-30 17:05:17

  【DSW Gallery】Jupyter简介

  JupyterNotebook是一个用于编写Jupyter Notebook的Python环境。本文介绍Jupyter Notebook的常用使用技巧，包括shell命令，测试运行时间等使用方法。

  
• 09.30 16:55:04
  发表了文章 2022-09-30 16:55:04

  【DSW Gallery】DSW基础使用介绍

  PAI-DSW是一款云端机器学习开发IDE，为您提供交互式编程环境，适用于不同水平的开发者。本文为您介绍PAI-DSW的功能特点以及界面的基础使用。

  
• 09.30 16:43:04
  发表了文章 2022-09-30 16:43:04

  【DSW Gallery】介绍如何在DSW中使用EAS命令行工具

  针对在线推理场景，PAI平台提供了在线预测服务PAI-EAS（Elastic Algorithm Service），支持基于异构硬件（CPU和GPU）的模型加载和数据请求的实时响应。通过PAI-EAS，您可以将模型快速部署为RESTful API，再通过HTTP请求的方式调用该服务。您可以使用EAS提供的命令工具eascmd，来管理PAI-EAS服务。

  
• 09.30 16:36:38
  发表了文章 2022-09-30 16:36:38

  【DSW Gallery】使用EAS Python SDK完成模型部署

  针对在线推理场景，PAI平台提供了在线预测服务PAI-EAS（Elastic Algorithm Service），支持基于异构硬件（CPU和GPU）的模型加载和数据请求的实时响应。通过PAI-EAS，您可以将模型快速部署为RESTful API，再通过HTTP请求的方式调用该服务。您可以使用EAS提供的Python SDK，来管理PAI-EAS服务。

  
• 09.30 16:30:06
  发表了文章 2022-09-30 16:30:06

  【DSW Gallery】使用Python SDK管理DSW实例

  PAI DSW提供Python SDK来封装DSW的OpenAPI，使得用户可以用Python代码来管理DSW实例，包括创建、停止、保存、删除、列举等功能。本文也会介绍如何在独占资源组中创建实例。

  
• 09.30 16:20:56
  发表了文章 2022-09-30 16:20:56

  【DSW Gallery】DSW打通用户VPC

  介绍DSW实例如何与用户的VPC进行网络打通，支持跨VPC访问用户的数据和服务，方便和用户VPC中的系统进行集成。

  
• 09.30 15:08:12
  发表了文章 2022-09-30 15:08:12

  大数据&AI产品月刊【2022年9月】

  大数据&AI产品技术月刊（2022年9月），涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据&AI方面最新动态。
• 09.29 18:25:52
  发表了文章 2022-09-29 18:25:52

  【DSW Gallery】DSW镜像使用入门

  介绍DSW中如何使用官方镜像、自定义镜像、第三方镜像地址来启动服务。DSW环境进行定制修改之后还可以选择停机保存环境或者保存镜像到ACR镜像仓库。

  
• 09.29 18:21:14
  发表了文章 2022-09-29 18:21:14

  【DSW Gallery】DSW Gallery

  DSW Gallery提供了AI研发场景下丰富的案例和解决方案，内容涵盖如： Jupyter, 数据分析，机器学习，深度学习，PAI产品说明, SDK使用说明，以及行业解决方案），支持一键在DSW中启动和运行，帮助您快速了解云原生下AI研发流程，熟练使用PAI的各种工具，提升开发效率和质量。

  
• 09.29 18:08:13
  发表了文章 2022-09-29 18:08:13

  【DSW Gallery】DSW如何挂载数据盘

  DSW采用计算和存储分离的架构，DSW本身提供算力资源和非持久的本地存储，用户可以将NAS盘、CPFS盘或者OSS Bucket挂载到DSW的指定路径下，从而获得更高的安全性和更高的数据存储容量，并且可以在多个实例间方便的共享数据。

  
• 09.29 16:16:03
  发表了文章 2022-09-29 16:16:03

  【DSW Gallery】介绍如何使用SDK提交DLC训练任务

  您可以通过Python SDK的方式提交PAI-DLC任务，本文介绍如何通过Python SDK提交使用公共DLC资源组或专有DLC资源组的训练任务，核心步骤包括下载Python SDK、安装Python SDK及创建并提交任务。

  
• 09.29 16:06:47
  发表了文章 2022-09-29 16:06:47

  【DSW Gallery】使用Tensorflow来构建AutoEncoder

  本文基于TensorFlow 1.x版本，实现了一个自编码器。自编码器是一个应用比较广泛的神经网络。他可以用来做非监督的异常检测，也可以用在特征工程之中，衡量feature之间的高阶非线性关系等等。

  
• 09.28 18:36:53
  发表了文章 2022-09-28 18:36:53

  【DSW Gallery】Tensorflow 2构建CNN模型

  本文基于TensorFlow2版本，构建了一个CNN网络，然后基于Mnist手写体数据集进行手写体的识别。本文从模型的定义，数据的加载，处理，模型的训练到最后的结果的分析以及可视化等方面提供了一个端到端的sample。用户可以基于本文了解使用TensorFlow2进行模型开发的整个流程。

  
• 09.28 18:21:43
  发表了文章 2022-09-28 18:21:43

  【DSW Gallery】HybridBackend 极简教程: 在 GPU 上加速推荐模型训练

  本文介绍了如何使用 HybridBackend 在 GPU 上加速一个示例推荐模型的训练。HybridBackend 是阿里巴巴提供的一个工业级稀疏模型训练框架，可以帮助用户轻松提升GPU上的稀疏模型训练的计算吞吐。

  
• 09.28 11:51:32
  发表了文章 2022-09-28 11:51:32

  跨模态学习能力再升级，EasyNLP电商文图检索效果刷新SOTA

  本⽂简要介绍我们在电商下对CLIP模型的优化，以及上述模型在公开数据集上的评测结果。最后，我们介绍如何在EasyNLP框架中调用上述电商CLIP模型。

  
• 09.28 11:48:06
  发表了文章 2022-09-28 11:48:06

  EasyNLP带你实现中英文机器阅读理解

  本⽂将提供对MacBERT模型的技术解读，以及如何在EasyNLP框架中使⽤MacBERT及其他预训练语言模型，进行中英文机器阅读理解任务的训练与预测。

  
• 09.27 18:07:50
  发表了文章 2022-09-27 18:07:50

  【DSW Gallery】基于EasyNLP的多模态CLIP图文检索

  EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以多模态图文检索为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用CLIP进行跨模态图文检索任务的训练、评估、预测。

  
• 09.27 17:55:37
  发表了文章 2022-09-27 17:55:37

  【DSW Gallery】基于EasyNLP的RoBERTa中文文本匹配

  EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以中文文本匹配为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用RoBERTa进行文本匹配模型的训练、推理。

  
• 09.27 17:39:13
  发表了文章 2022-09-27 17:39:13

  【DSW Gallery】基于EasyNLP的序列标注（命名实体识别）

  EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以序列标注（命名实体识别）为例，为您介绍如何在PAI-DSW中使用EasyNLP。

  
• 09.27 17:38:33
  发表了文章 2022-09-27 17:38:33

  【DSW Gallery】基于EasyNLP的中文新闻标题生成

  EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以中文新闻标题生成为例，为您介绍如何在PAI-DSW中使用EasyNLP。

  
• 09.27 17:03:45
  发表了文章 2022-09-27 17:03:45

  【DSW Gallery】基于EasyNLP的英文文本摘要

  EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以英文文本摘要为例，为您介绍如何在PAI-DSW中使用EasyNLP。

  
• 09.27 13:44:40
  发表了文章 2022-09-27 13:44:40

  最高增强至1440p，阿里云发布端侧实时超分工具，低成本实现高画质

  近日，阿里云机器学习PAI团队发布一键端侧超分工具，可实现在设备和网络带宽不变的情况下，将移动端视频分辨率提升1倍，最高可增强至1440p，将大幅提升终端用户的观看体验，该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。

  
• 09.23 15:16:12
  发表了文章 2022-09-23 15:16:12

  中文稀疏GPT大模型落地 -----通往低成本&高性能多任务通用自然语言理解的关键里程碑

  GPT模型能较好的处理NLP各个应用领域的任务，比如文本分类，推理，对话，问答，完形填空，阅读理解，摘要，生成等等。百亿/千亿参数量级的GPT大模型作用在这些应用领域虽然效果很好，但是训练成本非常高。

  
• 09.23 14:49:12
  发表了文章 2022-09-23 14:49:12

  EasyNLP玩转文本摘要（新闻标题）生成

  本⽂将提供关于PEGASUS的技术解读，以及如何在EasyNLP框架中使⽤与PEGASUS相关的文本摘要（新闻标题）生成模型。

  
• 09.23 14:45:26
  发表了文章 2022-09-23 14:45:26

  EasyCV带你复现更好更快的自监督算法-FastConvMAE

  近期FastConvMAE工作在EasyCV框架内首次对外开源，本文将重点介绍ConvMAE和FastConvMAE的主要工作，以及对应的代码实现，最后提供详细的教程示例如何进行FastConvMAE的预训练和下游任务的finetune。

  
• 09.22 18:09:03
  发表了文章 2022-09-22 18:09:03

  【DSW Gallery】基于EasyNLP的RoBERTa中文新闻多分类

  EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以文本分类为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用RoBERTa进行中文文本多分类模型的训练、评估、预测。

  
• 09.22 17:56:49
  发表了文章 2022-09-22 17:56:49

  【DSW Gallery】基于EasyNLP的MacBERT中文机器阅读理解

  EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以机器阅读理解任务为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用MacBERT进行中文机器阅读理解模型的训练、推理。

  
• 09.22 17:30:51
  发表了文章 2022-09-22 17:30:51

  【DSW Gallery】基于EasyNLP的BERT英文机器阅读理解

  EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以机器阅读理解为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用BERT进行英文机器阅读理解模型的训练、推理。

  
• 09.21 17:53:37
  发表了文章 2022-09-21 17:53:37

  【DSW Gallery】基于EasyNLP的BERT文本分类

  EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以文本分类为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用BERT进行文本分类模型的训练、推理。

  
• 09.21 17:41:29
  发表了文章 2022-09-21 17:41:29

  【DSW Gallery】基于YOLOX模型图像检测示例

  EasyCV是基于Pytorch，以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具，并包含图像分类，度量学习，目标检测，姿态识别等视觉任务的SOTA算法。本文以YOLOX模型图像检测为例，为您介绍如何在PAI-DSW中使用EasyCV。

  
• 09.21 17:34:07
  发表了文章 2022-09-21 17:34:07

  【DSW Gallery】基于SwinTransformer的图像分类示例

  EasyCV是基于Pytorch，以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具，并包含图像分类，度量学习，目标检测，姿态识别等视觉任务的SOTA算法。本文以图像分类为例，为您介绍如何在PAI-DSW中使用EasyCV。