人工智能平台PAI

贾扬清在阿里灵杰人工智能论坛上分享从技术，工程，产品的角度，讲述从实验室到产业的这些事情。

11月3日，2022云栖大会上，阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清表示，为满足用户多元化数据计算需求，阿里云ODPS升级为一体化大数据平台。

本文将以下三个方面展开介绍：DeepRec 背景（我们为什么要做 DeepRec）、DeepRec 功能（设计动机和实现）以及DeepRec 社区（最新发布的 2206 版本主要功能）

阿里云AI技术分享会第七期《AI人像风格特效生成技术研究与应用》将在2022年10月26日晚18：00开启直播，精彩不容错过！

阿里云AI技术分享会第六期《基于深度学习的稀疏模型训练 GPU 加速》将在2022年10月19日晚18：00开启直播，精彩不容错过！

图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同，图算法需要把数据整理成首尾相连的关系图谱，更多的是考虑边和点的概念。这里提供了丰富的图算法组件，包括K-Core、最大联通子图、标签传播聚类等。本示例是使用人物关系图数据，和少量标记用户数据，基于图算法实现金融风控。

GBDT+LR模型是由Facebook于2014年提出。该模型利用GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当做LR模型的输入，来产生最后的预测结果。该模型能够综合利用用户、物品和上下文等多种不同的特征，生成较为全面的推荐，在CTR点击率预估场景下使用较为广泛。

GBDT+FM 模型是由 Gbdt+LR 延伸出来的模型。该模型利用GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当做 FM 模型的输入，来产生最后的预测结果。该模型能够综合利用用户、物品和上下文等多种不同的特征，生成较为全面的推荐，在CTR点击率预估场景下使用较为广泛。

ALS (Alternating Lease Square）交替最小二乘法是一种model based的协同过滤算法， 用于对评分矩阵进行因子分解，然后预测user对item的评分。 它通过观察到的所有用户给产品的打分，来推断每个用户的喜好并向用户推荐适合的产品。

Alink 提供了对大规模数据的高效统计，能提供数量、缺失值、最大最小值、分位数、分布直方图等各种统计指标，用户可以探索数据特征，并为特征工程提供辅助。Alink 还能无缝结合 TensorFlow Data Validation，提供数据 schema 推断、数据偏移检测等功能。

Jupyter Notebook除了能够执行Python代码之外，还提供一些魔术命令(Magic Command)方便用户简洁地解决标准数据分析中的各种常见问题，本文介绍几个常见的魔术命令使用技巧。

阿里云AI技术分享会第五期《流批一体机器学习算法平台Alink介绍及应用》将在2022年10月12日晚18：00开启直播，精彩不容错过！

JupyterNotebook是一个用于编写Jupyter Notebook的Python环境。本文介绍Jupyter Notebook的常用使用技巧，包括shell命令，测试运行时间等使用方法。

PAI-DSW是一款云端机器学习开发IDE，为您提供交互式编程环境，适用于不同水平的开发者。本文为您介绍PAI-DSW的功能特点以及界面的基础使用。

针对在线推理场景，PAI平台提供了在线预测服务PAI-EAS（Elastic Algorithm Service），支持基于异构硬件（CPU和GPU）的模型加载和数据请求的实时响应。通过PAI-EAS，您可以将模型快速部署为RESTful API，再通过HTTP请求的方式调用该服务。您可以使用EAS提供的命令工具eascmd，来管理PAI-EAS服务。

针对在线推理场景，PAI平台提供了在线预测服务PAI-EAS（Elastic Algorithm Service），支持基于异构硬件（CPU和GPU）的模型加载和数据请求的实时响应。通过PAI-EAS，您可以将模型快速部署为RESTful API，再通过HTTP请求的方式调用该服务。您可以使用EAS提供的Python SDK，来管理PAI-EAS服务。

PAI DSW提供Python SDK来封装DSW的OpenAPI，使得用户可以用Python代码来管理DSW实例，包括创建、停止、保存、删除、列举等功能。本文也会介绍如何在独占资源组中创建实例。

介绍DSW实例如何与用户的VPC进行网络打通，支持跨VPC访问用户的数据和服务，方便和用户VPC中的系统进行集成。

介绍DSW中如何使用官方镜像、自定义镜像、第三方镜像地址来启动服务。DSW环境进行定制修改之后还可以选择停机保存环境或者保存镜像到ACR镜像仓库。

DSW Gallery提供了AI研发场景下丰富的案例和解决方案，内容涵盖如： Jupyter, 数据分析，机器学习，深度学习，PAI产品说明, SDK使用说明，以及行业解决方案），支持一键在DSW中启动和运行，帮助您快速了解云原生下AI研发流程，熟练使用PAI的各种工具，提升开发效率和质量。

DSW采用计算和存储分离的架构，DSW本身提供算力资源和非持久的本地存储，用户可以将NAS盘、CPFS盘或者OSS Bucket挂载到DSW的指定路径下，从而获得更高的安全性和更高的数据存储容量，并且可以在多个实例间方便的共享数据。

您可以通过Python SDK的方式提交PAI-DLC任务，本文介绍如何通过Python SDK提交使用公共DLC资源组或专有DLC资源组的训练任务，核心步骤包括下载Python SDK、安装Python SDK及创建并提交任务。

本文基于TensorFlow 1.x版本，实现了一个自编码器。自编码器是一个应用比较广泛的神经网络。他可以用来做非监督的异常检测，也可以用在特征工程之中，衡量feature之间的高阶非线性关系等等。

本文基于TensorFlow2版本，构建了一个CNN网络，然后基于Mnist手写体数据集进行手写体的识别。本文从模型的定义，数据的加载，处理，模型的训练到最后的结果的分析以及可视化等方面提供了一个端到端的sample。用户可以基于本文了解使用TensorFlow2进行模型开发的整个流程。

本文介绍了如何使用 HybridBackend 在 GPU 上加速一个示例推荐模型的训练。HybridBackend 是阿里巴巴提供的一个工业级稀疏模型训练框架，可以帮助用户轻松提升GPU上的稀疏模型训练的计算吞吐。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以多模态图文检索为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用CLIP进行跨模态图文检索任务的训练、评估、预测。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以中文文本匹配为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用RoBERTa进行文本匹配模型的训练、推理。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以序列标注（命名实体识别）为例，为您介绍如何在PAI-DSW中使用EasyNLP。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以中文新闻标题生成为例，为您介绍如何在PAI-DSW中使用EasyNLP。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以英文文本摘要为例，为您介绍如何在PAI-DSW中使用EasyNLP。

近日，阿里云机器学习PAI团队发布一键端侧超分工具，可实现在设备和网络带宽不变的情况下，将移动端视频分辨率提升1倍，最高可增强至1440p，将大幅提升终端用户的观看体验，该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以文本分类为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用RoBERTa进行中文文本多分类模型的训练、评估、预测。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以机器阅读理解任务为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用MacBERT进行中文机器阅读理解模型的训练、推理。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以机器阅读理解为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用BERT进行英文机器阅读理解模型的训练、推理。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以文本分类为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用BERT进行文本分类模型的训练、推理。

EasyCV是基于Pytorch，以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具，并包含图像分类，度量学习，目标检测，姿态识别等视觉任务的SOTA算法。本文以YOLOX模型图像检测为例，为您介绍如何在PAI-DSW中使用EasyCV。

EasyCV是基于Pytorch，以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具，并包含图像分类，度量学习，目标检测，姿态识别等视觉任务的SOTA算法。本文以图像分类为例，为您介绍如何在PAI-DSW中使用EasyCV。

XGBoost作为机器学习领域的一款经典的Boosting算法，深受学界和工业界的推崇。其中很重要的一点就是它具有优秀的鲁棒性，并且在工程实现上面进行了大量的优化，在模型的复杂度和性能之间取得了很好的平衡。

本文以KNN模型为例子，介绍了如何使用sklearn中的方法进行模型的训练，超参数的自动化调优以及如何对数据进行降维等等。

Numpy是数值计算中使用非常广泛的一个工具包，可以进行高纬度空间内部的矩阵运算。本文以CNN为例子，使用Numpy来实现CNN网络的前向传递和反向传递逻辑。对于了解CNN网络的细节以及学习如何使用Numpy都很有帮助。

阿里云OSS是一款海量、安全、低成本、高可靠的云存储服务。您可以使用阿里云提供的API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。

PAIIO是针对TensorFlow任务读取ODPS Table数据专门开发的模块，提供了TableRecordDataset dataset。