人工智能平台PAI

阿里云开源大数据一直坚持兼容并蓄，百花齐放的产品理念，面向大数据的未来进行投资和发展。今年开源大数据E-MapReduce、Flink、Elasticsearch 等产品矩阵再次升级，向着开放化、现代化、智能化和云原生的高质量发展迈进。

基于阿里云强大的大数据AI一体化的平台能力，从工具层面，介绍DataWorks端到端的全链路数据开发治理平台新能力，回归工具为人服务的本质，全方位地提升一线数据开发人员/业务人员的工作效率。

阿里云ODPS全新升级，存储、调度、元数据一体化融合 ，从 Processing 升级为 Platform，即 Open Data Platform and Service。本次峰会，同步发布了新的产品能力，即MaxCompute 引擎新功能发布及Hologres 引擎新功能发布。

EasyCV可以轻松预测图像的分割谱以及训练定制化的分割模型。本文主要介绍如何使用EasyCV实现实例分割、全景分割和语义分割，及相关算法思想。

EasyCV是基于Pytorch，以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具，并包含图像分类，度量学习，目标检测，姿态识别等视觉任务的SOTA算法。本文将介绍使用EasyCV进行图像分割模型的训练和预测。

本文为您展示DSW Gallery的全部文章，欢迎您浏览。同时文末有动手实验有奖活动，期待您的参与！

ODPS 解决了用户多元化数据的计算需求问题，实现了存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、政府等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。

王峰 阿里巴巴开源委员会大数据AI领域副主席 阿里云开源大数据平台负责人 Flink中文社区发起人

在云栖大会上，阿里云机器学习PAI平台宣布集成自研深度学习框架OneFlow，进一步提升对国产算法框架的支持。PAI可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持。

贾扬清在阿里灵杰人工智能论坛上分享从技术，工程，产品的角度，讲述从实验室到产业的这些事情。

11月3日，2022云栖大会上，阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清表示，为满足用户多元化数据计算需求，阿里云ODPS升级为一体化大数据平台。

本文将以下三个方面展开介绍：DeepRec 背景（我们为什么要做 DeepRec）、DeepRec 功能（设计动机和实现）以及DeepRec 社区（最新发布的 2206 版本主要功能）

阿里云AI技术分享会第七期《AI人像风格特效生成技术研究与应用》将在2022年10月26日晚18：00开启直播，精彩不容错过！

阿里云AI技术分享会第六期《基于深度学习的稀疏模型训练 GPU 加速》将在2022年10月19日晚18：00开启直播，精彩不容错过！

图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同，图算法需要把数据整理成首尾相连的关系图谱，更多的是考虑边和点的概念。这里提供了丰富的图算法组件，包括K-Core、最大联通子图、标签传播聚类等。本示例是使用人物关系图数据，和少量标记用户数据，基于图算法实现金融风控。

GBDT+LR模型是由Facebook于2014年提出。该模型利用GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当做LR模型的输入，来产生最后的预测结果。该模型能够综合利用用户、物品和上下文等多种不同的特征，生成较为全面的推荐，在CTR点击率预估场景下使用较为广泛。

GBDT+FM 模型是由 Gbdt+LR 延伸出来的模型。该模型利用GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当做 FM 模型的输入，来产生最后的预测结果。该模型能够综合利用用户、物品和上下文等多种不同的特征，生成较为全面的推荐，在CTR点击率预估场景下使用较为广泛。

ALS (Alternating Lease Square）交替最小二乘法是一种model based的协同过滤算法， 用于对评分矩阵进行因子分解，然后预测user对item的评分。 它通过观察到的所有用户给产品的打分，来推断每个用户的喜好并向用户推荐适合的产品。

Alink 提供了对大规模数据的高效统计，能提供数量、缺失值、最大最小值、分位数、分布直方图等各种统计指标，用户可以探索数据特征，并为特征工程提供辅助。Alink 还能无缝结合 TensorFlow Data Validation，提供数据 schema 推断、数据偏移检测等功能。

Jupyter Notebook除了能够执行Python代码之外，还提供一些魔术命令(Magic Command)方便用户简洁地解决标准数据分析中的各种常见问题，本文介绍几个常见的魔术命令使用技巧。

阿里云AI技术分享会第五期《流批一体机器学习算法平台Alink介绍及应用》将在2022年10月12日晚18：00开启直播，精彩不容错过！

JupyterNotebook是一个用于编写Jupyter Notebook的Python环境。本文介绍Jupyter Notebook的常用使用技巧，包括shell命令，测试运行时间等使用方法。

PAI-DSW是一款云端机器学习开发IDE，为您提供交互式编程环境，适用于不同水平的开发者。本文为您介绍PAI-DSW的功能特点以及界面的基础使用。

针对在线推理场景，PAI平台提供了在线预测服务PAI-EAS（Elastic Algorithm Service），支持基于异构硬件（CPU和GPU）的模型加载和数据请求的实时响应。通过PAI-EAS，您可以将模型快速部署为RESTful API，再通过HTTP请求的方式调用该服务。您可以使用EAS提供的命令工具eascmd，来管理PAI-EAS服务。

针对在线推理场景，PAI平台提供了在线预测服务PAI-EAS（Elastic Algorithm Service），支持基于异构硬件（CPU和GPU）的模型加载和数据请求的实时响应。通过PAI-EAS，您可以将模型快速部署为RESTful API，再通过HTTP请求的方式调用该服务。您可以使用EAS提供的Python SDK，来管理PAI-EAS服务。

PAI DSW提供Python SDK来封装DSW的OpenAPI，使得用户可以用Python代码来管理DSW实例，包括创建、停止、保存、删除、列举等功能。本文也会介绍如何在独占资源组中创建实例。

介绍DSW实例如何与用户的VPC进行网络打通，支持跨VPC访问用户的数据和服务，方便和用户VPC中的系统进行集成。

介绍DSW中如何使用官方镜像、自定义镜像、第三方镜像地址来启动服务。DSW环境进行定制修改之后还可以选择停机保存环境或者保存镜像到ACR镜像仓库。

DSW Gallery提供了AI研发场景下丰富的案例和解决方案，内容涵盖如： Jupyter, 数据分析，机器学习，深度学习，PAI产品说明, SDK使用说明，以及行业解决方案），支持一键在DSW中启动和运行，帮助您快速了解云原生下AI研发流程，熟练使用PAI的各种工具，提升开发效率和质量。

DSW采用计算和存储分离的架构，DSW本身提供算力资源和非持久的本地存储，用户可以将NAS盘、CPFS盘或者OSS Bucket挂载到DSW的指定路径下，从而获得更高的安全性和更高的数据存储容量，并且可以在多个实例间方便的共享数据。

您可以通过Python SDK的方式提交PAI-DLC任务，本文介绍如何通过Python SDK提交使用公共DLC资源组或专有DLC资源组的训练任务，核心步骤包括下载Python SDK、安装Python SDK及创建并提交任务。

本文基于TensorFlow 1.x版本，实现了一个自编码器。自编码器是一个应用比较广泛的神经网络。他可以用来做非监督的异常检测，也可以用在特征工程之中，衡量feature之间的高阶非线性关系等等。

本文基于TensorFlow2版本，构建了一个CNN网络，然后基于Mnist手写体数据集进行手写体的识别。本文从模型的定义，数据的加载，处理，模型的训练到最后的结果的分析以及可视化等方面提供了一个端到端的sample。用户可以基于本文了解使用TensorFlow2进行模型开发的整个流程。

本文介绍了如何使用 HybridBackend 在 GPU 上加速一个示例推荐模型的训练。HybridBackend 是阿里巴巴提供的一个工业级稀疏模型训练框架，可以帮助用户轻松提升GPU上的稀疏模型训练的计算吞吐。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以多模态图文检索为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用CLIP进行跨模态图文检索任务的训练、评估、预测。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以中文文本匹配为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用RoBERTa进行文本匹配模型的训练、推理。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以序列标注（命名实体识别）为例，为您介绍如何在PAI-DSW中使用EasyNLP。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以中文新闻标题生成为例，为您介绍如何在PAI-DSW中使用EasyNLP。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以英文文本摘要为例，为您介绍如何在PAI-DSW中使用EasyNLP。

近日，阿里云机器学习PAI团队发布一键端侧超分工具，可实现在设备和网络带宽不变的情况下，将移动端视频分辨率提升1倍，最高可增强至1440p，将大幅提升终端用户的观看体验，该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。