MxNet

您好，PAI目前支持的框架包括 TensorFlow（支持1.0、1.1、1.2、1.4版本），MXNet 0.9.5， Caffe rc3。TensorFlow 和 MXNet 支持用户自己编写的 Python 代码， Caffe 支持用户自定义网络文件。

纯java框架，可以直接使用 Neuroph Framework 链接。深度学习框架，Tensorflow天然支持java， Mxnet等框架也社区工具支撑java，可以直接使用。或者，直接用数据结构实现个简单的算法。

同意三楼。目前机器学习框架的一个重要趋势是前端使用python这样的交互式语言写model，后端框架用c++等语言做高性能计算。比如tensorflow、mxnet等，都是这个套路

楼主可以看一下deeplearning4j/ND4J。地址在这里：https://github.com/deeplearning4j/nd4j目前深度学习的主流框架Tensorflow/MXnet/theano等，python是主流环境，真要想深入到人工智能领域，建议和主流保持一致，看看python环境下的平台吧。

回 楼主windfor的帖子 你跑成功了吗，刚开始搭建Ubuntu下的MXNet，在ipython里调用mx.nd.dot进行矩阵乘法时，出现illegal instruction，其他函数暂时没发现问题，你有遇到并解决过的吗

目前机器学习平台深度学习相关功能处于公测阶段，深度学习组件包含TensorFlow、Caffe、MXNet三个框架。开通方式如下图，进入机器学习控制台，在相应项目下开启GPU资源即可。 开通GPU资源的项目会被分配到公共的资源池，可以动态地调用底层的GPU计算资源。另外需要设置OSS的访问权限，如下图所示。

本文主要为您介绍容器服务 ACK 的常见应用场景。 DevOps 持续交付 最优化的持续交付流程 配合 Jenkins 帮您自动完成从代码提交到应用部署的 DevOps 完整流程，确保只有通过自动测试的代码才能交付和部署，高效替代业内部署复杂、迭代缓慢的传统方式。 能够实现： DevOps 自动化 实现从代码变更到代码构建、镜像构建和应用部署的全流程自动化。 环境一致性 容器技术让您交付的不仅是代码，还有基于不可变架构的运行环境。 持续反馈 每次集成或交付，都会第一时间将结果实时反馈。 推荐搭配使用： 云服务器 ECS + 容器服务 DevOps 基于云原生技术的机器学习 专注机器学习本身，快速实现从 0 到 1 帮助数据工程师在异构计算资源集群上轻松开发、部署机器学习应用，跟踪试验和训练、发布模型，自动集成多种数据部署在分布式存储系统，加速训练数据读写，无需关心繁琐部署运维，专注核心业务，快速从 0 到 1。 能够实现： 支持生态 内置对 TensorFlow、Caffe、 MXNet、Pytorch 等主流深度学习计算框架支持和优化。 快速弹性 一键部署机器学习开发、训练、推理服务，秒级启动和弹性伸缩。 简单可控 轻松创建、管理大规模 GPU 计算集群，并且可以监控 GPU 利用率等核心指标。 深度整合 无缝接入阿里云存储、日志监控和安全基础架构能力。 推荐搭配使用： 云服务器 ECS／GPU 服务器 EGS／高性能计算服务 （Alibaba Cloud HPC）+ 容器服务 + 对象存储 OSS／文件存储 NAS／CPFS 容器服务 微服务架构 实现敏捷开发和部署落地，加速企业业务迭代 企业生产环境中，通过合理微服务拆分，将每个微服务应用存储在阿里云镜像仓库帮您管理。您只需迭代每个微服务应用，由阿里云提供调度、编排、部署和灰度发布能力。 能够实现： 负载均衡和服务发现 支持 4 层和 7 层的请求转发和后端绑定。 丰富的调度和异常恢复策略 支持服务级别的亲和性调度，支持跨可用区的高可用和灾难恢复。 微服务监控和弹性伸缩 支持微服务和容器级别的监控，支持微服务的自动伸缩。 推荐搭配使用： 云服务器 ECS + 云数据库 RDS 版 + 对象存储 OSS + 容器服务 负载均衡 混合云架构 统一运维多个云端资源 在容器服务控制台上同时管理云上云下的资源，不需在多种云管理控制台中反复切换。基于容器基础设施无关的特性，使用同一套镜像和编排同时在云上云下部署应用。 能够实现： 在云上伸缩应用 业务高峰期，在云端快速扩容，把一些业务流量引到云端。 云上容灾 业务系统同时部署到云上和云下，云下提供服务，云上容灾。 云下开发测试 云下开发测试后的应用无缝发布到云上。 推荐搭配使用： 云服务器 ECS + 专有网络 VPC + 高速通道（Express Connect） 容器服务 弹性伸缩架构 根据业务流量自动对业务扩容/缩容 容器服务可以根据业务流量自动对业务扩容/缩容，不需要人工干预，避免流量激增扩容不及时导致系统挂掉，以及平时大量闲置资源造成浪费。 能够实现： 快速响应 业务流量达到扩容指标，秒级触发容器扩容操作。 全自动 整个扩容/缩容过程完全自动化，无需人工干预。 低成本 流量降低自动缩容，避免资源浪费。 推荐搭配使用： 云服务器 ECS + 云监控 云监控

简介 E-HPC不仅支持工业/科研行业的高性能计算作业，还可以支持机器学习类作业，本文档介绍在E-HPC上部署和执行TensorFlow作业的基本流程。 本案例使用的Perseus是阿里云提供的一种统一支持Tensorflow、Caffe、MXNET、PyToch的分布式训练的深度优化框架，目的是为了机器学习提速，提升训练效率。部署Perseus的同时会自动部署TensoFlow框架。 本案例测试程序为tensorflow benchmarks，E-HPC集群创建完成后，存放在/root/perseus-tf-vm-demo目录中。 创建E-HPC集群并适配Persues环境 目前，Persues已经集成在E-HPC产品中，若在E-HPC适配Persues运行环境，需要在E-HPC创建过程完成以下几步： 1）创建集群时，在【硬件配置】中选择【计算节点】 时，选择带有NVIDIA P100 GPU的实例，如下图所示: GPU节点 2）在【软件配置】下，【镜像类型】选择 镜像市场，【操作系统】选择 阿里ai云加速镜像Perseus v0.9.3r3 示例程序测试 待集群启动后，可以通过以下几个步骤进行示例的测试： 1）拷贝测试程序：perseus-tf-vm-demo 示例程序存放在镜像的/root目录下。运行时，可以将perseus-tf-vm-demo从/root目录中拷贝到自己普通用户的家目录下（可以用root用户登录执行），并改为普通用户的属主、属组。 $ cd /root $ cp -r ./perseus-tf-vm-demo /home/username/ $ cd /home/username $ chown -R username:users ./perseus-tf-vm-demo 2）编写PBS作业脚本：普通用户模式登录管控节点，在perseus-tf-vm-demo文件下有两个文件：benchmarks和launch-example.sh。可以创建以下test.pbs作业脚本启动测试程序。 $ cat test.pbs #! /bin/bash #PBS -N Perseus #PBS -l nodes=x:ppn=y #PBS -o perseus_pbs.log #PBS -j oe cd $PBS_O_WORKDIR nodefile=cat $PBS_NODEFILE|uniq -d |awk -F "." '{print $1}' sh launch-example.sh x z $nodefile 其中，x 为申请计算节点数量，y为每计算节点cpu核数 , z 为每节点gpu卡数量 3）提交作业：通过qsub提交PBS作业，此时作业由调度系统调度执行。 $ qsub test.pbs 运行结果及分析 1）当计算节点数量为1时，每节点gpu卡为1，运行后的结果可以作为基准。图表示在tensorflow环境但节点下每秒钟处理292.57张图片。 13_52_41__03_04_2019 ​ 当计算节点数量为1，每节点gpu卡为2，即单机多卡计算时： 16_20_49__03_04_2019 ​ 当计算节点数量为2，每节点gpu卡为1，即多机分布式计算时： 15_37_53__03_04_2019 2）结果分析 多卡并行效率 = (total imgages/sec) ／基准 ／ gpu总数量 ／ 节点数量 = （（568.45+568.44）／2）／ (292.57) ／2 ／1 = 0.9714 当Perseus 框架下的benchmarks程序运行在同一节上不同gpu配置的情况下，以单节点1gpu卡配置运行的结果为基准，通过计算其并行效率，可以分析出相对于基准，单计算节点2gpu卡配置的计算性能损耗。 多机并行效率 =（多节点 total images ／sec）／ 基准 ／ 节点数量 =（（544.36+544.36）／2 ）／ （292.57）／ 2 = 0.9303 当Perseus 框架下的benchmarks程序运行在不同节点数量上每节点相同gpu配置的情况下，以单节点1gpu卡配置运行的结果为基准，通过计算其并行效率，可以分析出相对于基准，多计算节点1gpu卡配置的计算性能损耗。

简介 E-HPC不仅支持工业/科研行业的高性能计算作业，还可以支持机器学习类作业，本文档介绍在E-HPC上部署和执行TensorFlow作业的基本流程。 本案例使用的Perseus是阿里云提供的一种统一支持Tensorflow、Caffe、MXNET、PyToch的分布式训练的深度优化框架，目的是为了机器学习提速，提升训练效率。部署Perseus的同时会自动部署TensoFlow框架。 本案例测试程序为tensorflow benchmarks，E-HPC集群创建完成后，存放在/root/perseus-tf-vm-demo目录中。 创建E-HPC集群并适配Persues环境 目前，Persues已经集成在E-HPC产品中，若在E-HPC适配Persues运行环境，需要在E-HPC创建过程完成以下几步： 1）创建集群时，在【硬件配置】中选择【计算节点】 时，选择带有NVIDIA P100 GPU的实例，如下图所示: GPU节点 2）在【软件配置】下，【镜像类型】选择 镜像市场，【操作系统】选择 阿里ai云加速镜像Perseus v0.9.3r3 示例程序测试 待集群启动后，可以通过以下几个步骤进行示例的测试： 1）拷贝测试程序：perseus-tf-vm-demo 示例程序存放在镜像的/root目录下。运行时，可以将perseus-tf-vm-demo从/root目录中拷贝到自己普通用户的家目录下（可以用root用户登录执行），并改为普通用户的属主、属组。 $ cd /root $ cp -r ./perseus-tf-vm-demo /home/username/ $ cd /home/username $ chown -R username:users ./perseus-tf-vm-demo 2）编写PBS作业脚本：普通用户模式登录管控节点，在perseus-tf-vm-demo文件下有两个文件：benchmarks和launch-example.sh。可以创建以下test.pbs作业脚本启动测试程序。 $ cat test.pbs #! /bin/bash #PBS -N Perseus #PBS -l nodes=x:ppn=y #PBS -o perseus_pbs.log #PBS -j oe cd $PBS_O_WORKDIR nodefile=cat $PBS_NODEFILE|uniq -d |awk -F "." '{print $1}' sh launch-example.sh x z $nodefile 其中，x 为申请计算节点数量，y为每计算节点cpu核数 , z 为每节点gpu卡数量 3）提交作业：通过qsub提交PBS作业，此时作业由调度系统调度执行。 $ qsub test.pbs 运行结果及分析 1）当计算节点数量为1时，每节点gpu卡为1，运行后的结果可以作为基准。图表示在tensorflow环境但节点下每秒钟处理292.57张图片。 13_52_41__03_04_2019 ​ 当计算节点数量为1，每节点gpu卡为2，即单机多卡计算时： 16_20_49__03_04_2019 ​ 当计算节点数量为2，每节点gpu卡为1，即多机分布式计算时： 15_37_53__03_04_2019 2）结果分析 多卡并行效率 = (total imgages/sec) ／基准 ／ gpu总数量 ／ 节点数量 = （（568.45+568.44）／2）／ (292.57) ／2 ／1 = 0.9714 当Perseus 框架下的benchmarks程序运行在同一节上不同gpu配置的情况下，以单节点1gpu卡配置运行的结果为基准，通过计算其并行效率，可以分析出相对于基准，单计算节点2gpu卡配置的计算性能损耗。 多机并行效率 =（多节点 total images ／sec）／ 基准 ／ 节点数量 =（（544.36+544.36）／2 ）／ （292.57）／ 2 = 0.9303 当Perseus 框架下的benchmarks程序运行在不同节点数量上每节点相同gpu配置的情况下，以单节点1gpu卡配置运行的结果为基准，通过计算其并行效率，可以分析出相对于基准，多计算节点1gpu卡配置的计算性能损耗。