AI 助理
备案控制台
开发者社区 人工智能 文章 正文

【Spark Summit EU 2016】TensorFrames: 在Spark上搭建TensorFlow深度学习框架

2017-02-13 3913
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Tim Hunter在Spark Summit EU上的演讲，主要介绍了使用Spark进行数值计算的相关内容，并且分享了如何在搭建于Spark上的TensorFlow上使用通用计算的图形化计算单元（GPUs）以及在Spark上搭建TensorFlow深度学习框架的性能表现。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Tim Hunter在Spark Summit EU上的演讲，主要介绍了使用Spark进行数值计算的相关内容，并且分享了如何在搭建于Spark上的TensorFlow上使用通用计算的图形化计算单元（GPUs）以及在Spark上搭建TensorFlow深度学习框架的性能表现。


2c171248c301e321064421f9977e492a83de60c2

8601e4de12bd6a98f9311589ee908cac58254ff3

ac46789e0824868a45328e3a8040b5f7a1086d8e

de7dd3c07332d6889481c569f3ae1f7340106c76

0a4023dd734a59f6e1d041a5afbf1f3e95e1a375

e110bd2403ea4189e095d9c26e18f8a432511b77

19dec1896c3af24be1cf3c91cb4ba970fb9308ad

82d5d730ba5463cbfd5eba9d8286767908ec0a1e

9948f88e54f2697ee0db31b9019fd924ae76fc4d

2601793adb1049760a54670e46981752dbde62a9

104c804990bbfb03afb5f96ebd25fcabb804bf26

2846755545e0412cfe4d6b2f8ab79b455fff249c

e22782d8d35d0d0e7594f241bc384d6f179cfe52

cc87ed45e8c10dc974f7d7d9b54bbf0230a8906a

df0e3a16aaf39ed40242c574f29b4e659159c3d4

cf1544f95bb4c04a1603a92ffbf15efc798d8a71

521f589d30f0010ac5693a8138a6b39261754429

ca29125e1b14930522d6ae9bcf90197dc4f00e7d

452d584597e804f2027105ebf5e9279203cb9ac5

bfe19d2be0d342ce84cc06a7d710cd54a1a24d55

f4db355ccf7c1718447c85a0a80aee97ac104b80

447f1cea9b90c8b7d3fea939bbea1bb7d7d7a12d

a335d7fda7c5085e4f77ba80290c7af91a879096

51f63b6391c36bfbb172f8f3d435a49e1604c96e

ffea6f06a589298806bf551c0cfe12e2af1f2288

91e4334f02053ddd6e40eda899dc1e5c6960f1be

8fd0b42b2cc50dca08eee6c351b1a112880bb0a7

5691523128965749cbf940d1eea4b15e1546459c

87efd0faaf485fa08569c4d24ea4ecd32f550c72

dd234262bbc144ed8a53f6641507c1e32c8ab23c

文章标签：
分布式计算
机器学习/深度学习
Spark
算法框架/工具
TensorFlow
关键词：
深度学习tensorflow
深度学习框架
apache spark框架
TensorFlow深度学习
TensorFlow深度学习框架
小猫吃鱼569
目录
相关文章
子午s
|
8天前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
害虫识别系统，本系统使用Python作为主要开发语言，基于TensorFlow搭建卷积神经网络算法，并收集了12种常见的害虫种类数据集【"蚂蚁（ants）", "蜜蜂（bees）", "甲虫（beetle）", "毛虫（catterpillar）", "蚯蚓（earthworms）", "蜚蠊（earwig）", "蚱蜢（grasshopper）", "飞蛾（moth）", "鼻涕虫（slug）", "蜗牛（snail）", "黄蜂（wasp）", "象鼻虫（weevil）"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型，然后保存为为本地h5格式文件。最后使用Djan
子午s
48 1
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
zzy的aly
|
5月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
深度学习之格式转换笔记(三)：keras(.hdf5)模型转TensorFlow(.pb) 转TensorRT(.uff)格式
将Keras训练好的.hdf5模型转换为TensorFlow的.pb模型，然后再转换为TensorRT支持的.uff格式，并提供了转换代码和测试步骤。
zzy的aly
138 3
深度学习之格式转换笔记(三)：keras(.hdf5)模型转TensorFlow(.pb) 转TensorRT(.uff)格式
子午s
|
1月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
蘑菇识别系统，本系统使用Python作为主要开发语言，基于TensorFlow搭建卷积神经网络算法，并收集了9种常见的蘑菇种类数据集【"香菇（Agaricus）", "毒鹅膏菌（Amanita）", "牛肝菌（Boletus）", "网状菌（Cortinarius）", "毒镰孢（Entoloma）", "湿孢菌（Hygrocybe）", "乳菇（Lactarius）", "红菇（Russula）", "松茸（Suillus）"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型，然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面，
子午s
97 11
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
平凡程序猿~
|
25天前
|
机器学习/深度学习 PyTorch TensorFlow
深度学习工具和框架详细指南：PyTorch、TensorFlow、Keras
在深度学习的世界中，PyTorch、TensorFlow和Keras是最受欢迎的工具和框架，它们为研究者和开发者提供了强大且易于使用的接口。在本文中，我们将深入探索这三个框架，涵盖如何用它们实现经典深度学习模型，并通过代码实例详细讲解这些工具的使用方法。
平凡程序猿~
85 0
子午s
|
3月前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统，本系统使用Python作为主要开发语言，基于TensorFlow搭建卷积神经网络算法，并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫（Abyssinian）', '孟加拉猫（Bengal）', '暹罗猫（Birman）', '孟买猫（Bombay）', '英国短毛猫（British Shorthair）', '埃及猫（Egyptian Mau）', '缅因猫（Maine Coon）', '波斯猫（Persian）', '布偶猫（Ragdoll）', '俄罗斯蓝猫（Russian Blue）', '暹罗猫（Siamese）', '斯芬克斯猫（Sphynx）', '美国斗牛犬
子午s
240 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
技术小达人
|
2月前
|
SQL 分布式计算 Java
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
技术小达人
170 0
东方睿赢
|
4月前
|
机器学习/深度学习 数据采集 数据可视化
TensorFlow，一款由谷歌开发的开源深度学习框架，详细讲解了使用 TensorFlow 构建深度学习模型的步骤
本文介绍了 TensorFlow，一款由谷歌开发的开源深度学习框架，详细讲解了使用 TensorFlow 构建深度学习模型的步骤，包括数据准备、模型定义、损失函数与优化器选择、模型训练与评估、模型保存与部署，并展示了构建全连接神经网络的具体示例。此外，还探讨了 TensorFlow 的高级特性，如自动微分、模型可视化和分布式训练，以及其在未来的发展前景。
东方睿赢
464 5
小周sir
|
4月前
|
机器学习/深度学习 人工智能 TensorFlow
基于TensorFlow的深度学习模型训练与优化实战
基于TensorFlow的深度学习模型训练与优化实战
小周sir
191 3
子午s
|
4月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
垃圾识别分类系统。本系统采用Python作为主要编程语言，通过收集了5种常见的垃圾数据集（'塑料', '玻璃', '纸张', '纸板', '金属'），然后基于TensorFlow搭建卷积神经网络算法模型，通过对图像数据集进行多轮迭代训练，最后得到一个识别精度较高的模型文件。然后使用Django搭建Web网页端可视化操作界面，实现用户在网页端上传一张垃圾图片识别其名称。
子午s
202 0
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
子午s
|
4月前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统，使用Python作为主要开发语言，基于深度学习TensorFlow框架，搭建卷积神经网络算法。并通过对数据集进行训练，最后得到一个识别精度较高的模型。并基于Flask框架，开发网页端操作平台，实现用户上传一张图片识别其名称。
子午s
204 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型

热门文章

最新文章

  • 1
    基于云服务器的数仓搭建-hive/spark安装
  • 2
    美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
  • 3
    如何在IDE中通过Spark操作Hive
  • 4
    【赵渝强老师】Spark的容错机制：检查点
  • 5
    【赵渝强老师】Spark RDD的缓存机制
  • 6
    打破资源边界、告别资源浪费：ACK One 多集群Spark和AI作业调度
  • 7
    基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
  • 8
    如何在Ubuntu上安装TensorFlow 24.04
  • 9
    Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
  • 10
    ModelScope深度学习项目低代码开发
  • 1
    当深度学习遇上故障根因分析：运维人的绝佳拍档
    35
  • 2
    基于MobileNet深度学习网络的MQAM调制类型识别matlab仿真
    55
  • 3
    基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
    48
  • 4
    深度学习用于求解车间调度问题，性能如何呢？
    59
  • 5
    DeepMind发布Matryoshka（套娃）量化：利用嵌套表示实现多精度LLM的低比特深度学习
    63
  • 6
    分析对比大模型OCR、传统OCR和深度学习OCR
    136
  • 7
    从零开始深度学习：全连接层、损失函数与梯度下降的详尽指南
    45
  • 8
    深度学习工具和框架详细指南：PyTorch、TensorFlow、Keras
    85
  • 9
    深度学习实践技巧：提升模型性能的详尽指南
    46
  • 10
    深入探索：深度学习在时间序列预测中的强大应用与实现
    108

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 深度学习与自动驾驶
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 深度学习的最新进展
  • 搜狗深度学习技术在广告推荐领域的应用
  • 深度学习在电商搜索和聊天机器人中的应用
    • 下一篇
    获取百炼API-KEY