AI 助理
备案控制台登录注册
开发者社区 人工智能 文章 正文

【Spark Summit EU 2016】TensorFrames: 在Spark上搭建TensorFlow深度学习框架

2017-02-13 3918
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Tim Hunter在Spark Summit EU上的演讲，主要介绍了使用Spark进行数值计算的相关内容，并且分享了如何在搭建于Spark上的TensorFlow上使用通用计算的图形化计算单元（GPUs）以及在Spark上搭建TensorFlow深度学习框架的性能表现。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Tim Hunter在Spark Summit EU上的演讲，主要介绍了使用Spark进行数值计算的相关内容，并且分享了如何在搭建于Spark上的TensorFlow上使用通用计算的图形化计算单元（GPUs）以及在Spark上搭建TensorFlow深度学习框架的性能表现。


2c171248c301e321064421f9977e492a83de60c2

8601e4de12bd6a98f9311589ee908cac58254ff3

ac46789e0824868a45328e3a8040b5f7a1086d8e

de7dd3c07332d6889481c569f3ae1f7340106c76

0a4023dd734a59f6e1d041a5afbf1f3e95e1a375

e110bd2403ea4189e095d9c26e18f8a432511b77

19dec1896c3af24be1cf3c91cb4ba970fb9308ad

82d5d730ba5463cbfd5eba9d8286767908ec0a1e

9948f88e54f2697ee0db31b9019fd924ae76fc4d

2601793adb1049760a54670e46981752dbde62a9

104c804990bbfb03afb5f96ebd25fcabb804bf26

2846755545e0412cfe4d6b2f8ab79b455fff249c

e22782d8d35d0d0e7594f241bc384d6f179cfe52

cc87ed45e8c10dc974f7d7d9b54bbf0230a8906a

df0e3a16aaf39ed40242c574f29b4e659159c3d4

cf1544f95bb4c04a1603a92ffbf15efc798d8a71

521f589d30f0010ac5693a8138a6b39261754429

ca29125e1b14930522d6ae9bcf90197dc4f00e7d

452d584597e804f2027105ebf5e9279203cb9ac5

bfe19d2be0d342ce84cc06a7d710cd54a1a24d55

f4db355ccf7c1718447c85a0a80aee97ac104b80

447f1cea9b90c8b7d3fea939bbea1bb7d7d7a12d

a335d7fda7c5085e4f77ba80290c7af91a879096

51f63b6391c36bfbb172f8f3d435a49e1604c96e

ffea6f06a589298806bf551c0cfe12e2af1f2288

91e4334f02053ddd6e40eda899dc1e5c6960f1be

8fd0b42b2cc50dca08eee6c351b1a112880bb0a7

5691523128965749cbf940d1eea4b15e1546459c

87efd0faaf485fa08569c4d24ea4ecd32f550c72

dd234262bbc144ed8a53f6641507c1e32c8ab23c

文章标签：
分布式计算
机器学习/深度学习
Spark
算法框架/工具
TensorFlow
关键词：
深度学习tensorflow
深度学习框架
apache spark框架
TensorFlow深度学习
TensorFlow深度学习框架
小猫吃鱼569
+关注
205文章
目录
打赏
0
0
0
0
41
分享
相关文章
子午s
|
4月前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络，基于37种常见猫狗数据集训练高精度模型，并保存为h5格式。通过Django框架搭建Web平台，用户上传宠物图片即可识别其名称，提供便捷的宠物识别服务。
子午s
500 55
子午s
|
1月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
害虫识别系统，本系统使用Python作为主要开发语言，基于TensorFlow搭建卷积神经网络算法，并收集了12种常见的害虫种类数据集【"蚂蚁（ants）", "蜜蜂（bees）", "甲虫（beetle）", "毛虫（catterpillar）", "蚯蚓（earthworms）", "蜚蠊（earwig）", "蚱蜢（grasshopper）", "飞蛾（moth）", "鼻涕虫（slug）", "蜗牛（snail）", "黄蜂（wasp）", "象鼻虫（weevil）"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型，然后保存为为本地h5格式文件。最后使用Djan
子午s
115 1
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
子午s
|
2月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
蘑菇识别系统，本系统使用Python作为主要开发语言，基于TensorFlow搭建卷积神经网络算法，并收集了9种常见的蘑菇种类数据集【"香菇（Agaricus）", "毒鹅膏菌（Amanita）", "牛肝菌（Boletus）", "网状菌（Cortinarius）", "毒镰孢（Entoloma）", "湿孢菌（Hygrocybe）", "乳菇（Lactarius）", "红菇（Russula）", "松茸（Suillus）"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型，然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面，
子午s
156 11
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
蚝油菜花
|
3月前
|
机器学习/深度学习 存储 人工智能
MNN：阿里开源的轻量级深度学习推理框架，支持在移动端等多种终端上运行，兼容主流的模型格式
MNN 是阿里巴巴开源的轻量级深度学习推理框架，支持多种设备和主流模型格式，具备高性能和易用性，适用于移动端、服务器和嵌入式设备。
蚝油菜花
813 18
MNN：阿里开源的轻量级深度学习推理框架，支持在移动端等多种终端上运行，兼容主流的模型格式
子午s
|
4月前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统，本系统使用Python作为主要开发语言，基于TensorFlow搭建卷积神经网络算法，并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫（Abyssinian）', '孟加拉猫（Bengal）', '暹罗猫（Birman）', '孟买猫（Bombay）', '英国短毛猫（British Shorthair）', '埃及猫（Egyptian Mau）', '缅因猫（Maine Coon）', '波斯猫（Persian）', '布偶猫（Ragdoll）', '俄罗斯蓝猫（Russian Blue）', '暹罗猫（Siamese）', '斯芬克斯猫（Sphynx）', '美国斗牛犬
子午s
278 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
平凡程序猿~
|
2月前
|
机器学习/深度学习 PyTorch TensorFlow
深度学习工具和框架详细指南：PyTorch、TensorFlow、Keras
在深度学习的世界中，PyTorch、TensorFlow和Keras是最受欢迎的工具和框架，它们为研究者和开发者提供了强大且易于使用的接口。在本文中，我们将深入探索这三个框架，涵盖如何用它们实现经典深度学习模型，并通过代码实例详细讲解这些工具的使用方法。
平凡程序猿~
159 0
东方睿赢
|
5月前
|
机器学习/深度学习 数据采集 数据可视化
TensorFlow，一款由谷歌开发的开源深度学习框架，详细讲解了使用 TensorFlow 构建深度学习模型的步骤
本文介绍了 TensorFlow，一款由谷歌开发的开源深度学习框架，详细讲解了使用 TensorFlow 构建深度学习模型的步骤，包括数据准备、模型定义、损失函数与优化器选择、模型训练与评估、模型保存与部署，并展示了构建全连接神经网络的具体示例。此外，还探讨了 TensorFlow 的高级特性，如自动微分、模型可视化和分布式训练，以及其在未来的发展前景。
东方睿赢
558 5
小周sir
|
5月前
|
机器学习/深度学习 人工智能 TensorFlow
基于TensorFlow的深度学习模型训练与优化实战
基于TensorFlow的深度学习模型训练与优化实战
小周sir
229 3
Deephub
|
5月前
|
机器学习/深度学习 监控 PyTorch
深度学习工程实践：PyTorch Lightning与Ignite框架的技术特性对比分析
在深度学习框架的选择上，PyTorch Lightning和Ignite代表了两种不同的技术路线。本文将从技术实现的角度，深入分析这两个框架在实际应用中的差异，为开发者提供客观的技术参考。
Deephub
117 7
子午s
|
5月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
垃圾识别分类系统。本系统采用Python作为主要编程语言，通过收集了5种常见的垃圾数据集（'塑料', '玻璃', '纸张', '纸板', '金属'），然后基于TensorFlow搭建卷积神经网络算法模型，通过对图像数据集进行多轮迭代训练，最后得到一个识别精度较高的模型文件。然后使用Django搭建Web网页端可视化操作界面，实现用户在网页端上传一张垃圾图片识别其名称。
子午s
245 0
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络

热门文章

最新文章

  • 1
    从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
    13
  • 2
    基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
    12
  • 3
    如何在Ubuntu上安装TensorFlow 24.04
    11
  • 4
    计算机视觉五大技术——深度学习在图像处理中的应用
    73
  • 5
    深度学习+实时监控：运维不再靠“拍脑袋”！
    14
  • 6
    智绘运维：深度学习赋能知识图谱建设
    7
  • 7
    分析对比大模型OCR、传统OCR和深度学习OCR
    107
  • 8
    深度学习工具和框架详细指南：PyTorch、TensorFlow、Keras
    24
  • 9
    深入探索：深度学习在时间序列预测中的强大应用与实现
    8
  • 10
    深度学习在资源利用率优化中的应用：让服务器更聪明
    7
  • 1
    计算机视觉五大技术——深度学习在图像处理中的应用
    181
  • 2
    深度学习+实时监控：运维不再靠“拍脑袋”！
    77
  • 3
    智绘运维：深度学习赋能知识图谱建设
    71
  • 4
    PyTorch PINN实战：用深度学习求解微分方程
    80
  • 5
    基于MobileNet深度学习网络的活体人脸识别检测算法matlab仿真
    68
  • 6
    当深度学习遇上故障根因分析：运维人的绝佳拍档
    91
  • 7
    基于MobileNet深度学习网络的MQAM调制类型识别matlab仿真
    76
  • 8
    基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
    115
  • 9
    深度学习用于求解车间调度问题，性能如何呢？
    88
  • 10
    DeepMind发布Matryoshka（套娃）量化：利用嵌套表示实现多精度LLM的低比特深度学习
    86

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 深度学习与自动驾驶
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 使用TensorFlow搭建智能开发系统自动生成App UI
  • 从零到一：IOS平台TensorFlow入门及应用详解
  • 从零到一：IOS平台TensorFlow入门及应用详解（附源
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等