AI 助理
备案控制台
开发者社区 人工智能 文章 正文

【Spark Summit EU 2016】TensorFrames: 在Spark上搭建TensorFlow深度学习框架

2017-02-13 3897
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Tim Hunter在Spark Summit EU上的演讲，主要介绍了使用Spark进行数值计算的相关内容，并且分享了如何在搭建于Spark上的TensorFlow上使用通用计算的图形化计算单元（GPUs）以及在Spark上搭建TensorFlow深度学习框架的性能表现。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Tim Hunter在Spark Summit EU上的演讲，主要介绍了使用Spark进行数值计算的相关内容，并且分享了如何在搭建于Spark上的TensorFlow上使用通用计算的图形化计算单元（GPUs）以及在Spark上搭建TensorFlow深度学习框架的性能表现。


2c171248c301e321064421f9977e492a83de60c2

8601e4de12bd6a98f9311589ee908cac58254ff3

ac46789e0824868a45328e3a8040b5f7a1086d8e

de7dd3c07332d6889481c569f3ae1f7340106c76

0a4023dd734a59f6e1d041a5afbf1f3e95e1a375

e110bd2403ea4189e095d9c26e18f8a432511b77

19dec1896c3af24be1cf3c91cb4ba970fb9308ad

82d5d730ba5463cbfd5eba9d8286767908ec0a1e

9948f88e54f2697ee0db31b9019fd924ae76fc4d

2601793adb1049760a54670e46981752dbde62a9

104c804990bbfb03afb5f96ebd25fcabb804bf26

2846755545e0412cfe4d6b2f8ab79b455fff249c

e22782d8d35d0d0e7594f241bc384d6f179cfe52

cc87ed45e8c10dc974f7d7d9b54bbf0230a8906a

df0e3a16aaf39ed40242c574f29b4e659159c3d4

cf1544f95bb4c04a1603a92ffbf15efc798d8a71

521f589d30f0010ac5693a8138a6b39261754429

ca29125e1b14930522d6ae9bcf90197dc4f00e7d

452d584597e804f2027105ebf5e9279203cb9ac5

bfe19d2be0d342ce84cc06a7d710cd54a1a24d55

f4db355ccf7c1718447c85a0a80aee97ac104b80

447f1cea9b90c8b7d3fea939bbea1bb7d7d7a12d

a335d7fda7c5085e4f77ba80290c7af91a879096

51f63b6391c36bfbb172f8f3d435a49e1604c96e

ffea6f06a589298806bf551c0cfe12e2af1f2288

91e4334f02053ddd6e40eda899dc1e5c6960f1be

8fd0b42b2cc50dca08eee6c351b1a112880bb0a7

5691523128965749cbf940d1eea4b15e1546459c

87efd0faaf485fa08569c4d24ea4ecd32f550c72

dd234262bbc144ed8a53f6641507c1e32c8ab23c

文章标签：
分布式计算
机器学习/深度学习
Spark
算法框架/工具
TensorFlow
关键词：
深度学习tensorflow
TensorFlow深度学习
TensorFlow框架
apache spark框架
深度学习框架
小猫吃鱼569
目录
相关文章
子午s
|
3月前
|
机器学习/深度学习 人工智能 算法
海洋生物识别系统+图像识别+Python+人工智能课设+深度学习+卷积神经网络算法+TensorFlow
海洋生物识别系统。以Python作为主要编程语言，通过TensorFlow搭建ResNet50卷积神经网络算法，通过对22种常见的海洋生物（'蛤蜊', '珊瑚', '螃蟹', '海豚', '鳗鱼', '水母', '龙虾', '海蛞蝓', '章鱼', '水獭', '企鹅', '河豚', '魔鬼鱼', '海胆', '海马', '海豹', '鲨鱼', '虾', '鱿鱼', '海星', '海龟', '鲸鱼'）数据集进行训练，得到一个识别精度较高的模型文件，然后使用Django开发一个Web网页平台操作界面，实现用户上传一张海洋生物图片识别其名称。
子午s
158 7
海洋生物识别系统+图像识别+Python+人工智能课设+深度学习+卷积神经网络算法+TensorFlow
子午s
|
3月前
|
机器学习/深度学习 人工智能 算法
【乐器识别系统】图像识别+人工智能+深度学习+Python+TensorFlow+卷积神经网络+模型训练
乐器识别系统。使用Python为主要编程语言，基于人工智能框架库TensorFlow搭建ResNet50卷积神经网络算法，通过对30种乐器（'迪吉里杜管', '铃鼓', '木琴', '手风琴', '阿尔卑斯号角', '风笛', '班卓琴', '邦戈鼓', '卡萨巴', '响板', '单簧管', '古钢琴', '手风琴（六角形）', '鼓', '扬琴', '长笛', '刮瓜', '吉他', '口琴', '竖琴', '沙槌', '陶笛', '钢琴', '萨克斯管', '锡塔尔琴', '钢鼓', '长号', '小号', '大号', '小提琴'）的图像数据集进行训练，得到一个训练精度较高的模型，并将其
子午s
53 0
【乐器识别系统】图像识别+人工智能+深度学习+Python+TensorFlow+卷积神经网络+模型训练
青欢
|
3月前
|
机器学习/深度学习 人工智能 TensorFlow
TensorFlow 是一个由 Google 开发的开源深度学习框架
TensorFlow 是一个由 Google 开发的开源深度学习框架
青欢
51 3
vohelon
|
19天前
|
分布式计算 资源调度 Shell
如何开始使用Spark框架？
【8月更文挑战第31天】如何开始使用Spark框架？
vohelon
31 2
vohelon
|
19天前
|
SQL 机器学习/深度学习 分布式计算
Spark框架
【8月更文挑战第31天】Spark框架
vohelon
29 2
龙大吉
|
9天前
|
机器学习/深度学习 数据挖掘 TensorFlow
从数据小白到AI专家：Python数据分析与TensorFlow/PyTorch深度学习的蜕变之路
【9月更文挑战第10天】从数据新手成长为AI专家，需先掌握Python基础语法，并学会使用NumPy和Pandas进行数据分析。接着，通过Matplotlib和Seaborn实现数据可视化，最后利用TensorFlow或PyTorch探索深度学习。这一过程涉及从数据清洗、可视化到构建神经网络的多个步骤，每一步都需不断实践与学习。借助Python的强大功能及各类库的支持，你能逐步解锁数据的深层价值。
龙大吉
20 0
土木林森
|
18天前
|
持续交付 测试技术 jenkins
JSF 邂逅持续集成，紧跟技术热点潮流，开启高效开发之旅，引发开发者强烈情感共鸣
【8月更文挑战第31天】在快速发展的软件开发领域，JavaServer Faces（JSF）这一强大的Java Web应用框架与持续集成（CI）结合，可显著提升开发效率及软件质量。持续集成通过频繁的代码集成及自动化构建测试，实现快速反馈、高质量代码、加强团队协作及简化部署流程。以Jenkins为例，配合Maven或Gradle，可轻松搭建JSF项目的CI环境，通过JUnit和Selenium编写自动化测试，确保每次构建的稳定性和正确性。
土木林森
42 0
土木林森
|
18天前
|
测试技术 数据库
探索JSF单元测试秘籍！如何让您的应用更稳固、更高效？揭秘成功背后的测试之道！
【8月更文挑战第31天】在 JavaServer Faces（JSF）应用开发中，确保代码质量和可维护性至关重要。本文详细介绍了如何通过单元测试实现这一目标。首先，阐述了单元测试的重要性及其对应用稳定性的影响；其次，提出了提高 JSF 应用可测试性的设计建议，如避免直接访问外部资源和使用依赖注入；最后，通过一个具体的 `UserBean` 示例，展示了如何利用 JUnit 和 Mockito 框架编写有效的单元测试。通过这些方法，不仅能够确保代码质量，还能提高开发效率和降低维护成本。
土木林森
32 0
土木林森
|
18天前
|
UED 开发者
哇塞！Uno Platform 数据绑定超全技巧大揭秘！从基础绑定到高级转换，优化性能让你的开发如虎添翼
【8月更文挑战第31天】在开发过程中，数据绑定是连接数据模型与用户界面的关键环节，可实现数据自动更新。Uno Platform 提供了简洁高效的数据绑定方式，使属性变化时 UI 自动同步更新。通过示例展示了基本绑定方法及使用 `Converter` 转换数据的高级技巧，如将年龄转换为格式化字符串。此外，还可利用 `BindingMode.OneTime` 提升性能。掌握这些技巧能显著提高开发效率并优化用户体验。
土木林森
37 0
土木林森
|
18天前
|
Apache 开发者 Java
Apache Wicket揭秘：如何巧妙利用模型与表单机制，实现Web应用高效开发？
【8月更文挑战第31天】本文深入探讨了Apache Wicket的模型与表单处理机制。Wicket作为一个组件化的Java Web框架，提供了多种模型实现，如CompoundPropertyModel等，充当组件与数据间的桥梁。文章通过示例介绍了模型创建及使用方法，并详细讲解了表单组件、提交处理及验证机制，帮助开发者更好地理解如何利用Wicket构建高效、易维护的Web应用程序。
土木林森
13 0

热门文章

最新文章

  • 1
    Spark Core概念学习系列之Spark Core（十四）
  • 2
    Spark-理解RDD
  • 3
    附录A Spark2.1核心工具类Utils
  • 4
    Spark-ML-01-小试spark分析离线商品信息
  • 5
    Spark shuffle详细过程
  • 6
    Spark-神奇的共享变量
  • 7
    跟我一起数据挖掘（22）——spark入门
  • 8
    重磅解读：基于Occlum和BigDL构建端到端的安全分布式Spark大数据分析方案
  • 9
    [Spark][Python]Spark Python 索引页
  • 10
    Spark Job的提交与task本地化分析（源码阅读八）
  • 1
    深度学习中的稀疏注意力
    137
  • 2
    m基于深度学习网络的手势识别系统matlab仿真,包含GUI界面
    101
  • 3
    基于yolov2深度学习网络的视频手部检测算法matlab仿真
    108
  • 4
    探索前沿技术：基于深度学习的自然语言处理应用与挑战
    332
  • 5
    利用深度学习技术实现图像风格迁移
    106
  • 6
    利用深度学习技术实现自然语言处理中的情感分析
    302
  • 7
    基于深度学习的网络异常检测与自动化响应系统设计与实现
    145
  • 8
    基于深度学习的图像识别技术在自动驾驶车辆中的应用
    91
  • 9
    2024年3月最新的深度学习论文推荐
    217
  • 10
    人工智能与图像识别：基于深度学习的卷积神经网络
    79

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 使用TensorFlow搭建智能开发系统自动生成App UI
  • 从零到一：IOS平台TensorFlow入门及应用详解
  • 从零到一：IOS平台TensorFlow入门及应用详解（附源

    • 相关实验场景

    更多
  • 使用PAI-EAS一键部署ChatGLM及LangChain应用
  • PAI-EAS快速部署AI绘画Stable Diffusion WebUI
    • 下一篇
    基于LNMP搭建WordPress