AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】使用Mobius在.NET平台上构建你的下一个Spark应用

2017-02-13 2708
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Kaarthik Sivashanmugam在Spark Summit EU上的演讲，主要介绍了微软公司的用于在.NET平台上构建Spark应用的C#的API——Mobius。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Kaarthik Sivashanmugam在Spark Summit EU上的演讲，主要介绍了微软公司的用于在.NET平台上构建Spark应用的C#的API——Mobius。


在演讲中，Kaarthik Sivashanmugam分享了Mobius开发动机，对于相关语言的支持情况以及Mobius与Spark的关系，以及如何部署和运行Mobius应用等相关内容。


453f61aad2c030e9f0b1ea15e328b6d7a2619145

00d671b4d01ee05b7a9bfb432e40680c574e8db5

57592f53b9d788fce18abe76d8a41c81f497bf5e

bacc3dfdd05f5accdd388dd8b35d8381b3f986da

8c522967c5b3f839dc5792934654441ffac0f0e4

9bd2fbf69c977d12d9bdc0a753e12fafc669ab7d

46b92cf5fc8e724ea4029f2d4e0bc82e5c64abb1

3ca9aac3ad06f11b7bbec5109ff41e2c67597cff

87a4dbc6fb8c80d3f764197cc7c811eb46f50f45

a73112dcae7140891c8f12aad0bda43731692aa4

bd1f28aaa147fd79c30d5c37551d08cbfd1d9e0b

be2e2c9f4d8019b87b4c7ebdce18bccd3f70d2f2

0bcbd01bed28f52203d1eb86be20256ea6be11c7

bc2fdfb27e1653132743f6fbd87f514534bd7c7d

8a2ce1a6d1b8b19e58b6fbcfc6c56b9bb1d60383

8d6f0dd56d12fcbe687d283b1cbeef71ad167a9a

ce486d9ac745ca916b83de8e1cd2515b7b80667a

18e68204d2b790be6cf81c6daf6070501344120b

25985f6bba530df47dbbbabfc9c4289084595470

3a46785b8e33c81d7c7698d25640ec5b002d1863

98a03d5f42540dbd39c2cc7f7cce57c4ca41aeea

86c6d7859816191690d80928527f055896e53204

e0af3e2e0bdc2789b7edfd693801820a382fcbce

ed90ba43127daa40f3352c77c275eeb8f3dc4f2b

6b5efc7251464b3287262668ddd9996cf7c42d3b

文章标签：
C#
API
分布式计算
Spark
小猫吃鱼569
目录
相关文章
阿里云大数据
|
分布式计算 运维 搜索推荐
立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus，解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%，Milvus 向量检索成本降低75%，支持更大规模数据处理，查询响应提速。
阿里云大数据
860 57
程序员爱钓鱼
|
JSON 编解码 API
Go语言网络编程：使用 net/http 构建 RESTful API
本章介绍如何使用 Go 语言的 `net/http` 标准库构建 RESTful API。内容涵盖 RESTful API 的基本概念及规范，包括 GET、POST、PUT 和 DELETE 方法的实现。通过定义用户数据结构和模拟数据库，逐步实现获取用户列表、创建用户、更新用户、删除用户的 HTTP 路由处理函数。同时提供辅助函数用于路径参数解析，并展示如何设置路由器启动服务。最后通过 curl 或 Postman 测试接口功能。章节总结了路由分发、JSON 编解码、方法区分、并发安全管理和路径参数解析等关键点，为更复杂需求推荐第三方框架如 Gin、Echo 和 Chi。
程序员爱钓鱼
538 5
阿里云大数据
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
阿里云大数据
1334 58
追逐时光者
|
C# Android开发 iOS开发
2025年全面的.NET跨平台应用框架推荐
2025年全面的.NET跨平台应用框架推荐
追逐时光者
975 23
追逐时光者
|
前端开发 C# 开发者
.NET使用Umbraco CMS快速构建一个属于自己的内容管理系统
.NET使用Umbraco CMS快速构建一个属于自己的内容管理系统
追逐时光者
382 12
追逐时光者
|
Linux API C#
基于 .NET 开发的多功能流媒体管理控制平台
基于 .NET 开发的多功能流媒体管理控制平台
追逐时光者
415 9
阿里云云原生
|
弹性计算 开发框架 安全
基于云效 Windows 构建环境和 Nuget 制品仓库进行 .Net 应用开发
本文将基于云效 Flow 流水线 Windows 构建环境和云效 Packages Nuget 制品仓库手把手教你如何开发并部署一个 .NET 应用，从环境搭建到实战应用发布的详细教程，帮助你掌握 .NET 开发的核心技能。
阿里云云原生
706 3
dotNative
|
Kubernetes Cloud Native Ubuntu
庆祝 .NET 9 正式版发布与 Dapr 从 CNCF 毕业：构建高效云原生应用的最佳实践
2024年11月13日，.NET 9 正式版发布，Dapr 从 CNCF 毕业，标志着云原生技术的成熟。本文介绍如何使用 .NET 9 Aspire、Dapr 1.14.4、Kubernetes 1.31.0/Containerd 1.7.14、Ubuntu Server 24.04 LTS 和 Podman 5.3.0-rc3 构建高效、可靠的云原生应用。涵盖环境准备、应用开发、Dapr 集成、容器化和 Kubernetes 部署等内容。
dotNative
1035 6
众所周知
|
机器学习/深度学习 人工智能 Cloud Native
在数字化时代，.NET 技术凭借其跨平台兼容性、丰富的类库和工具集以及卓越的性能与效率，成为软件开发的重要平台
在数字化时代，.NET 技术凭借其跨平台兼容性、丰富的类库和工具集以及卓越的性能与效率，成为软件开发的重要平台。本文深入解析 .NET 的核心优势，探讨其在企业级应用、Web 开发及移动应用等领域的应用案例，并展望未来在人工智能、云原生等方面的发展趋势。
众所周知
559 3

热门文章

最新文章

  • 1
    Spark SQL玩起来
  • 2
    Spark SQL性能优化
  • 3
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 4
    【译】使用Spark SQL 运行大规模基因组工作流
  • 5
    钉钉群直播【Spark Relational Cache 原理和实践】
  • 6
    EMR Spark Relational Cache的执行计划重写
  • 7
    【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示（附SQL语句）
  • 8
    《Spark核心技术与高级应用》——第1章Spark简介
  • 9
    大数据技术：Hadoop与Spark的对比
  • 10
    Hadoop生态系统中的流式数据处理技术：Apache Flink和Apache Spark的比较
  • 1
    ASP.NET Core Blazor 路由配置和导航
    790
  • 2
    Visual C++运行库、.NET Framework和DirectX运行库的作用及常见问题解决方案，涵盖MSVCP140.dll丢失、0xc000007b错误等典型故障的修复方法
    2253
  • 3
    AutoGen for .NET - 架构学习指南
    1245
  • 4
    Semantic Kernel .NET 架构学习指南
    1296
  • 5
    Microsoft .NET Framework 3.5、4.5.2、4.8.1,适用于 Windows 版本的 .NET,Microsoft C Runtime等下载
    2408
  • 6
    .NET技术深度解析：现代企业级开发指南
    726
  • 7
    提示缺少.NET Framework 3.5 安装错误：0x80070002、0x800F0950\0x80004002
    1242
  • 8
    windows离线安装.NET Framework 3.5(包括.net2.0和3.0)教程，（附离线安装包）
    61731
  • 9
    .NET Framework 3.5离线安装包合集下载
    7958
  • 10
    .NET Framework安装不成功，下载`NET Framework 3.5`文件，Microsoft Visual C++
    1738

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！