MongoDB + Spark: 完整的大数据解决方案
2017-11-04
1686
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
转一篇文章，貌似大数据解决方案这块，MongoDB和HDFS还要较量一番。http://www.mongoing.com/tj/mongodb_shanghai_spark其余可参考的：http://blog.
相关实践学习
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识，包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用（唯一索引、地理索引、过期索引、全文索引等）、MapReduce操作实现、用户管理、Java对MongoDB的操作支持（基于2.x驱动与3.x驱动的完全讲解）。 通过学习此课程，读者将具备MongoDB数据库的开发能力，并且能够使用MongoDB进行项目开发。 相关的阿里云产品：云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构，具备安全审计，时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
22天前
|
存储
分布式计算
算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
46
0
0
|
22天前
|
消息中间件
分布式计算
NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
31
0
0
|
1天前
|
SQL
机器学习/深度学习
分布式计算
Spark快速上手：揭秘大数据处理的高效秘密，让你轻松应对海量数据
【10月更文挑战第25天】本文全面介绍了大数据处理框架 Spark，涵盖其基本概念、安装配置、编程模型及实际应用。Spark 是一个高效的分布式计算平台，支持批处理、实时流处理、SQL 查询和机器学习等任务。通过详细的技术综述和示例代码，帮助读者快速掌握 Spark 的核心技能。
13
6
6
|
1天前
|
分布式计算
大数据
OLAP
AnalyticDB与大数据生态集成：Spark & Flink
【10月更文挑战第25天】在大数据时代，实时数据处理和分析变得越来越重要。AnalyticDB（ADB）是阿里云推出的一款完全托管的实时数据仓库服务，支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力，将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发，分享如何将AnalyticDB与Spark和Flink集成，构建端到端的大数据处理流水线，实现数据的实时分析和处理。
11
1
1
|
11天前
|
分布式计算
大数据
Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
25
1
1
|
19天前
|
消息中间件
分布式计算
Kafka
|
22天前
|
存储
分布式计算
算法
|
21天前
|
存储
机器学习/深度学习
分布式计算
|
22天前
|
分布式计算
关系型数据库
MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
44
3
3
|
1天前
|
存储
安全
大数据
大数据隐私保护：用户数据的安全之道
【10月更文挑战第31天】在大数据时代，数据的价值日益凸显，但用户隐私保护问题也愈发严峻。本文探讨了大数据隐私保护的重要性、面临的挑战及有效解决方案，旨在为企业和社会提供用户数据安全的指导。通过加强透明度、采用加密技术、实施数据最小化原则、加强访问控制、采用隐私保护技术和提升用户意识，共同推动大数据隐私保护的发展。
8
3
3
热门文章
最新文章
1
Spark-ML-01-小试spark分析离线商品信息
2
Spark做TPC-DS性能测试
3
[Spark][Python]Spark Python 索引页
4
Spark Job的提交与task本地化分析（源码阅读八）
5
spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
6
Spark-构建基于Spark的推荐引擎
7
Spark PruneDependency 依赖关系 RangePartitioner
8
Spark Master启动源码分析
9
十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
10
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
1
【MongoDB】MongoDB 如何处理复杂的数据结构？
133
2
【MongoDB】如何在MongoDB中设计Schema？
306
3
【MongoDB】MongoDB 服务无法正常启动问题排查
1852
4
【MongoDB】MongoDB更新操作时是否立刻fsync到磁盘？
79
5
直播预告：助力业务升级！《阿里云MongoDB数据迁移指导》线上研讨会
278
6
云原生最佳实践系列 5：基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
664
7
MongoDB数据日期显示相差8小时
328
8
搭建MongoDB分片式集群
77
9
Windows公网远程连接MongoDB数据库【无公网IP】
176
10
DataWorks报错问题之datax mongodb全量迁移报错如何解决
228