AI 助理
备案控制台

Spark

首页 标签 Spark
# Spark #
关注
9105内容
最新 热门 文章 问答 课程
小猫吃鱼569
|
博文
|
来自： 物联网
【Spark Summit EU 2016】物联网中的Lambda架构——使用Spark Streaming与MLlib进行快速数据分析
本讲义出自Bas Geerdink在Spark Summit EU 2016上的演讲，主要介绍了物联网时代新的数据形式、新的用例、新的技术以及新的挑战，并介绍了什么是快速数据以及什么是大数据，并详细地介绍了物联网中的Lambda架构，流处理和批处理的相关内容以及如何使用Spark Streaming与MLlib进行快速数据分析。
# 物联网平台 # 云原生大数据计算服务 MaxCompute # 分布式计算 # 大数据 # 物联网 # Spark # 流计算 # 数据挖掘 # MaxCompute # 测试技术
晚来风急
|
博文
新手入门：Spark 部署实战入门
# 分布式计算 # 大数据 # Apache # Scala # Spark
小猫吃鱼569
|
博文
【Spark Summit East 2017】Spark中的容错：从生产实践中获取的经验
本讲义出自Jose Soltren在Spark Summit East 2017上的演讲，主要介绍了Spark容错中的螺母和螺栓，他首先简述了Spark中的各种容错机制，然后讨论了YARN上的Spark、调度与资源分配，在演讲中还对于一些用户案例进行了探讨研究并给出了一些需要的工具，最后分享了未来Spark中容错未来的发展方向比如调度器和检查点的变化。
# 分布式计算 # 大数据 # Spark
知与谁同
|
博文
Hadoop/Spark生态圈里的新气象
# 云数据库HBase版 # 云消息队列 Kafka 版 # 云原生数据仓库 AnalyticDB PostgreSQL版 # SQL # 分布式计算 # Java # 大数据 # Spark
ali清英
|
博文
《Spark官方文档》提交Spark应用
# 分布式计算 # 资源调度 # Java # Spark # Python # Maven # 监控 # Hadoop # 并行计算
bySerendipity
|
博文
利用 sparksession读取Parquet，Json格式文件
Spark支持的一些常见的格式： 文本文件：无任何的格式 json文件：半结构化 parquet：一种流行的列式存储格式 sequencefile：一种(k－v)的Hadoop文件格式.
# SQL # JSON # 分布式计算 # 数据格式 # HIVE # Spark # Scala # 存储 # Hadoop # API
阿里云实时计算Flink
|
博文
|
来自： 大数据与机器学习
小米流式平台架构演进与实践
小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。
# 实时计算 Flink版 # 云消息队列 Kafka 版 # 云数据库 RDS MySQL 版 # SQL # 消息中间件 # 存储 # 分布式计算 # 监控 # 关系型数据库 # MySQL # Kafka # 流计算 # Spark
boxti
|
博文
从幼苗长成大树 中美两国GIS软件技术已并驾齐驱
# 云原生大数据计算服务 MaxCompute # 存储 # 分布式计算 # 大数据 # 定位技术 # Spark
小猫吃鱼569
|
博文
【Spark Summit East 2017】RISE实验室: 赋能智能实时决策
本讲义出自Ion Stoica在Spark Summit East 2017上的演讲，主要分享了其所在的加州大学伯克利分校的RISELab的研究方向，并讨论了一些RISE技术能够输出的应用方向。
# 分布式计算 # 安全 # Spark # MaxCompute # 大数据
贤维
|
博文
|
来自： 云原生
在kubernetes集群中使用虚拟节点创建1万Pod-支持在线教育业务疫情高峰
在kubernetes集群中添加虚拟节点的方式已被非常多的客户普遍使用，基于虚拟节点可以极大提升集群的Pod容量和弹性，灵活动态的按需创建ECI Pod，免去集群容量规划的麻烦。
# 容器服务Kubernetes版 # 弹性容器实例 # 负载均衡 # SQL # 分布式计算 # Kubernetes # 应用服务中间件 # 调度 # nginx # Spark # Perl # 容器
免费试用