AI 助理
备案控制台

Spark

首页 标签 Spark
# Spark #
关注
9108内容
最新 热门 文章 问答 课程
ningoo
|
博文
Elasticsearch中的DocValues
简单的说，Elasticsearch通过反向索引做搜索，通过DocValues列式存储做分析，将搜索和分析的场景统一到了一个分布式系统中，还是很有搞头的。
# 检索分析服务 Elasticsearch版 # 存储 # 分布式计算 # Java # Spark # 索引
潭潭
|
博文
|
来自： 云存储
表格存储Tablestore权威指南（持续更新）
表格存储本着提升用户体验的思路，打造《表格存储Tablestore权威指南》。为用户提供可借鉴的开发指导、经典案例。经典案例按照场景应用类型划分，目前提供五类场景：元数据、消息数据、轨迹溯源、科学大数据以及物联网；每个类型下都会提供多种经典场景。
# 表格存储 # 云原生大数据计算服务 MaxCompute # 存储 # NoSQL # 大数据 # SQL # 流计算 # 数据管理 # 分布式计算 # Spark # 数据挖掘 # 关系型数据库
阿里云E-MapReduce团队
|
博文
|
来自： 大数据与机器学习
玩转阿里云EMR三部曲-中级篇 集成自有服务
利用EMR引导操作可以使用自定义脚本安装任意自有服务和环境，隔离计算和生产资源，并在极致成本控制下最大化并发和可扩展性。完整的自定义设计可以满足任意自有服务构建的集成需要。
# 开源大数据平台 E-MapReduce # 对象存储 # 分布式计算 # Java # 大数据 # 对象存储 # Spark
阿里云E-MapReduce团队
|
博文
|
来自： 大数据与机器学习
【译】使用Spark SQL 运行大规模基因组工作流
将数据提取到Spark中是大多数大数据作业的第一步，但这并不是大数据旅途的终点。
# 开源大数据平台 E-MapReduce # 云原生大数据计算服务 MaxCompute # SQL # 存储 # 分布式计算 # API # Spark
阿里云头条
|
博文
数据处理平台架构中的SMACK组合：Spark、Mesos、Akka、Cassandra以及Kafka
在今天的文章中，我们将着重探讨如何利用SMACK（即Spark、Mesos、Akka、Cassandra以及Kafka）堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成，但其能够实现大量不同系统设计。除了纯粹的批量或者流处理机制之外，我们亦可借此实现复杂的Lambda以及Kappa架构。
# 云消息队列 Kafka 版 # 资源管理 # 消息中间件 # 分布式计算 # NoSQL # Kafka # Spark
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
Hadoop开源生态Spark已经发展三年有余，今年迎来了Spark 3.0。在2019杭州云栖大会大数据&AI峰会上，Databricks研发总监李潇为大家分享了Spark 3.0版本的新特性，以及其在数据工程以及数据科学方面带来的新技术。
# 开源大数据平台 E-MapReduce # 云原生大数据计算服务 MaxCompute # 分布式计算 # Spark # Python # 大数据 # API # Apache # SQL # 数据处理 # 开发者 # Hadoop
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
11月14日Spark社区直播【 Spark on Kubernetes & YARN】
本次直播将讨论：以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。
# 容器服务Kubernetes版 # 容器 # Kubernetes # 分布式计算 # Spark # 资源调度
shiyanjuncn
|
博文
Kafka+Spark Streaming+Redis实时计算整合实践
# 云消息队列 Kafka 版 # 云数据库 Tair（兼容 Redis） # 实时计算 Flink版 # 微服务引擎 # 消息中间件 # 分布式计算 # Redis # 流计算 # Spark # NoSQL # Kafka # Java # 资源调度 # Scala
yq传送门
|
博文
从P4到P9， 在马云家写代码到双11前端PM | 11月15号云栖号夜读
今天的首篇文章，讲述了：今年的双11已经是阿里资深前端技术专家舒文来阿里的第11年，从应届生到双11前端PM，他一路升级打怪，实现了岗位上从P4到P9的晋升。这第11届双11顺利结束之际，他把在阿里这些年的成长经历做一个总结和分享，希望你能在他的故事中得到些许启发。
# 前端开发 # Cloud Native # 定位技术 # 双11 # 微服务 # 开发者 # 安全 # 分布式计算 # Spark # Hbase
司麟嘟嘟嘟
|
博文
|
来自： 大数据与机器学习
EMR Spark Relational Cache如何支持雪花模型中的关联匹配
在Spark中，Join通常是代价比较大，尤其是shuffle join。Relational Cache将反范式化表（即关联后的大表）保存为relational cache，便可以使用cache重写执行计划，提高查询效率。
# 开源大数据平台 E-MapReduce # SQL # 分布式计算 # Spark
免费试用