AI 助理
备案控制台

Spark

首页 标签 Spark
# Spark #
关注
9105内容
最新 热门 文章 问答 课程
阿里云大数据
|
7月前
|
博文
|
来自： 大数据与机器学习
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
# 云原生数据仓库AnalyticDB MySQL版 # 云消息队列 Kafka 版 # 开源大数据平台 E-MapReduce # 函数计算 # 云原生大数据计算服务 MaxCompute # 存储 # 分布式计算 # 物联网 # Serverless # Spark
瓴羊Dataphin
|
博文
Dataphin x Iceberg 开箱即用的数据湖治理解决方案
Apache Iceberg作为新一代开源数据湖表格式，具备ACID事务、时间旅行和高效Schema演化等能力。Dataphin已完成与Iceberg的深度集成，通过全链路适配与性能优化，为企业提供开箱即用的数据湖治理方案，涵盖数据源支持、离线与实时数据集成、数据研发等核心模块，助力构建现代化数据架构。
# SQL # 分布式计算 # Apache # HIVE # Spark
skin778
|
博文
|
来自： 数据库
“数据湖”：概念、特征、架构与案例
作者：惊玄
# 云原生大数据计算服务 MaxCompute # 终端访问控制系统 # 日志服务 # 云原生数据仓库AnalyticDB MySQL版 # 数据集成 Data Integration # 数据湖构建 # 数据管理 # 函数计算 # 云原生数据仓库 AnalyticDB PostgreSQL版 # 对象存储 # 实时计算 Flink版 # 访问控制 # 存储 # SQL # 分布式计算 # 大数据 # 数据挖掘 # 数据处理 # 数据库 # 对象存储 # Spark # 流计算
BIT_666
|
博文
Flink - 读取 Parquet 文件 By Scala / Java
parquet 文件常见与 Flink、Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索，下面介绍 Flink 场景下如何读取 Parquet。
# 实时计算 Flink版 # 存储 # SQL # 分布式计算 # Java # 大数据 # Scala # HIVE # 流计算 # Spark # 索引
开发者小助理
|
博文
|
来自： 数据库
2022云栖精选—小米大数据运维管理体系的建设与实践
刘志杰 小米大数据运维负责人
# 云原生大数据计算服务 MaxCompute # 云原生数据仓库AnalyticDB MySQL版 # 云原生数据仓库 AnalyticDB PostgreSQL版 # 存储 # 运维 # 分布式计算 # 大数据 # 物联网 # 数据管理 # OLAP # 调度 # 流计算 # Spark
扬流
|
博文
|
来自： 大数据与机器学习
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
开源大数据平台 EMR 产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。
# 开源大数据平台 E-MapReduce # 云原生大数据计算服务 MaxCompute # 云原生数据仓库AnalyticDB MySQL版 # 弹性伸缩 # 函数计算 # 密钥管理服务 # SQL # 弹性计算 # 分布式计算 # 运维 # 监控 # 大数据 # Serverless # 数据安全/隐私保护 # HIVE # Spark
扬流
|
博文
|
来自： 大数据与机器学习
面向未来的开源 OLAP 技术架构探讨以及选型实践
本文详细介绍了开源大数据OLAP的演化过程和最佳实践。
# 云原生数据仓库AnalyticDB MySQL版 # 对象存储 # 实时计算 Flink版 # 云数据库 ClickHouse # 云消息队列 Kafka 版 # SQL # 分布式计算 # 运维 # 搜索推荐 # OLAP # BI # 对象存储 # HIVE # Spark # 流计算
极客李华
|
博文
Flink与Spark的区别是什么？请举例说明。
Flink与Spark的区别是什么？请举例说明。
# 实时计算 Flink版 # 消息中间件 # 分布式计算 # 数据处理 # Spark # 流计算
weixin_836869520
|
博文
Java中的分布式计算框架选型
Java中的分布式计算框架选型
# 实时计算 Flink版 # 分布式计算 # Hadoop # Java # Apache # Spark
wljslmz
|
博文
如何在 PySpark 中创建 SparkSession？它的主要用途是什么？
【8月更文挑战第13天】
# SQL # 机器学习/深度学习 # 分布式计算 # HIVE # Spark
免费试用