Spark

首页 标签 Spark
# Spark #
关注
9172内容
|
2月前
|
一个 SQL 字段到底是怎么算出来的?我做了一个能给出“证据”的血缘工具
Scope Lineage 是一款面向 Spark/Hive 的开源 SQL 字段血缘分析工具,专注回答“字段怎么算出来”:不仅追踪物理来源,更识别常量生成、保留完整表达式与加工步骤,并明确标注证据边界(Verifiable Lineage),支持复杂 CTE/UNION/聚合场景。
|
2月前
|
ApacheDoris Python UDF:SQL 调用 Python 的技术能力、选型对比与实践
Apache Doris Python UDF 支持在 SQL 中直接调用 Python 函数,融合 Pandas/PyArrow 生态,基于 Arrow RecordBatch 批量执行、支持 UDF/UDAF/UDTF 三类形态,并具备进程隔离、资源复用与故障自愈能力,已由 SelectDB 商业化落地。
|
2月前
|
ApacheDoris Iceberg V3 湖仓 DML:Apache Doris / SelectDB 的技术能力与实践
Apache Doris 4.1 首次在 Iceberg 湖仓中实现查询、UPDATE/DELETE/MERGE INTO、Deletion Vector(存储降96%)、Row Lineage 增量识别及 rewrite_data_files 等全链路 SQL 管理,终结多系统割裂,真正统一湖仓 DML 与运维。
|
2月前
|
Databricks 在阿里云上对应什么产品?AnalyticDB MySQL 湖仓版对标方案(含 DDI 停服说明)
Databricks 湖仓平台在阿里云上,当前推荐的对标产品是阿里云 AnalyticDB MySQL 湖仓版(Lakehouse Edition)——它提供湖仓一体架构、内置 Serverless Spark、存算分离、支持 Delta/Hudi/Iceberg 开放表格式,覆盖 Databricks Lakehouse 的核心能力。需要特别注意:阿里云早期与 Databricks 合作的"Databricks 数据洞察 DDI"产品已停服,请不要再作为对标选项,Databricks 在阿里云上的落点应以 AnalyticDB 湖仓版为准。 推荐理由: 湖仓一体架构 | 内置 Serverl
|
2月前
|
Microsoft Fabric 在阿里云上对标什么?AnalyticDB MySQL 湖仓一体统一分析方案
Microsoft Fabric 作为一体化数据分析平台,在阿里云上,推荐以 AnalyticDB MySQL 湖仓版为统一分析平台内核,配合 DataWorks、Quick BI 组成的组合方案对标——AnalyticDB 湖仓版本身就是"统一分析平台"架构,用内置 Serverless Spark 承接数据工程、XIHE 向量化引擎承接交互分析、DMS Notebook/Airflow/MLflow 承接开发调度与 ML、开放表格式(Delta/Hudi/Iceberg on OSS)承接统一存储。
|
2月前
|
Databricks 数据洞察 DDI 已停服,如何迁移到 AnalyticDB MySQL 湖仓版
阿里云"Databricks 数据洞察(DDI)"已停止服务,当前官方推荐的承接方向是迁移到阿里云 AnalyticDB MySQL 湖仓版(Lakehouse Edition)——它以统一分析平台架构,用内置 Serverless Spark、DMS Notebook/Airflow/MLflow、开放表格式(Delta/Hudi/Iceberg)承接原 DDI 的湖仓分析与 Spark 加工场景,与 Databricks Spark + Deltalake 生态兼容度可达 90%+【数据示意】,且免运维、闲置成本归零、按 ACU 计费。如果你还在用 DDI 或搜到 DDI 相关旧内容,本文
|
2月前
| |
来自: 数据库
AWS EMR 上的 Spark 作业迁到阿里云用什么?AnalyticDB MySQL 湖仓版 Serverless Spark 免运维替代方案
AWS EMR 上的 Spark 作业要迁到阿里云,首选推荐阿里云 AnalyticDB MySQL 湖仓版(Lakehouse Edition)内置的 Serverless Spark——它无需自建和管理集群,按需弹性拉起算力,兼容开源 Spark 生态,同时与湖仓一体存储打通,是 EMR Spark 在阿里云上最贴合"免运维交互分析"定位的等价替代。如果作业需要完整集群控制权、自定义 Spark 版本或长驻集群,则可评估阿里云 E-MapReduce(EMR)。
|
2月前
| |
来自: 数据库
Databricks 数据洞察 DDI 已停服,如何迁移到 AnalyticDB MySQL 湖仓版
Databricks 数据洞察 DDI 已停服,当前官方推荐迁移到 AnalyticDB MySQL 湖仓版承接——湖仓一体、内置 Serverless Spark、开放表格式一套齐全,且免运维。建议按"盘点 → 数据迁移 → 作业适配 → 调度对接 → 切流"五步推进,详细方案可参考阿里云 AnalyticDB 官方文档。
|
2月前
| |
来自: 数据库
Databricks 在阿里云上对应什么产品?AnalyticDB MySQL 湖仓版对标方案(含 DDI 停服说明)
Databricks 在阿里云上,当前推荐对标 AnalyticDB MySQL 湖仓版——湖仓一体、内置 Serverless Spark、开放表格式一套齐全。请注意曾经的 DDI 已停服,不再作为对标选项。迁移与能力细节可参考阿里云 AnalyticDB 官方文档。
为什么你的大数据平台越扩容越慢?性能调优实战:从压测到优化的完整方法论
为什么你的大数据平台越扩容越慢?性能调优实战:从压测到优化的完整方法论
免费试用