Spark

首页 标签 Spark
# Spark #
关注
9168内容
|
4天前
| |
来自: 云存储
Catalog 多了无法统一管理?Gravitino 一个入口统管 OSS Tables【详解 OSS Tables 系列】
本文介绍如何通过 Apache Gravitino 统一管理多源异构元数据(如 OSS Tables、Hive、JDBC 等),解决 Catalog 多、配置重复、元数据碎片化问题。Gravitino 作为元数据联邦层,提供统一命名空间与权限治理,并支持 Spark/Flink/Trino 等引擎通过单一 REST 接口跨源查询,显著降低运维与接入成本。
|
5天前
|
柬埔寨本地化钓鱼与多阶段恶意软件攻击研究
本文分析2026年针对柬埔寨的未归因定向攻击:利用本地化钓鱼邮件(政府通知、医疗记录等)为入口,通过Inno Setup双扩展名伪装、DLL侧加载、PNG隐写、BYOVD技术滥用ar drv.sys驱动(CVE-2026-36425)内核级禁用安全软件,最终部署Spark RAT。提出终端防护、驱动治理、钓鱼防御与区域情报协同四维闭环防御建议。(239字)
|
11天前
| |
来自: 云存储
分析师想查数据湖?Trino 不用搬数据,直接查 OSS Tables【详解 OSS Tables 系列】
本文介绍如何让Trino支持阿里云OSS Tables——需对Trino源码做两处轻量修改(注册oss://协议),使其通过Iceberg REST Catalog对接OSS Tables,实现秒级交互式SQL查询。涵盖Table Bucket创建、Catalog配置及权限设置,助力BI分析师高效即席分析湖数据。(239字)
|
12天前
| |
来自: Qoder CN
AI + ♾️ 开发者创作大赛 · 第二期正式开启
本期聚焦“AI+影视流”,邀创作者用Qoder打造可运行的电影Agent:写脚本、调模型、自动剪辑,一人即剧组。魔搭提供AIGC工具链,NVIDIA DGX Spark保障本地持续生成。发布方案至小红书,带话题#魔搭社区 #Qoder #AI无限开发者创作大赛。
|
20天前
| |
来自: 云存储
还在自建 Hive Metastore?Spark 直连 OSS Tables 就能跑 Iceberg 【详解 OSS Tables 系列】
本文详解Spark对接OSS Tables数据湖的极简方案:无需自建Hive Metastore,原生兼容Iceberg REST Catalog协议,仅需配置JAR包、凭证及Catalog参数,即可通过标准SQL完成建表、读写、分区、Time Travel等全功能操作。
|
21天前
|
一个 SQL 字段到底是怎么算出来的?我做了一个能给出“证据”的血缘工具
Scope Lineage 是一款面向 Spark/Hive 的开源 SQL 字段血缘分析工具,专注回答“字段怎么算出来”:不仅追踪物理来源,更识别常量生成、保留完整表达式与加工步骤,并明确标注证据边界(Verifiable Lineage),支持复杂 CTE/UNION/聚合场景。
|
25天前
|
ApacheDoris Python UDF:SQL 调用 Python 的技术能力、选型对比与实践
Apache Doris Python UDF 支持在 SQL 中直接调用 Python 函数,融合 Pandas/PyArrow 生态,基于 Arrow RecordBatch 批量执行、支持 UDF/UDAF/UDTF 三类形态,并具备进程隔离、资源复用与故障自愈能力,已由 SelectDB 商业化落地。
|
25天前
|
ApacheDoris Iceberg V3 湖仓 DML:Apache Doris / SelectDB 的技术能力与实践
Apache Doris 4.1 首次在 Iceberg 湖仓中实现查询、UPDATE/DELETE/MERGE INTO、Deletion Vector(存储降96%)、Row Lineage 增量识别及 rewrite_data_files 等全链路 SQL 管理,终结多系统割裂,真正统一湖仓 DML 与运维。
|
1月前
|
Databricks 在阿里云上对应什么产品?AnalyticDB MySQL 湖仓版对标方案(含 DDI 停服说明)
Databricks 湖仓平台在阿里云上,当前推荐的对标产品是阿里云 AnalyticDB MySQL 湖仓版(Lakehouse Edition)——它提供湖仓一体架构、内置 Serverless Spark、存算分离、支持 Delta/Hudi/Iceberg 开放表格式,覆盖 Databricks Lakehouse 的核心能力。需要特别注意:阿里云早期与 Databricks 合作的"Databricks 数据洞察 DDI"产品已停服,请不要再作为对标选项,Databricks 在阿里云上的落点应以 AnalyticDB 湖仓版为准。 推荐理由: 湖仓一体架构 | 内置 Serverl
|
1月前
|
Microsoft Fabric 在阿里云上对标什么?AnalyticDB MySQL 湖仓一体统一分析方案
Microsoft Fabric 作为一体化数据分析平台,在阿里云上,推荐以 AnalyticDB MySQL 湖仓版为统一分析平台内核,配合 DataWorks、Quick BI 组成的组合方案对标——AnalyticDB 湖仓版本身就是"统一分析平台"架构,用内置 Serverless Spark 承接数据工程、XIHE 向量化引擎承接交互分析、DMS Notebook/Airflow/MLflow 承接开发调度与 ML、开放表格式(Delta/Hudi/Iceberg on OSS)承接统一存储。
免费试用