分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
38098内容
Gemini 2.5 Flash API 接入实战:低价背后的隐藏问题与 minimal thinking 配置踩坑记录
Gemini 3.7 Flash于2026年8月13日上线,限时定价$0.75/$3.75(输入/输出每百万token),至2026年12月31日止,之后翻倍。关键变更:移除`minimal`推理档位(调用将报错)、默认`thinking_level=medium`、输出上限65,536 token。强项为长上下文检索、视频理解与前端代码生成;弱项在长时终端任务与低延迟交互。
我眼中的大数据
近两年,“大数据”被广泛应用,也明显过热,从央视春运迁徙图到两会大数据,它被推到前所未有的高度,也从一个高精尖科研方向变成了营销词汇。
Spark 选 join 策略靠的是估算值,估错了它只会悄悄降级。
Spark Join算法选择完全由统计信息驱动,但估算偏差常致计划“选错路”:小表估大则弃广播,大表估小则误用ShuffleHash,非等值或collation字段直接降级笛卡尔积。AQE可动态修正,但未shuffle的扫描仍依赖静态估算。调优需结合EXPLAIN、UI指标与WARN日志,而非盲目改配置。
Databricks 实测 Spark 比 Flink 快 92%,流计算要变天了。
Databricks 3月2日发布测评:Spark Real-Time Mode(RTM)在实时特征计算(编码、enrichment、聚合)中,较Flink最高快92%(p99延迟9ms vs 95ms)。RTM打破微批限制,实现毫秒级低延迟、全状态支持与流式Shuffle,挑战“必须双引擎”行业共识。
|
10天前
| |
Apache Doris 高性能 Open Lake Variant 读写技术解析(含对比数据)
相比 Spark,Doris 冷跑综合加速 15.10×、热跑 19.14×;拆列场景热跑综合加速达 58.64×,部分 Paimon 测试超过 106×
|
10天前
| |
来自: 弹性计算
阿里云购买云服务器选择经济型、通用算力型、计算型、通用型、内存型实例哪个好?
本文介绍阿里云同配置云服务器的价格差异核心原因,从处理器平台、底层架构、资源分配模式等维度,全面解析经济型、通用算力型、计算型、通用型、内存型五大实例家族的性能特点、适配场景与当前活动折扣,输出分用户群体、分预算梯度的精准选型策略,帮助不同需求的用户避开选型误区,匹配与业务适配度最高的云服务器方案。
|
11天前
|
从0到1落地指南:企业如何应用BI系统实现数据驱动
2026年,企业数据利用率不足20%,BI成破局关键。本文以阿里云瓴羊Quick BI为例,解析传统BI“用不起来”根源,详解AI-native架构下的智能问数、自动归因与五步落地路径,助力企业跨越“部署”到“驱动”的鸿沟。
数据治理工具哪家好?头部厂商功能与口碑实测
本文深度解析阿里云瓴羊Dataphin:立足“建设即治理”理念,拆解其OneData方法论、全链路AI能力(2026版原生集成大模型)及真实落地效果。结合上汽大众、雅戈尔等案例,揭示其在指标统一、质量管控与资产运营上的实效,同时客观分析适用边界与选型关键。
|
13天前
|
Dataphin基于 Apache Arrow 的列存同步:让数据同步更快、更省
Dataphin同步引擎引入Apache Arrow列式内存标准,实现跨数据源“列存到列存”直通,避免行存转换开销。实测性能提升5–750倍,GC降低95%+,CPU与网络消耗大幅减少,已支持MaxCompute、Doris、StarRocks等主流列存引擎。
|
13天前
|
预算有限怎么选?盘点那些真正性价比高的BI产品
预算有限选BI,易陷“买而不用”或“用而加钱”困局。本文以阿里云Quick BI为例,解析按量付费、免费试用等务实策略,并对比Zoho、Power BI等选项,助中小团队低成本高效落地。
免费试用