2024-05-15
118

跨节点参数的缘起与今生

Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

118
2023-11-06
127689

从存储统一到数据融合,SLS在可观测场景的思考和行动

介绍SLS在可观测数据融合分析的一系列技术升级,融合Trace、全栈监控、Continuous Profiling、移动端监控等功能,帮助大家更快速地构筑全栈、自动化的观测能力。

127,689
2024-05-15
725

基于PAI-DSW快速启动Stable Diffusion WebUI

基于PAI-DSW快速启动Stable Diffusion WebUI,创作你的专属冬日主题AI画作!

725
2024-05-15
118277

DataphinV3.14全新升级:数据研发突破全域覆盖,资产治理更加灵活可控

DataphinV3.14支持传统数据库调用,带来全新高效研发体验,及时全面的数据保护、自定义监控和审批让数据治理更灵活自由。

118,277
2023-03-09
11433

数据湖存储的安全写入之道

本文以 Hadoop 社区中的 S3A Connector 的实现为切入,分析了数据湖写入路径的安全性。

11,433
2024-05-15
122314

每天一个摆脱if-else工程师的技巧,优雅的参数校验

在日常的开发工作中,为了程序的健壮性,大部分方法都需要进行入参数据校验。本文围绕作者如何优雅的进行参数校验展开讨论。

122,314
2023-10-26
158068

如何充分发挥 SQL 能力?

如何充分发挥 SQL 能力,是本篇文章的主题。本文尝试独辟蹊径,强调通过灵活的、发散性的数据处理思维,就可以用最基础的语法,解决复杂的数据场景。

158,068
2024-05-15
861

一文详解 Java 限流接口实现

本文介绍的实现方式属于应用级限制,应用级限流方式只是单应用内的请求限流,不能进行全局限流。要保证系统的抗压能力,限流是一个必不可少的环节,虽然可能会造成某些用户的请求被丢弃,但相比于突发流量造成的系统宕机来说,这些损失一般都在可以接受的范围之内。

861
2024-05-15
75478

总结|性能优化思路及常用工具及手段

性能优化是降低成本的手段之一,每年大促前业务平台都会组织核心链路上的应用做性能优化,一方面提升系统性能,另外一方面对腐化的代码进行清理。本文结合业务平台性能优化的经验,探讨一下性能优化的思路及常用工具及手段。

75,478
1
...
5
6
7
...
11
到第
1
2
3
4
5
6
7
8
9
10
11
6/11