2024-05-15
111

跨节点参数的缘起与今生

Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

111
2024-05-15
76

技术分享系列-如何实现一个 Paxos

Paxos 作为一个经典的分布式一致性算法(Consensus Algorithm),在各种教材中也被当做范例来讲解。但由于其抽象性,很少有人基于朴素 Paxos 开发一致性库,本文介绍的实现代码参考了 RAFT 中的概念以及 phxpaxos 的实现和架构设计,实现 multi-paxos 算法,主要针对线程安全和模块抽象进行强化,网络、成员管理、日志、快照、存储以接口形式接入,算法设计为事件驱动,仅包含头文件,便于移植和扩展。

76
2024-05-15
116

DCDN助力企业灰度上云产品实践

提起CDN,大家想到的字眼可能是缓存、转发、调度,用来提升终端用户体验、保护源站IP、降低源站流量风险,同时可以将源站的应用功能卸载到边缘,进一步释放边缘算力满足业务需求。DCDN脱胎于CDN,面向动态元素,通过智能路由、协议优化、压缩传输等手段,将转发场景的性能提到极限,广泛应用于电商、游戏、政企等行业。在互联网蓬勃发展,传统企业寻求数字化转型机会的今天,DCDN作为流量的入口,搭配灵活易扩展的“高级条件”及“EdgeScript”,可以通过流量转发这一技术手段,实现客户上云的“安全灰度”。

116
2024-05-15
118272

DataphinV3.14全新升级:数据研发突破全域覆盖,资产治理更加灵活可控

DataphinV3.14支持传统数据库调用,带来全新高效研发体验,及时全面的数据保护、自定义监控和审批让数据治理更灵活自由。

118,272
2024-05-15
37844

不需要懂技术,3分钟幻兽帕鲁服务器搭建教程

幻兽帕鲁最近非常火。有些小伙伴可能不喜欢跟陌生人一起玩,那么你可以搭建一个专有服务器和朋友一起联机游戏。自己搭建服务器不仅更私密,还能自定义游戏里的一些选项,比如调整工作速度倍率、经验获取倍率等。 这篇教程将引导你在几分钟内快速完成幻兽帕鲁服务器的搭建。

109552

基于 Hologres+Flink 的曹操出行实时数仓建设

本文主要介绍曹操出行实时计算负责人林震,基于 Hologres+Flink 的曹操出行实时数仓建设的解决方案分享。

2024-05-15
65062

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

65,062
2024-05-15
100678

一文搞懂需求流程规范的制定方法和落地技巧

随着业务和产品的发展、团队的不断扩大,很多团队都不可避免的会遇到需求流程混乱的问题。虽然有的团队也编写了一些“需求流程规范”的文档,但最终却流于纸面,难以在团队真正落地。如何科学制定并有效落实需求管理规范呢?对此,云效产品经理陈逊进行了非常详细的直播分享,本文是他经验的文字总结。

100,678
2023-12-01
560

MaxCompute 重装上阵,Global Zorder

MaxCompute支持Global Zorder,使得整个表或者分区的数据在全局上能按照指定字段进行ZORDER排序,以便数据能有更好的聚集性。

560
1
2
3
4
...
7
到第
1
2
3
4
5
6
7
3/7