2024-05-15
119

跨节点参数的缘起与今生

Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

119
2024-05-15
383

云效流水线+ECS服务器,自动化部署Web页面

本文主要介绍如何通过使用ECS服务器与npm,结合云效的流水线服务以仓库代码提交为触发方式,进行了基于Vue的Web网页部署。

2024-05-15
1228

基于Serverless架构的验证码识别功能

人工智能领域中的验证码识别与 Serverless 架构碰撞会有哪些火花呢?本文将会通过 Serverless 架构,通过卷积神经网络(CNN)算法,实现一个验证码识别功能。

2024-05-15
328

阿里云千亿规模实时日志分析的架构设计和实践

本文为阿里云SLS 执少 在《DataFunTalk技术交流会:阿里云实时查询分析专场》分享时的议题内容(文字版本)。首先,阿里云日志服务SLS是一个什么样的产品和服务呢? 我们用一句话来概括的话,那就是我们是一个云上的、一站式的、可观测日志服务平台。 首先呢,我们提供了强大的日志数据采集能力,支持...

328
2024-05-15
147

从自建DevOps部署微服务再到云效

以Jenkins+Gitlab基于k8s集群实现自建DevOps系统的方式部署开源微服务PiggyMetrics,与云效DevOps对比,介绍真正的免运维,实现高效的业务开发流程。

2024-05-15
162

一天完成基于Serverless架构的头像漫画风处理小程序

我一直都想要有一个漫画版的头像,奈何手太笨,用了很多软件 “捏不出来”,所以就在想着,是否可以基于 AI 实现这样一个功能,并部署到 Serverless 架构上让更多人来尝试使用呢。

2024-05-15
98

湖仓一体架构EMR元数据迁移DLF

通过EMR+DLF数据湖方案,可以为企业提供数据湖内的统一的元数据管理,统一的权限管理,支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。

98
2024-05-15
145

开源Flink迁移至实时计算Flink全托管版最佳实践

Flink全托管产品(Flink Serverless)是一款基于Apache Flink构建的全托管产品,为您提供全托管一站式的实时计算服务,具有免运费、高增值、低成本等特性。本方案介绍如何将自建开源Flink集群的流式任务(包含Datastream、Table/SQL、PyFlink任务)迁移至阿里云实时计算全托管版。

145
2024-05-15
89

函数计算 HTTP 触发器支持异步,解放双手搭建 Web 服务

当前阿里云函数计算支持两种类型的函数:事件函数和 HTTP 函数。其中 HTTP 函数结合 HTTP 触发器,能够支持用户直接通过 HTTP 请求利用 Restful API 的方式发起函数调用;通过这种方式,用户无需集成函数计算提供的 SDK 就能实现函数调用,更好地同已有系统的组件及 Web 服...

1
...
7
8
9
10
11
到第
1
2
3
4
5
6
7
8
9
10
11
8/11