业务流程多节点依赖调度配置实践
在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。
日志数据如何同步到MaxCompute
日常工作中,企业需要将通过ECS、容器、移动端、开源软件、网站服务、JS等接入的实时日志数据进行应用开发。包括对日志实时查询与分析、采集与消费、数据清洗与流计算、数据仓库对接等场景。本次分享主要介绍日志数据如何同步到MaxCompute。
【最佳实践】实时计算 Flink 版在金融行业的实时数仓建设实践
金融是现代经济的核心。我国金融业在市场化改革和对外开放中不断发展,金融总量大幅增长。金融稳定直接关系到国家经济发展的前途和命运,金融业是国民经济发展的晴雨表。对我国金融业发展现状进行客观分析,对金融业发展趋势进行探索,有助于消除金融隐患,使金融业朝着健康、有序方向发展。
【MaxCompute 常见问题】 工具及下载
MaxCompute 提供了三种数据上传下载的通道:
DataHub 实时数据通道:包含的工具有 OGG 插件、Flume 插件、LogStash 插件和 Fluentd 插件。
Tunnel 批量数据通道:包含的工具有 MaxCompute 客户端、DataWorks、DTS、Sqoop、Kettle 插件以及 MMA 迁移工具。
Streaming Tunnel 流式数据写入通道:支持实时计算 Flink、数据通道 DataHub、数据传输服务DTS、实时数据同步、Kafka 消息系统。