数据加工 - 跨Region传输功能介绍

本文涉及的产品
全站加速 DCDN,50GB 1年
日志服务 SLS,月写入数据量 50GB 1个月
边缘安全加速 ESA,基础版 3个月
简介: 本文介绍 数据加工 近期新推出的跨Region传输的功能,帮助大家快速了解该功能

数据加工

数据加工是SLS(日志服务)推出的一项功能,面向日志实时行处理,目前提供了200+的DSL算子 链接
图片.png
今天给大家介绍的功能是数据加工-跨Region传输的功能

使用场景

当我们的业务分布在不同的Region,日志会分布在不同的Region,当需要对不同Region的日志进行集中管理就会遇到一定的麻烦。那么通过SLS数据加工-跨Region传输的功能,可以很好地解决这样的问题。
图片.png

跨Region传输使用方法

Step1. 打开logstore的数据加工

图片.png

Step2. 编写DSL(如果是复制的话,DSL语句为空),编写完后,点击 预览数据进入下一步

图片.png

Step3. 保存数据加工
图片.png

Step4. 填写Output 表单, 填写目标Region

图片.png

Step 5. 点击“确定” 按钮完成数据加工任务配置

Step 6. 检查对端logstore能否收到数据

图片.png

FAQ

如何收费?

1.按照传输的压缩流量计费。比如10MB的数据,如果按照1:10的压缩比,那么会产生1MB的传输流量(按这个计费) 。具体计费参考 链接

如何提高传输压缩率?

1.对于webtracking的场景,建议对__topic__、__tag__: 、__source__进行处理,减少传输发送次数,提升压缩率, 原因是发送日志数据的时候,组织的单位是一个Loggroup,如果有多种__source__、__topic__、__tag__:组合的话,会产生多个LogGroup从而降低压缩率
图片.png

网络不稳定怎么办?

1.跨Region传输依赖公网网络环境,如果是跨境传输的话,网络稳定性不一定保证,加工作业会自动做重试
2.如果想提升传输的网络质量,可以启用DCDN加速方案

图片.png

DCDN启用帮助文档:https://help.aliyun.com/document_detail/86819.html
DCDN配置完成后,在创建加工任务里可以勾选“DCDN”,即可使用DCDN网络进行加速

图片.png

目录
相关文章
|
3月前
|
消息中间件 JavaScript Kafka
跨服务的数据
【10月更文挑战第29天】
32 2
|
canal 存储 算法
跨系统实时同步数据解决方案
数据量太大,单存储节点存不下,就只能把数据分片存储。
1238 0
|
8月前
|
运维 数据处理 调度
不想跨集群传输数据?Dataphin自定义集群帮你搞定!
Dataphin V3.13版本新增自定义注册调度集群功能。通过自定义注册不同集群并指定关联租户,可实现资源隔离管控;通过指定集成任务运行使用的资源组,可减少跨集群数据传输场景,降低流量带宽消耗,提高同步效率。
116 0
|
SQL 存储 DataWorks
SQLTask配合Tunnel可以实现海量数据导出
SQLTask配合Tunnel可以实现海量数据导出
119 0
|
8月前
|
存储 弹性计算 监控
日志服务SLS最佳实践:通过SLS数据加工从VPC flowlog中过滤出跨region CEN流量
本文就通过一个客户的实际案例开介绍如何使用在无法直接开启CEN flowlog的情况下,使用SLS的数据加工能力,从VPC flowlog的数据中过滤出客户需要的流量日志出来。
167 0
日志服务SLS最佳实践:通过SLS数据加工从VPC flowlog中过滤出跨region CEN流量
|
消息中间件 JSON 物联网
实时即未来,车联网项目之原始终端数据实时ETL【二】
实时即未来,车联网项目之原始终端数据实时ETL【二】
239 0
实时即未来,车联网项目之原始终端数据实时ETL【二】
|
存储 JSON 运维
多模式日志数据流的实时加工与集散
日志处理是一个极其繁琐的过程,究其原因是日志的边界情况特别多,而且可能随时在变。阿里云 SLS 数据加工服务是专门针对日志规整、富化、集散等处理场景。本文主要介绍在多模式混杂的日志集散场景下,如何快速使用 SLS 数据加工服务完成需求。
381 0
多模式日志数据流的实时加工与集散
|
存储 JSON 监控
OSS使用函数计算实现数据实时同步方案
OSS作为存储文件的服务是用户储存业务的首选,本文介绍了使用函数计算服务实现不同bucket之间的自动实时同步方案
1647 0
OSS使用函数计算实现数据实时同步方案
|
SQL 分布式计算 监控
SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值
为了降低存储成本,不少客户会选择SLS数据搭配OSS进行冷热分离,把全量数据投递到OSS,近实时数据查询使用SLS。但是这些投递到OSS的数据难以分析,目前基于DLA的元信息发现功能一键激活日志数据的分析价值,然后搭配DLA的Serverless Presto和Spark进行数据处理和分析。
SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值
|
物联网 API 存储
IoT存量设备跨账号迁移,动态切换region节点,公共区到企业实例迁移方案
基于开放API实现IoT存量设备跨账号迁移设备,动态切换region节点,企业实例迁移
5134 0
IoT存量设备跨账号迁移,动态切换region节点,公共区到企业实例迁移方案