数据加工 - 跨Region传输功能介绍

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
全站加速 DCDN,50GB 1年
边缘安全加速 ESA,基础版 3个月
简介: 本文介绍 数据加工 近期新推出的跨Region传输的功能,帮助大家快速了解该功能

数据加工

数据加工是SLS(日志服务)推出的一项功能,面向日志实时行处理,目前提供了200+的DSL算子 链接
图片.png
今天给大家介绍的功能是数据加工-跨Region传输的功能

使用场景

当我们的业务分布在不同的Region,日志会分布在不同的Region,当需要对不同Region的日志进行集中管理就会遇到一定的麻烦。那么通过SLS数据加工-跨Region传输的功能,可以很好地解决这样的问题。
图片.png

跨Region传输使用方法

Step1. 打开logstore的数据加工

图片.png

Step2. 编写DSL(如果是复制的话,DSL语句为空),编写完后,点击 预览数据进入下一步

图片.png

Step3. 保存数据加工
图片.png

Step4. 填写Output 表单, 填写目标Region

图片.png

Step 5. 点击“确定” 按钮完成数据加工任务配置

Step 6. 检查对端logstore能否收到数据

图片.png

FAQ

如何收费?

1.按照传输的压缩流量计费。比如10MB的数据,如果按照1:10的压缩比,那么会产生1MB的传输流量(按这个计费) 。具体计费参考 链接

如何提高传输压缩率?

1.对于webtracking的场景,建议对__topic__、__tag__: 、__source__进行处理,减少传输发送次数,提升压缩率, 原因是发送日志数据的时候,组织的单位是一个Loggroup,如果有多种__source__、__topic__、__tag__:组合的话,会产生多个LogGroup从而降低压缩率
图片.png

网络不稳定怎么办?

1.跨Region传输依赖公网网络环境,如果是跨境传输的话,网络稳定性不一定保证,加工作业会自动做重试
2.如果想提升传输的网络质量,可以启用DCDN加速方案

图片.png

DCDN启用帮助文档:https://help.aliyun.com/document_detail/86819.html
DCDN配置完成后,在创建加工任务里可以勾选“DCDN”,即可使用DCDN网络进行加速

图片.png

目录
相关文章
|
监控 存储
日志服务数据加工最佳实践: 跨账号多目标logstore数据分发
本篇介绍日志服务数据将: 跨账号多目标logstore数据分发最佳实践, 覆盖如何动态多目标灵活分发.
1236 0
|
4月前
|
消息中间件 JavaScript Kafka
跨服务的数据
【10月更文挑战第29天】
39 2
|
监控
日志服务数据加工最佳实践: 跨账号多源logstore数据汇总
本篇介绍日志服务数据加工: 跨账号多源logstore数据汇总最佳实践
2146 0
|
存储 容灾 NoSQL
表格存储如何实现跨区域的容灾
本文首先会介绍容灾的一些背景和相关场景,以及实现数据库容灾的两个重要能力,即数据同步和切换。然后介绍表格存储如何实现相应的功能,以及我们如何把相应的功能服务化,让用户能够方便而灵活的搭建容灾场景,给业务提供更高级别的可用性保障,或者是通过异地多活优化不同地域的终端用户的延迟。
6813 0
|
Unix Linux Windows
查看可跨系统可传输数据
SQL> select platform_name from v$transportable_platform;PLATFORM_NAME                                                              ...
655 0
|
JSON 数据格式
安全组规则跨region导入导出功能介绍
您可以在控制台clone一个安全组,进而快速创建安全组和添加安全组规则,但这个功能有个限制是无法跨region使用。为此ECS控制台开发了安全组规则导入导出功能,使用这个功能您可以把一个安全组下所有规则导出成json文件,这样就可以方便地在另外一个region的安全组内导入这些规则,进而实现跨region快速设置安全组规则的目的。
5662 0
|
物联网 API 存储
IoT存量设备跨账号迁移,动态切换region节点,公共区到企业实例迁移方案
基于开放API实现IoT存量设备跨账号迁移设备,动态切换region节点,企业实例迁移
5147 0
IoT存量设备跨账号迁移,动态切换region节点,公共区到企业实例迁移方案
|
存储 SQL 运维
PB级日志数据实时加工原理与实践
本文是参加2021 K+全球软件研发行业创新峰会专题分享后的一些总结。同时也学习了其他多个专题分享,总体感觉是整个大会的分享专题覆盖面特别广,专业度都很高。此次专题分享我希望带给听众对于整个日志数据处理场景的现状、常规解决方案,以及带大家深入了解我们团队自研的数据加工服务的技术架构、核心技术难点等。另外就是数据加工的场景实践,以及对未来发展的简述。
607 0
PB级日志数据实时加工原理与实践
|
存储 监控 应用服务中间件
日志服务+函数服务实战: 访问日志地域、运营商实时分析
日志服务的LogHub是流式的数据中心,日志写入后可实时消费。日志服务ETL面向的正是这些流式写入的数据,提供准实时(1分钟级别)的ETL作业。
5894 0
|
9月前
|
存储 弹性计算 监控
日志服务SLS最佳实践:通过SLS数据加工从VPC flowlog中过滤出跨region CEN流量
本文就通过一个客户的实际案例开介绍如何使用在无法直接开启CEN flowlog的情况下,使用SLS的数据加工能力,从VPC flowlog的数据中过滤出客户需要的流量日志出来。
187 0
日志服务SLS最佳实践:通过SLS数据加工从VPC flowlog中过滤出跨region CEN流量

热门文章

最新文章