数据加工 - 跨Region传输功能介绍

本文涉及的产品
CDN,50GB 1年
日志服务 SLS,月写入数据量 50GB 1个月
边缘安全加速 ESA,基础版 1个月
简介: 本文介绍 数据加工 近期新推出的跨Region传输的功能,帮助大家快速了解该功能

数据加工

数据加工是SLS(日志服务)推出的一项功能,面向日志实时行处理,目前提供了200+的DSL算子 链接
图片.png
今天给大家介绍的功能是数据加工-跨Region传输的功能

使用场景

当我们的业务分布在不同的Region,日志会分布在不同的Region,当需要对不同Region的日志进行集中管理就会遇到一定的麻烦。那么通过SLS数据加工-跨Region传输的功能,可以很好地解决这样的问题。
图片.png

跨Region传输使用方法

Step1. 打开logstore的数据加工

图片.png

Step2. 编写DSL(如果是复制的话,DSL语句为空),编写完后,点击 预览数据进入下一步

图片.png

Step3. 保存数据加工
图片.png

Step4. 填写Output 表单, 填写目标Region

图片.png

Step 5. 点击“确定” 按钮完成数据加工任务配置

Step 6. 检查对端logstore能否收到数据

图片.png

FAQ

如何收费?

1.按照传输的压缩流量计费。比如10MB的数据,如果按照1:10的压缩比,那么会产生1MB的传输流量(按这个计费) 。具体计费参考 链接

如何提高传输压缩率?

1.对于webtracking的场景,建议对__topic__、__tag__: 、__source__进行处理,减少传输发送次数,提升压缩率, 原因是发送日志数据的时候,组织的单位是一个Loggroup,如果有多种__source__、__topic__、__tag__:组合的话,会产生多个LogGroup从而降低压缩率
图片.png

网络不稳定怎么办?

1.跨Region传输依赖公网网络环境,如果是跨境传输的话,网络稳定性不一定保证,加工作业会自动做重试
2.如果想提升传输的网络质量,可以启用DCDN加速方案

图片.png

DCDN启用帮助文档:https://help.aliyun.com/document_detail/86819.html
DCDN配置完成后,在创建加工任务里可以勾选“DCDN”,即可使用DCDN网络进行加速

图片.png

目录
相关文章
|
缓存 Linux 测试技术
安装【银河麒麟V10】linux系统--并挂载镜像
安装【银河麒麟V10】linux系统--并挂载镜像
4763 0
|
8月前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
329 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
10月前
|
弹性计算 监控 负载均衡
slb部署使用路径规则进行更细粒度控制
slb部署使用路径规则进行更细粒度控制
108 7
|
存储 安全 算法
从0入门FreeRTOS之第二节FreeRTOS的体系结构
FreeRTOS的体系结构设计精巧且高效,专为嵌入式系统量身打造。理解FreeRTOS的体系结构对开发高效、稳定的嵌入式应用至关重要。下面,我们详细介绍FreeRTOS的核心组件、内核机制、中断管理和内存管理等内容。
474 0
|
消息中间件 存储 Kafka
【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
300 1
|
算法 关系型数据库 数据库
德哥的PostgreSQL私房菜 - 史上最屌PG资料合集
看完并理解这些文章,相信你会和我一样爱上PostgreSQL,并成为PostgreSQL的布道者。 沉稳的外表无法掩饰PG炙热的内心 。 扩展阅读,用心感受PostgreSQL 内核扩展 《找对业务G点, 体验酸爽 - PostgreSQL内核扩展指南》https://yq.
58355 128
|
存储 虚拟化 数据安全/隐私保护
云计算|OpenStack|使用VMware安装华为云的R006版CNA和VRM---初始安装(一)
云计算|OpenStack|使用VMware安装华为云的R006版CNA和VRM---初始安装(一)
1031 0
|
XML 存储 JSON
C# 对象存储 (轻松实现序列化 | Xml | Json | 加密 | 压缩 | 注册表 | Redis)
开发时经常会遇到需要保存配置的情况,最常见的实现方式是将对象序列化成Json,再写入文件并保存到本地磁盘。 本文将使用开源库**ApeFree.DataStore**来替换原有的对象存储过程,实现一个可以随意切换存储方式的对象存储方法。 ApeFree.DataStore是一款可配置的对象存储库,支持在不同平台/介质中对内存中的对象进行存储与还原(如本地存储、注册表存储)。支持配置序列化格式(如Json、Xml),支持配置压缩算法(如GZip、Defalte),支持配置加密算法(如AES、RSA)。
292 0
C# 对象存储 (轻松实现序列化 | Xml | Json | 加密 | 压缩 | 注册表 | Redis)
|
缓存 负载均衡 安全
CDN是什么产品,CDN防护效果怎么样,如何选择CDN
CDN是什么产品,CDN防护效果怎么样,如何选择CDN
|
前端开发 应用服务中间件 数据安全/隐私保护
【黑马头条训练营】day01-黑马头条整体构成与App登录
【黑马头条训练营】day01-黑马头条整体构成与App登录
313 0