备案控制台
探索云世界
开发者社区 大数据 文章 正文

SLS离线归档ODPS功能上线公测

2014-06-27 2627
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

各位开发者，向大家介绍SLS一个新功能：离线归档日志到ODPS。在开通SLS服务后，可以选择将收集的日志数据定时同步到ODPS表，以便用户利用ODPS做离线分析。

 

用户在SLS管理控制台对指定日志类型（Category）选择“离线归档到ODPS”选项后，SLS后台会定期将日志数据写入ODPS表（在公测期间日志数据会承诺在六小时内完成写入）。用户在选定ODPS中名字为sls_log_archive的Project后，读取以SLS中Project+Category名字组成的ODPS表来获得日志数据，默认情况下数据会被保存三天，并且只对本用户拥有读权限。

 

目前该功能仅支持ECS位于杭州Region的Linux云服务器。SLS青岛Region即将推出，敬请期待！

文章标签：
云原生大数据计算服务 MaxCompute
日志服务
分布式计算
MaxCompute
弹性计算
Linux
开发者
关键词：
日志服务功能
大数据开发治理平台 DataWorks离线
日志服务odps
云原生大数据计算服务 MaxCompute离线
日志服务归档
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景，如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
阿里云柳璃
目录
相关文章
三分钟热度的鱼
|
1月前
|
DataWorks 监控 关系型数据库
DataWorks报错问题之离线同步任务打开关闭后一直报警如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
三分钟热度的鱼
19 0
建模sister
|
1月前
|
存储 JSON 大数据
大数据离线数仓---金融审批数仓
大数据离线数仓---金融审批数仓
建模sister
127 1
jcLee95
|
3月前
|
存储 运维 应用服务中间件
[运维日志] Web 服务器日志依日期归档（Powershell 实现，附源代码）
[运维日志] Web 服务器日志依日期归档（Powershell 实现，附源代码）
jcLee95
74 0
陈明勇
|
3月前
|
存储 Go
Go 浅析主流日志库：从设计层学习如何集成日志轮转与切割功能
本文将探讨几个热门的 go 日志库如 logrus、zap 和官网的 slog，我将分析这些库的的关键设计元素，探讨它们是如何支持日志轮转与切割功能的配置。
陈明勇
102 0
Go 浅析主流日志库：从设计层学习如何集成日志轮转与切割功能
vohelon
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks提供的数据同步类型不仅包括整库离线同步
【2月更文挑战第31天】DataWorks提供的数据同步类型不仅包括整库离线同步
vohelon
21 8
三分钟热度的鱼
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks报错问题之DataWorks离线同步任务报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
三分钟热度的鱼
20 0
唐家四少官微
|
3月前
|
数据挖掘
离线大数据分析的应用
离线大数据分析的应用
唐家四少官微
58 0
vohelon
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks不仅提供单表离线模式，还支持多种数据同步任务类型。
【2月更文挑战第31天】DataWorks不仅提供单表离线模式，还支持多种数据同步任务类型。这些类型包括整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）以及一键实时同步（一次性全量同步，实时增量同步）。此外，DataWorks还提供了数据类型转换的功能，您可以选择在源端和目标端使用相同的数据类型以避免数据类型转换，或者在源端和目标端使用不同的数据类型，然后在同步时手动转换数据类型。
vohelon
24 6
cuicuicuic
|
1月前
|
DataWorks NoSQL MongoDB
DataWorks常见问题之如何集成离线数据
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
cuicuicuic
47 1
cuicuicuic
|
1月前
|
DataWorks 关系型数据库 数据处理
DataWorks常见问题之多个数据离线同步任务卡在运行状态10个多小时如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
cuicuicuic
32 0

热门文章

最新文章

  • 1
    更优性能与性价比，从自建 ELK 迁移到 SLS 开始
  • 2
    MySQL数据库，可以使用二进制日志（binary log）进行时间点恢复
  • 3
    Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
  • 4
    使用Java代码打印log日志
  • 5
    【深入探究 C++ 日志库清理策略】glog、log4cplus 和 spdlog 的日志文件管理策略
  • 6
    /var/log/auth.log日志详解
  • 7
    R语言计量经济学：工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
  • 8
    Linux&Windows 日志分析 陇剑杯 CTF
  • 9
    提升日志管理效率：掌握CKA认证中的边车容器技巧
  • 10
    Nginx+Promtail+Loki+Grafana Nginx日志展示
  • 1
    数据仓库(13)大数据数仓经典最值得阅读书籍推荐
    215
  • 2
    大数据计算MaxCompute等长时间没有查出来结果的原因可能有以下几点：
    19
  • 3
    DataWorks常见问题之dataworks100g大小的csv文件上传到odps失败如何解决
    45
  • 4
    DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
    25
  • 5
    漫谈大数据时代的个人信息安全（四）——“位所欲为”
    12
  • 6
    漫谈大数据时代的个人信息安全（三）——“点赞之交”
    23
  • 7
    漫谈大数据时代的个人信息安全（二）——“逢脸造戏”
    22
  • 8
    漫谈大数据时代的个人信息安全（一）——“按图索骥”
    18
  • 9
    DataWorks报错问题之DataWorks报错odps-0433121: User is not added in the list - Only users in the operator account white list have permission to do that如何解决
    20
  • 10
    DataWorks常见问题之dataworks弹外申请odps相关权限失败如何解决
    31

    • 相关课程

    更多
  • 2020版大数据实战项目之DMP广告系统（第二阶段）
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
  • 2020版大数据实战项目之DMP广告系统（第四阶段）
  • 2020版大数据实战项目之DMP广告系统（第五阶段）
  • 2020版大数据实战项目之DMP广告系统（第六阶段）
  • 2020版大数据实战项目之DMP广告系统（第七阶段）

    • 相关电子书

    更多
  • 大数据AI一体化的解读
  • 极氪大数据 Serverless 应用实践
  • 大数据&AI实战派 第2期

    • 相关实验场景

    更多
  • 基于Hologres轻松玩转一站式实时仓库
  • 通过日志服务实现云资源OSS的安全审计
  • 如何将OSS数据导入至SLS中进行分析
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
  • 基于MaxCompute的热门话题分析
  • 数据上云实验：基于星轨工具的dataphin批量数据上云
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）