OSS如何投递到CSV存储?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

OSS如何投递到CSV存储?

2017-10-23 10:44:28 2201 0

本文介绍日志服务投递OSS使用CSV存储的相关细节,其它内容请参考 投递日志到 OSS


CSV存储字段配置



配置页面


可以在日志服务数据预览或索引查询页面查看一条日志的多个Key-Value,将你需要投递到OSS的字段名(Key)有序填入。
如您配置的Key名称在日志中找不到,CSV行中这里一列值将设置为空值字符串(null)。


配置项

配置项取值备注
分隔符 delimiter字符长度为1的字符串,用于分割不同字段
转义符 quote字符长度为1的字符串,字段内出现分隔符(delimiter)或换行符等情况时,需要用quote前后包裹这个字段,避免读数据时造成字段错误切分
跳出符 escape字符长度为1的字符串,默认设置与quote相同,暂不支持修改。字段内部出现quote(当成正常字符而不是转义符)时需要在quote前面加上escape做转义
无效字段内容 null字符串当指定Key值不存在时,字段填写该字符串表示该字段无值
投递字段名称 header布尔是否在csv文件的首行加上字段名的描述

细节请参考 CSV标准postgresql CSV说明

可配置的保留字段


在投递OSS过程中,除了使用日志本身的Key-Value外,日志服务保留同时提供以下几个保留字段可供选择:
保留字段语义
__time__日志的 Unix 时间戳(是从 1970 年 1 月 1 日开始所经过的秒数),由用户日志字段的 time 计算得到。
__topic__日志的 topic。
__source__日志来源的客户端 IP。

JSON格式存储会默认带上以上字段内容。
CSV存储可以根据您的需求自行选择。例如您需要日志的topic,那么可以填写字段名:__topic__。

OSS存储地址

压缩类型文件后缀OSS文件地址举例
无压缩.csvoss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.csv
snappy.snappy.csvoss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.snappy.csv


数据消费



HybridDB


建议配置如下:
  • 分隔符 delimiter:逗号(,)
  • 转义符 quote:双引号(“)
  • 无效字段内容 null:不填写(空)
  • 投递字段名称 header:不勾选(HybirdDB默认csv文件行首无字段说明)

更多细节请参考 HybidDB相关使用说明

其它


CSV是可读格式,可以直接从OSS下载以文本形式打开查看。
如果使用了snappy压缩,可以参考 OSS投递JSON存储的snappy解压缩说明。
取消 提交回答
全部回答(0)
相关问答

18

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 1039820浏览量 回答数 18

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 157701浏览量 回答数 145

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 337016浏览量 回答数 8

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 295558浏览量 回答数 110

42

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 136998浏览量 回答数 42

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 259842浏览量 回答数 38

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 151465浏览量 回答数 82

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 305640浏览量 回答数 249

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 475695浏览量 回答数 24

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204393浏览量 回答数 2
+关注
2351
文章
701
问答
问答排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载