OSS如何投递到CSV存储？
本文介绍日志服务投递OSS使用CSV存储的相关细节，其它内容请参考 投递日志到 OSS。
CSV存储字段配置
配置页面
可以在日志服务数据预览或索引查询页面查看一条日志的多个Key-Value，将你需要投递到OSS的字段名（Key）有序填入。
如您配置的Key名称在日志中找不到，CSV行中这里一列值将设置为空值字符串（null）。
配置项
| 配置项 | 取值 | 备注 |
| 分隔符 delimiter | 字符 | 长度为1的字符串，用于分割不同字段 |
| 转义符 quote | 字符 | 长度为1的字符串，字段内出现分隔符（delimiter）或换行符等情况时，需要用quote前后包裹这个字段，避免读数据时造成字段错误切分 |
| 跳出符 escape | 字符 | 长度为1的字符串，默认设置与quote相同，暂不支持修改。字段内部出现quote（当成正常字符而不是转义符）时需要在quote前面加上escape做转义 |
| 无效字段内容 null | 字符串 | 当指定Key值不存在时，字段填写该字符串表示该字段无值 |
| 投递字段名称 header | 布尔 | 是否在csv文件的首行加上字段名的描述 |
细节请参考 CSV标准、 postgresql CSV说明。
可配置的保留字段
在投递OSS过程中，除了使用日志本身的Key-Value外，日志服务保留同时提供以下几个保留字段可供选择：
| 保留字段 | 语义 |
| __time__ | 日志的 Unix 时间戳（是从 1970 年 1 月 1 日开始所经过的秒数），由用户日志字段的 time 计算得到。 |
| __topic__ | 日志的 topic。 |
| __source__ | 日志来源的客户端 IP。 |
JSON格式存储会默认带上以上字段内容。
CSV存储可以根据您的需求自行选择。例如您需要日志的topic，那么可以填写字段名：__topic__。
OSS存储地址
| 压缩类型 | 文件后缀 | OSS文件地址举例 |
| 无压缩 | .csv | oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.csv |
| snappy | .snappy.csv | oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.snappy.csv |
数据消费
HybridDB
建议配置如下：
- 分隔符 delimiter：逗号(,)
- 转义符 quote：双引号(“)
- 无效字段内容 null：不填写（空）
- 投递字段名称 header：不勾选（HybirdDB默认csv文件行首无字段说明）
更多细节请参考 HybidDB相关使用说明。
其它
CSV是可读格式，可以直接从OSS下载以文本形式打开查看。
如果使用了snappy压缩，可以参考 OSS投递JSON存储的snappy解压缩说明。
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
阿里云 AI 助理回答
在配置日志服务将数据投递到OSS并采用CSV存储格式时，您需要关注以下几个关键配置点和操作步骤：
CSV存储字段配置
-
分隔符 (delimiter): 选择一个单字符作为字段间的分隔符，默认为逗号(,)。确保所选分隔符不会在字段内容中出现，以避免解析错误。
-
转义符 (quote): 使用特定字符（默认为双引号(")）包裹含有特殊字符（如分隔符或换行符）的字段值，保证数据的正确读取。
-
无效字段内容 (null): 当配置的Key在日志中未找到时，该字段将填充为此指定的字符串，默认为空值字符串(null)。
-
投递字段名称 (header): 可选择是否在CSV文件的第一行添加列名，以便于理解各列数据含义。
-
保留字段: 日志服务自动提供__time__, topic, 和 source 等字段，可根据需求选择性加入CSV输出中。
配置项说明
- 转义跳出符 (escape): 默认与转义符相同，当前不支持修改，用于在字段内部需表示转义符本身时进行前置转义。
OSS存储地址与压缩类型
- 存储路径示例: 格式化的OSS路径展示了如何根据时间、日志主题等组织文件，支持无压缩（.csv）或Snappy压缩（.snappy.csv）。
数据消费建议
- HybridDB配置: 推荐使用逗号作为分隔符，双引号作为转义符，且CSV文件首行不包含字段名称。
其他注意事项
- 可读性与解压缩: CSV格式便于直接查看，若采用Snappy压缩，需参照相关解压缩指南处理下载的数据。
综上所述，配置日志服务至OSS的CSV存储时，应细致规划分隔符、转义规则及输出头部信息，同时考虑是否利用预设的保留字段以及数据压缩方式，以满足后续数据分析或处理的具体需求。
有帮助
无帮助
AI 助理回答生成答案可能存在不准确，仅供参考
相关问答