暂无个人介绍
背景在存储和搜索等场景中,往往需要存储数据的整数列或倒排索引(Inverted Index)中的DocId等整数信息,使用数据压缩和编码的方法能够大大降低数据的大小,加快IO占用时间,降低数据的存储场景。本文主要围绕着对整形数据进行编码的场景进行讨论,对应的常见编码和压缩方式有Fixed length,RLE(Run-Length Encoding),Bit Packing,Delta,zigza
数据湖的优势是能够在低存储成本下很好满足长期存储、查询、分析、读取,并在此基础上做数据发现,BI,ML等。本文实践如何通过SLS快速完成日志数据入湖。
日志数据入湖中的场景多样,有做日志数据归档以低成本留存,有导出数据做BI或者报表,有的是用计算引擎进行计算分析。日志服务(SLS)集成了数据入湖投递到OSS中的功能,根据SLS现有能力如何选择不同的存储格式来降本增效
SLS 在2017年推出了开箱即用,按量付费的投递 OSS 功能,面对新的需求场景下,SLS投递 OSS 功能进行了全新升级,本文会介绍日志数据投递 OSS 新版特性,并以一个案例实践做展开。介绍下SLS的日志数据入湖方案和实践。