开发者社区 问答 正文

对于一个大型的商用时序数据压缩算法,需要重点关注什么?

对于一个大型的商用时序数据压缩算法,需要重点关注什么?

展开
收起
Dons 2021-12-14 18:51:59 1091 分享 版权
来自: 阿里机器智能
1 条回答
写回答
取消 提交回答
  • 对于一个大型的商用的时序数据压缩算法,需要重点关注三个重要的特性:

    a) Time correlation:时序数据有很强的时间相关性,然后对应的数据基本上是连续的。采样间隔通常是 1s,100ms 等。

    b) Pattern diversity:如上图,pattern 及特性差距会很大。

    c) Data massiveness:每天、每小时、每秒需要处理的数据量都是海量的,总体处理数据至少是在每天 10P 的 level,对应的压缩算法需要高效且有高吞吐率。

    2021-12-14 18:53:43
    赞同 展开评论
问答分类: