流式计算 Spark Streaming 如何应treaming 如何应用？

流式计算 Spark Streaming 主要用于实现实时的报表以及实时特征的计算。因为业务的主要要求是必须稳定并且能够实现 7*24 小时的可用。可以接受秒级延迟，比如广告投出去了，晚 10 秒钟展现在报表里也是没问题的。可根据吞吐量横向扩展，比如突然新接了几家 SSP，突然变得流量很大，不能在个时候让系统挂掉。

此外，因为业务在全球都有，所以需要全球的聚合任务，需要通过一个平台看到各个国家的数据。Nox 选择的方案就是：Spark Streaming 能够将上面几项需求全部满足，另外就是配合 Kafka、RDS 以及 Redis 做输出。在部署上面，需要实现小集群独占，这里所用到的就是阿里云 EMR，其可以帮助客户托管集群，Nox 只需要在阿里云EMR 上面申请一个小集群，比如三到五台机器，这些机器申请之后就不再释放掉了，会一直独占着，并且 7*24 小时地跑流式计算任务。

原始日志压缩流式回传，这个是因为 Nox 在各个数据中心都有 Bidder 或者 Pixel 的服务，会产生很多数据，之前的一种方案是在每个中心先将数据计算成半成品，之后在进行回传，这样所用的带宽就会比较小，但是如果采用这样方案，那么所有的功能都需要开发两套，在本地先计算，之后传回来再进行聚合计算，这样就会比较复杂，因此最终决定将日志进行压缩，以流式方式进行回传，这样的方案在验证之后发现所占的带宽不是很大，而因为是流式传输，因此带宽也比较平稳，虽然这里所用的带宽属于高速通道带宽，因此成本也可以接受。而压缩则使用了 Kafka，其是能够支持压缩协议的。此外，中心节点部署能够方便开发。

以上内容摘自《5天入门视觉AI》电子书，点击https://developer.aliyun.com/topic/download?id=31可下载完整版