挑战
新华智云通过大数据及人工智能为内容生产者提供涉及内容采集、编辑、存储、分发等全新闻链路的专有技术，致力于通过大数据技术驱动媒体变革。数芯是新华智云推出的实时舆情分析平台，旨在满足用户一系列舆情分析需求。信息处理与算法部分是舆情分析的关键，担负着将原始数据加工成信息与知识的重任，数芯的数据处理既需要对抓取的实时数据进行数据流的数据清洗、目标提取、结果聚合，也需要提供算法服务预先训练好模型，供实时计算调用。
解决方案
面对多个数据上游、多个数据下游，数据处理过程复杂，既有清洗、结构化的工作，又有多维度统计工作的挑战，新华智云的数芯平台选择放弃开源 Spark 技术方案，而整体迁移到一站式、高性能实时大数据处理平台阿里云实时计算。
整体系统架构上，数芯对舆情规划、信息获取、信息处理与算法以及最终为用户呈现的服务四个部分进行全面优化。在核心的信息处理中，阿里云实时计算的实时数仓为数芯提供数据的实时清洗、归并、结构化，并将结构化的数据按照维度聚合并联合原始信息存储供下游算法服务使用。依托阿里云实时计算强大的实时数据处理功能，数芯成功串联了整个舆情分析的数据流，满足了用户对舆情实时分析的需求。
业务优势
数芯迁移后的实时计算架构不再需要人力运维，信息处理对接的上下游也实现了免开发的直接注册，阿里云实时 计算实时处理归档后的数据能够进一步分析发现系统问题、新事件与新模型，整体上提升了系统效果;从开发而 言，实时计算强大的 Flink SQL 提供 SQL 语义的流式数据分析能力，不需要写复杂代码，使用通用 SQL 即可，帮 助数芯大幅降低流数据分析的门槛，轻松实现业务的实时数据处理与数据的全链路流动。
客户评价
数芯的 ETL 作业是实时计算的典型场景之一，阿里云实时计算在整个业务系统的运转中既承接数据清洗、目标提 取与结构化整合的重任，又与上下游算法服务一脉相承。以阿里云实时计算为基础构建的实时计算架构使业务部 门的使用体验非常愉快，具体表现在:
- 实时计算帮助我们摆脱了人力运维并且能够高度保障数据安全。
- 实时计算强大的 Flink SQL 可以对接上下游，直接注册，不需要写复杂代码，使用通用 SQL 即可，数据分析 的门槛低。
- 在数据流处理上我们用实时计算串起整个数据流，ETL 用 UDX，统计用 SQL，十分方便。
阿里云实时计算Flink - 解决方案：
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例：
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页：
https://www.aliyun.com/product/bigdata/product/sc
