写回答
-
推荐回答● 数据来源（注：数据采集成功后统一发布到 DataHub 中）
○ 爬虫：实时的去各大网站、微博、微信等内容平台抓取数据。
○ 从其他机构采集数据。
● 数据处理 实时计算订阅 DataHub 然后进行数据处理。数据处理包括两个重要的部分： 实时数据流和算法服务 API。
● 实时数据流 通过实时计算串起整个实时数据流，总体包括对数据进行清洗、提取目标，整 理成结构化的数据，然后按照所需维度对结构化的数据进行聚合。并且要把原始数据、结构化的数据、汇总的结果都发布到下游存储系统中。
○ 数据清洗：对爬虫抓取的数据进行清洗，比如垃圾过滤、文本去重等。这一步通过实时计算提供的 UDX（自定义函数）来调用算法服务 API来完成；
○ 目标提取：从已经完成清洗的数据中抽取出感兴趣的目标，比如抽取实体 （人物、地点、事件等），对内容的情感评分，抽取文章关键词等，这一步的目标是从非结构化的文本中抽取结构化的信息；
○ 结果聚合：对已经结构化的数据按维度聚合，比如某事件的按天计数，某新闻的传播热度等。最终把这些聚合信息联合原始信息分别写到下游存储中去。
● 算法服务 API 预先训练好模型，把垃圾过滤、文本去重、实体提取、情感打分、关键词提取等暴露成 API 服务，供实时计算调用。
● 数据存储与服务 RDS 保存聚合数据，OTS 保存原始新闻，ES 对新闻建立索引，提供搜索服务，这三个数据存储直接为最终产品服务。
以上内容摘自《5天入门视觉AI》电子书，点击https://developer.aliyun.com/topic/download?id=31可下载完整版
2022-08-17 16:36:26赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
