开发者学堂课程【阿里云流计算使用教程:阿里云流计算新手任务一】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/432/detail/5383
阿里云流计算新手任务一
内容介绍:
一、热词统计
二、最佳实践
一、热词统计
1热词榜统计
热词统计分析实际上就是一个简单的 Word Count 任务,而流式实时热词统计分析将 Word Count 处理逻辑整体转换为流式实时处理,可以做到实时对热词进行统计分析,并可以实时展现。
需要创建源表、创建结果表、计算逻辑。
2.DEMO 演示
(1)阿里云流计算开发首页总共分为总览、开发和运维三大模块。总览还分为作业情况、运行 CU、运行监控等
(2)进入开发页面
上部是整个页面的菜单栏,包括新建、保存、另存为等等
左侧为开发作业、数据存储、资源引用。
开发和运维是两个完全独立的空间,开发中的测试数据是不会提交到运维中去,完全隔离开来。
①创建源表,将实时数据写入
②创建结果表,展示计算分析后的结果
③计算逻辑,计算统计热词出现数量
当代码写完之后就可以进行测试数据的调试。
点击调试,可以看到一些测试的数据,点击调试,即可得出结果。
阿里云流计算会将整个运算过程全部打印出来,到后期下游存储时,会有一些设置,最后保存在数据库中的数据,就会与现在结果不同。
二、最佳实践
全量为主,流式为辅:流式计算仅为核心实时指标提供计算,不需全部流式化
业务短平快:直面业务,快速解决问题。如无必要,不加实体(分层)。
规划时间窗口:以天/小时/分钟记录汇总信息,切勿窗口过长。