开发者学堂课程【《实时计算 Flink 版产品入门与实操》:如何将实时计算 Flink 版与自身环境打通】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/334/detail/3741
如何将实时计算 Flink 版与自身环境打通
内容简介:
一、jar 存储与使用
二、典型数据源
三、Metrics
四、Logs
一、jar 存储 -OSS
VVP 支持两种方式将 jar 存储在 O SS 上
方法一∶使用 VVP 资源上传功能(100 M 以内)
方法二∶OSS 控制台上传
Jar 使用 -oss
VVP 支持两种方式使用 oss 上的 jar
方法一∶Deployment 配置面板中,直接选择
方法二∶Deployment 配置面板中,使用 OSS 提供的 jar 链接
PS∶使用方法二需要保证 VVP 与 jar 链接的网络连通性。
VVP 打通公网参考∶
httos/help.aliyun.com/document detail/174840html
下面是实操界面:
解决方案
通过在 VPC 中 创建 NAT 网关,并创建 SNAT 条目,将 Flink 全托管集群所在的交换机绑定至弹性公网 I P(EIP),即可通过 EIP 公网。
具体配置方法请参见∶
>创建 NAT 网关。
>创建 SNAT 条目。
>绑定 EIP。
二、数据源-典型 connectors 使用
数据源-典型 connectors 使用
Sls | Kafka |Datahub
以 SQL 为例,分别以 SLS、Kafka、Datahub 作为数据源读写数据
·随机生成数据,写入 SLS 中
·从 SLS 读入数据,写入 Kafka 中
·从 Kafka 读入数据,写入 Datahub 中
三、Metrics
1.全托管 VVP 默认将 metrics 打入 arms
2.通过配置将 metrics 打入 prometheus
>保证 flink 作业与 pushgateway 之间的网络连通性
创建作业时,flink conf 配置 metricS.reporters
创建作业->显示高级配置->其他配置->配置
->填写 metric reporter 配置
vvp 打通公网参考∶
https∶//help.aliyun.com/documentdetail/
174840.html
metrics reporters 配置参考∶
https//ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/metrics.html。
四、Logs 写入 oss/sls
1.将日志写入到 SLS 中
·点击创建作业·
· 点击高级配置
· 找到日志配置
· Logging Profile 选择为 Custom Template
· 写入 SLS log 配置
2.将日志写入到 OSS 中
点击创建作业
· 点击高级配置
· 找到日志配置
· Logging Profile 选择为 Custom Template
· 写入 OSS log 配置
配置参考文档∶
https∶/help.aliyun.com/document detail/173646.html