问题一：如何自定义web-ui上对taskmanager的标识符？
如题，目前有几个地方的需求。
（1）taskmanagers页面的path、id是啥参数，是否仅展示，可随意自定义。
（2）任务点到task后展开的右侧页面中。taskmanagers子tab中的host、以及subtasks子tab中的host是否可以自定义。每次希望看比如subtask-n这个是哪台机器，默认看到host不足以定位机器（我们是容器，因为无法根据host直接登陆），单个host上可能虚拟出多个容器；如果这个host不作为绑定地址，仅作为展示的话是否有地方可以配置。*来自志愿者整理的flink邮件归档
参考回答：
感觉可以在subtask和taskmanager的2个tab中新加上显示 id
的功能。如何taskmanager支持自定义自己的id（一个用户自定义的随意不重复的id）
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/359512?spm=a2c6h.13262185.0.0.133c39c0Clkic3
问题二：Flink Job 如何集成到自己的系统，方便管理
我们现在提交Flink Job 是通过flink客户端run命令提交job，进行实时任务的计算，每次提交都要登录prd机器，上传jar包，过程比较麻烦。
后期规划把实时计算的任务集成到我们已有的一个系统中，把上面描述的过程封装起来，给用户提供一些按钮、菜单等，理想状态下，在这个系统增加一些模块、菜单之类的东西，就能完成对Job的维护，包括提交Job、查看正在运行的Job、停止Job等等
上面所说的这个系统是我们自研的一个数据处理平台，实时计算任务也是其中的一环，因此就想把实时计算的任务的模块也集成到其中去。
不知道这有没有可能实现
请大佬提供些许思路！感谢*来自志愿者整理的flink邮件归档
参考回答：
有的，通过 FLINK 和 YARN 或 k8s 的接口进行编程，管理元数据，管理用户文件，支持提交作业及之后管理作业状态，这是许多公司应用
Flink 的实现方式。
你说的前端的东西是对接口返回值的友好展示，Flink 本身有一个 Web 前端，可以支持你要的大部分功能，但是多任务可能会有一些缺陷，尤其你不是使用
session 模式的情况下。
向下整合 Flink 能力以及实际部署的集群信息，向上提供人性化的交互页面，按照传统的 Web App 开发思路就可以的。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/359515?spm=a2c6h.13262185.0.0.133c39c0Clkic3
问题三：flink sql 这种实时计算结果如何与离线计算的结果做数据比对？
有没有大佬有思路可以参考下？*来自志愿者整理的flink邮件归档
参考回答：
你好，
实时和离线对数的问题确实也比较难，没有很完美的解决方案。
一般可以考虑把实时产出结果也落离线表，然后对两张离线表做对比，离线 Join 上然后跑具体对比逻辑即可。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/359516?spm=a2c6h.13262185.0.0.133c39c0Clkic3
问题四：flink Application Native k8s使用oss作为backend日志偶尔报错怎么办？
环境：Native Kubernetes 模式：Application Mode 描述： Flink以Native Kubernetes Application模式运行在k8s时，使用filesystem OSS作为backend发现日志请求OSS报错。 当代码使用`source.setStartFromEarliest();`，启动job之后从头开始消费，运行过程正常，运行到最新点位后会出现以下报错，过一段时间或者重启job之后报错消失。 当代码使用`source.setStartFromLatest();`，启动job之后直接从最新点位开始消费，则不会出现此报错。 据观察请问是我哪里配置或者使用有问题么？ 命令： ./bin/flink run-application \ --target kubernetes-application \ -Dkubernetes.cluster-id=demo \ -Dkubernetes.container.image=xx/xx/xx:2.0.16 \ -Dstate.backend=filesystem \ -Dstate.checkpoints.dir=oss://bucket/文件夹 \ -Dfs.oss.endpoint=oss-cn-beijing-internal.aliyuncs.com<http://oss-cn-beijing-internal.aliyuncs.com> \ -Dfs.oss.accessKeyId=xx \ -Dfs.oss.accessKeySecret=xx \ local:///opt/flink/usrlib/my-flink-job.jar 报错日志： 2021-03-03 02:53:46,133 INFO org.apache.flink.streaming.connectors.pulsar.internal.PulsarMetadataReader [] - Committing offset 12701:1:-1:4 to topic TopicRange{topic=persistent://public/xx/xxxx, key-range=SerializableRange{range=[0, 65535]}} 2021/3/3 上午10:53:46 2021-03-03 02:53:46,140 INFO org.apache.flink.streaming.connectors.pulsar.internal.PulsarMetadataReader [] - Successfully committed offset 12701:1:-1:4 to topic TopicRange{topic=persistent://public/xx/xxxx, key-range=SerializableRange{range=[0, 65535]}} 2021/3/3 上午10:53:50 2021-03-03 02:53:50,899 INFO org.apache.flink.fs.osshadoop.shaded.com.aliyun.oss [] - [Server]Unable to execute HTTP request: Not Found 2021/3/3 上午10:53:50 [ErrorCode]: NoSuchKey 2021/3/3 上午10:53:50 [RequestId]: xx 2021/3/3 上午10:53:50 [HostId]: null 2021/3/3 上午10:53:50 2021-03-03 02:53:50,904 INFO org.apache.flink.fs.osshadoop.shaded.com.aliyun.oss [] - [Server]Unable to execute HTTP request: Not Found 2021/3/3 上午10:53:50 [ErrorCode]: NoSuchKey 2021/3/3 上午10:53:50 [RequestId]: xx 2021/3/3 上午10:53:50 [HostId]: null kill进程pod重启或过一段时间后taskManager正常日志： 2021-03-03 03:18:21,602 INFO org.apache.flink.streaming.connectors.pulsar.internal.PulsarMetadataReader [] - Successfully committed offset 12716:7:-1:1 to topic TopicRange{topic=persistent://public/xx/xxxx, key-range=SerializableRange{range=[0, 65535]}} 2021/3/3 上午11:18:26 2021-03-03 03:18:26,573 INFO org.apache.flink.streaming.connectors.pulsar.internal.PulsarMetadataReader [] - Committing offset 12716:7:-1:1 to topic TopicRange{topic=persistent://public/xx/xxxx, key-range=SerializableRange{range=[0, 65535]}} 2021/3/3 上午11:18:26 2021-03-03 03:18:26,582 INFO org.apache.flink.streaming.connectors.pulsar.internal.PulsarMetadataReader [] - Successfully committed offset 12716:7:-1:1 to topic TopicRange{topic=persistent://public/xx/xxxx, key-range=SerializableRange{range=[0, 65535]}} 2021/3/3 上午11:18:31 2021-03-03 03:18:31,571 INFO org.apache.flink.streaming.connectors.pulsar.internal.PulsarMetadataReader [] - Committing offset 12716:7:-1:1 to topic TopicRange{topic=persistent://public/xx/xxxx, key-range=SerializableRange{range=[0, 65535]}} 2021/3/3 上午11:18:31 2021-03-03 03:18:31,580 INFO org.apache.flink.streaming.connectors.pulsar.internal.PulsarMetadataReader [] - Successfully committed offset 12716:7:-1:1 to topic TopicRange{topic=persistent://public/xx/xxxx, key-range=SerializableRange{range=[0, 65535]}} 2021/3/3 上午11:18:36 2021-03-03 03:18:36,633 INFO org.apache.flink.streaming.connectors.pulsar.internal.PulsarMetadataReader [] - Committing offset 12716:7:-1:1 to topic TopicRange{topic=persistent://public/xx/xxxx, key-range=SerializableRange{range=[0, 65535]}} 2021/3/3 上午11:18:36 2021-03-03 03:18:36,642 INFO org.apache.flink.streaming.connectors.pulsar.internal.PulsarMetadataReader [] - Successfully committed offset 12716:7:-1:1 to topic TopicRange{topic=persistent://public/xx/xxxx, key-range=SerializableRange{range=[0, 65535]}} oss内文件： [cid:AD54B42B-CDD0-4EAC-93A8-BCD11C8D1904] chk-10880目录： [cid:FD31EF7D-6D35-4B26-9A2A-FA13170EBB70]*来自志愿者整理的flink邮件归档
参考回答：
请问您这个问题解决了吗，我的也有这个错误信息
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/359933
问题五：flink sql-client 读写 Kerberos认证的hive问题？
hi,all： 一账号一段时间内连续操作为一个pv，间隔时间超过阈值后会记为新的pv。系统需要获取流式日志，使用日志统计实时数据的各项指标。但是我们在使用session window的时候无法使用udaf(自定义聚合函数)对相同pv日志进行聚合统计。 希望知道的大佬能给点建议。感谢！！！
session_window = Session.with_gap("60.second").on("pv_time").alias("w") t_env.from_path('source')
.window(session_window)
.group_by("w,pv_id")
.select("pv_id,get_act(act)").insert_into("sink")
http://apache-flink.147419.n8.nabble.com/file/t1355/infoflow_2021-03-08_19-02-16.png*来自志愿者整理的flink邮件归档
参考回答：
1.12 还不支持session window的udaf，在1.13上将提供这部分的支持，具体可以关注JIRA[1]。
然后，1.12是支持ProcessFunction和KeyedProcessFunction的，具体可以参考代码[2]
[1] https://issues.apache.org/jira/browse/FLINK-21630
[2]
https://github.com/apache/flink/blob/release-1.12/flink-python/pyflink/datastream/functions.py
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/359520?spm=a2c6h.13262185.0.0.133c39c0Clkic3
