备案控制台

moonlightdisco_个人页

个人头像照片 moonlightdisco
个人头像照片
文章
0
问答
253
视频
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息

2022年01月

2021年12月

正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2022-01-11

    劫持问题导致通过 CDN 请求资源没有返回实际资源文件怎么处理

    l 建议使用 HTTPS 访问资源，提高访问安全，可以有效防止此类内容劫持。如何配置 CDN 的 HTTPS 访问资源，详情请参见配置 HTTPS 证书。 l 如果无法解决问题，可能是由以下两个原因导致，此时需要获取运营商协助。 ○ CDN 节点被运营商封了，或者节点本身有问题。 ○ 用户域名被运营商封了。资源来源于《对象存储&视频云35条实战秘籍》，下载链接：https://developer.aliyun.com/topic/download?id=8226

    踩0 评论0
  • 回答了问题 2022-01-11

    按照文档开启了 CDN 的页面优化功能，但是访问 HTML 页面实际并没有优化效果，怎么回事？

    该问题可以总结如下： （1）如果源站响应了 Gzip 压缩的内容，CDN 会因为无法 Gunzip 导致页面优化功能不生效 （2）如果希望与 CDN 去智能压缩和页面优化，因此 CDN 层面智能压缩的优先级比页面优化的 优先级高，也会导致页面优化不生效 （3）如果期望使用 CDN 的页面优化，那么需要确保源站服务器关闭 Gzip 压缩。如果源站服务 器是 Nginx，通过修改 Nginx 配置文件里 ngx_http_gzip_module 模块的 gzip_proxied 参数，设定 来自代理服务器的请求，不返回 Gzip 压缩的内容来实现。 （4）另外还有一种比较实现方案，是可以在 CDN 层面配置删除 Accept-Encoding 这个回源 H TTP 请求头。 资源来源于《对象存储&视频云35条实战秘籍》，下载链接：https://developer.aliyun.com/topic/download?id=8226

    踩0 评论0
  • 回答了问题 2021-12-08

    关于flink1.7.2checkpoint本地文件存储，设置文件个数的问题

    每个 Checkpoint 生成多少文件，由作业决定，这个不需要用户自己手动设置。

    *来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    启动session 时 ，报错：Could not write the Yarn connectio

    java的URI地址不允许带 _ , https://bugs.openjdk.java.net/browse/JDK-8221675 请将 _ 改掉后再试试*来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    flink 集群

    1. 自建集群是哪种方式？ 可以考虑通过yarn集群的per job模式来部署作业，集群的监控可以直接通过yarn的资源管理实现

    2. 任务需要更新的时候 可以kill job，保留state 文件，重新提交新的jar包，新的jar包可以设置从老作业的checkPoint文件里恢复继续执行

    相关资料可以参考 官方文档/flink china 的资料，希望能有所帮助~*来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    flink on yarn 的 kerberos 认证问题

    kerberos用户的krb5.conf ,user.keytab文件是否在程序运行时加载到了,我之前遇到的kerberos问题是flink读kafka获取不到数据,通过yarn-session模式运行,认证阶段是在yarn-session发布完成的. 最后问题出在kafka通信协议,可以看下hbase端的配置,实现不行 也可以解耦hbase跟flink中间加一个kafka

    *来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    flink on yarn 指定节点开启 yarn session 报错

    8082 端口被占用了吧？*来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    flink 1.9.1状态持续增大

    我在用Flink的Blink Table Api，状态设置为：

    streamTableEnv.getConfig().setIdleStateRetentionTime(Time.minutes(15),

    Time.minutes(20));

    ，我预期过期状态自动清理，总的状态大小在一个范围内波动，但是现在过期状态并没有清理，导致状态越来越大，最终内存溢出；并且先前对于订阅单topic的流使用子查询sql，最外层使用处理时间时间窗口统计，单过期状态也不清理(这种情况不知道是不是误用导致的)

    *来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    ./bin/yarn-session.sh 启动； Error while running the

    你的那个图可能是因为一些参数传得不对导致 YARN 部署的时候出问题了。我之前遇到过这种情况是因为我把一个参数传错了 YARN 的 APP

    起来之后抛异常

    你看到在那边不停的 retry 是一个已知的 BUG，我记得最近几个版本已经修了，我找找对应的 JIRA

    *来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

    提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。*来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    大家好：我在 tableapi 中使用自定义 UDF ，其中 ScalarFunction 在

    getParameterTypes 不用重写*来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    Error:java: 无效的标记: --add-exports=java.base/sun.net

    Hi I met the same problem before. After some digging, I find that the idea will detect the JDK version and choose whether to use the jdk11 option to run the flink maven building. if you are in jdk11 env, then it will add the option --add-exports when maven building in IDEA.

    For my case, I was in IntelliJIdea2019.2 which depends on the jdk11, and once I re-import the flink modules then the IDEA will add the --add-exports flag even if I removed all the flags in .idea/compile.xml explicitly. I noticed that the Intellij's JDK affected the flink maven building, so I turned to use the Intellij with JDK8 bundled, then the problem was gone.

    You can verify it, and if it's really the same. can just replace your IDEA with the pkg suffix with "with bundled JBR 8" in here [1]. Say if you are using MacOS, then should download the package "2019.2.4 for macOS with bundled JBR 8 (dmg)"

    Hope it works for you Thanks.

    [1]. https://www.jetbrains.com/idea/download/other.html*来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    关于从savepoint启动作业报错 migration for MapState currentl

    看上去是 MapState 的 migration 不支持导致的，可以尝试下 1.9，1.9 解决了 MapState 的 value schema evolution[1]

    [1] https://issues.apache.org/jira/browse/FLINK-11947*来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    flink 1.9.1 guava version conflict

    可以直接使用 flink-cep 模块吗？

    如果是自己定制的 flink lib，可以提供更详细的打包过程和作出的改动吗？

    这里就是不同的 guava 版本没 shaded 好导致 classloader 解析的时候出现冲突，这个问题是 adhoc 的，需要进一步的了解你【我是下载了源码之后，自己编译了flink cep相关的jar然后引入进来。】这个过程是怎么做的。*来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    flink里删除cassandra的记录

    我们使用 DataStax Cassandra Driver 定制了 Cassandra Sink 实现了 detele 操作。

    *来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    Flink1.7.2，TableApi的自定义聚合函数中如何使用自定义状态

    可以参考一下Flink代码里已有的例子：https://github.com/apache/flink/blob/c601cfd662c2839f8ebc81b80879ecce55a8cbaf/flink-table/flink-table-planner-blink/src/main/java/org/apache/flink/table/planner/functions/aggfunctions/MaxWithRetractAggFunction.java https://github.com/apache/flink/blob/c601cfd662c2839f8ebc81b80879ecce55a8cbaf/flink-table/flink-table-planner-blink/src/main/java/org/apache/flink/table/planner/functions/aggfunctions/MaxWithRetractAggFunction.java *来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    Queryable State 查询反序列化问题

    从错误栈来看，应该是 serializer 不一致导致的，可以再检查下相应的 key/namespace serialzier*来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    DataStream 如按用户ID KeyBy后，同一个用户ID的数据最终会被分到一个Parti

    [image: image.png]建议深入解下 keyWindow,NoKeyWindow 与Assigner TimeWindow

    And WindowsFunction *来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    想问一下Flink SQL 1.9版本支持维表join吗

    正好在看这篇文档，但是我想做一个csv的数据源，不知道格式怎么配置。

    https://yq.aliyun.com/articles/717034

    *来自志愿者整理的flink邮件归档

    踩0 评论0
  • 回答了问题 2021-12-08

    yarn-session.sh 启动 报错

    是不是程序里没有指定入口类啊？ 在命令行里指定试试？ -C com.xx.bbb

    *来自志愿者整理的flink邮件归档

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息