kindle
kindle_个人页
kindle
文章
0
问答
4
视频
0
个人介绍
暂无个人介绍
擅长的技术
- Java
- Python
- 前端开发
- Linux
- 数据库
获得更多能力
通用技术能力：
-
Java
初级
能力说明：
了解变量作用域、Java类的结构，能够创建带main方法可执行的java应用，从命令行运行java程序；能够使用Java基本数据类型、运算符和控制结构、数组、循环结构书写和运行简单的Java程序。
云产品技术能力：
-
ACP
-
阿里云大数据分析师认证（ACP）
获得于2021-04-24 23:45:55
-
阿里云大数据分析师认证（ACP）
阿里云技能认证
详细说明
暂无更多信息
暂无更多信息
暂无更多信息
-
回答了问题
2019-07-17
flink1.7.1 写es6外部表没数据问题
你好，只有随机id,没有实际记录写入？截图中没有查询语句，不太清楚是怎么查的。且截图里没看到_source字段。可以参考下这里：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-body.html 把_source也查出来看下。怎样指定主键？社区文档有指定主键的说明：Key extraction: Flink automatically extracts valid keys from a query. For example, a query SELECT a, b, c FROM t GROUP BY a, b defines a composite key of the fields a and b. The Elasticsearch connector generates a document ID string for every row by concatenating all key fields in the order defined in the query using a key delimiter. A custom representation of null literals for key fields can be defined. （https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connect.html#elasticsearch-connector）即：会分析query，把group by的字段当成主键。比如你想拿id作为主键。sql需要这么写，select id, last_value(name), last_value(value) group by id。表明key是id。last_value是一个自定义的udaf需要你实现下，每次返回最后的值。udaf怎么写可以参考下这个文档：https://ci.apache.org/projects/flink/flink-docs-master/dev/table/udfs.html#aggregation-functions， 也可以看下flink code的MAX实现，MAX返回最大值，LAST_VALUE返回最后一个值，原理差不多。赞0 踩0 评论0 -
回答了问题
2019-07-17
请问怎么做去重？
因为是流计算，所以中间状态的每一条数据都会输出，能保证最终的结果是对的。如果想要中间结果不输出，可以使用固窗来group by。赞0 踩0 评论0 -
回答了问题
2019-07-17
flink将checkpoint写入到hdfs中七天之后token过期
图片看不太清，hdfs token renew 我没理解错的话需要重启作业才能生效赞0 踩0 评论0 -
回答了问题
2019-07-17
flink on yarn error "Yarn only has -1 virtual cores available"
在 yarn-site.xml 文件中可配： yarn.nodemanager.resource.cpu-vcores 5 请参考： https://mapr.com/blog/best-practices-yarn-resource-management/赞1 踩1 评论0
滑动查看更多
暂无更多信息