DataWorks的Elasticsearch同步数据一直读取10条
已解决DataWorks的Elasticsearch同步数据一直读取10条
展开
收起
1
条回答
写回答
写回答
-
开发者社区问答官方账号官方回答问题描述： 源端是ES,目标端是MYSQL，但是ES配置的索引有26条记录。也配置了分页大小23，为什么手动执行一次后，只同步了10条记录解释说明： ES端根据索引查询语句如下GET /disngdig-loodnhg-2022/_search { "from":0, "size":30, "query": {"match_all": {}} }在es端进行分页 查询,参数配置如下scroll=10m，szie=15 数据显示查询为十五条
将数据源同步配置分页改为15后,数据还是显示为10条
将查询语句内参数设置为：scroll=30m，szie=30时,ES端会查询出26 条记录,但是 dw上按照这个配置 游标 分页都是30，运行读还是10条ES默认size是10。解决方法：1、客户端请求发给某个节点。2、节点转发给个个分片，查询每个分片上的前10条。3、结果返回给节点，整合数据，提取前10条。4、返回给请求客户端。
在Elasticsearch找到参数：index.max_result_window，无论Size设置多大都不能超过index.max_result_window。2024-05-24 13:07:28赞同 2 展开评论 打赏
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
相关课程
更多
推荐问答
相关文章
相关电子书
更多
