开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks java.io.ioexception: Received error ?

问题1:DataWorks java.io.ioexception: Received error packet: errno = 1236? 问题2:这样说的话,只能去我的mysql设置找原因吗? datawords上面有配置能设置吗?重置位点到当前时刻也不行,我的数据两确实有点大,都是json格式的数据,单挑有20kb,是的 一直都是刚才那个错误。

展开
收起
真的很搞笑 2023-05-14 08:31:51 2393 0
1 条回答
写回答
取消 提交回答
  • 回答1:数据集成实时同步(mysqlbinlog==>hologres任务终止)报错:java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Client requested master to start replication from impossible position; the first event 'xxxx' at 0, the last event read from 'xxxx' at 4, the last byte read from 'xxxx' at 4. A1: mysql是主从架构的,master节点由于异常导致重启,master节点写binlog1终止(位点position为22222),另起了新的binlg2开始从position0开始写。 slave节点并不知晓该情况,仍从binlog1文件进行备份. 随着slave节点备份工作的进行,其要读取的position(比如要读position-22226)已经大于binlog1的最大的position了,此时就会出现找不到位点的问题,报如上错误。 详情可见: https://blog.csdn.net/wawa8899/article/details/83746594 实时同步任务报错根因:image.png mysql-cannel读取异常捕获不了数据,目的端holo writer无法拿到数据,导致holowriter写入(insert failed)失败,最终导致实时同步任务终止 处理办法:处理mysql主从同步状态,使其恢复正常后重新做实时同步。image.png 看报错是找不到时间位点 "startPosition":"2023-03-01 00:00:00",mysqlbinglog 应该已经不在本地 重新启动实时任务 重置位点到当前时刻试一下两种情况binlog会不在本地1)超过了mysql设置的binlog保存时间2)超过了一定的大小 也会持久化不在本地 回答2:是的 这个是binlog日志不在本地 所以客户端读不到 ,重置位点到当前时刻是可以的 当前的日志还在mysql本地,最新报错是啥 还是原来那个任务吗,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-14 10:15:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载