开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

在Flink我这样创建的水印,但是任务运行的时候报错怎么处理?

在Flink我这样创建的水印,但是任务运行的时候报错怎么处理?lQLPJxRxFK5F8vTNBwbNBc6w1qpD3Ol-AhsFP7UCjUCgAA_1486_1798.png

lQLPJx1uGiV2M3TNAorNCjiwIiHxygq63U8FP7UdvACgAA_2616_650.png
timestamp是bigint型, 单位秒,我也这么改过, dd486c2ad97d97c1cc97cd8636a57521.png
但是问题还是存在,没有解决。

展开
收起
三分钟热度的鱼 2023-11-15 20:54:20 58 0
1 条回答
写回答
取消 提交回答
  • 看起来你的SQL语句有些问题。在Flink SQL中,WATERMARK FOR应该放在表定义的最后,而不是作为单独的一行。另外,INTERVAL 5’SECOND应该是INTERVAL '5' SECOND。以下是修复后的SQL语句:

    CREATE TEMPORARY TABLE cloud_siem_aegis_proc(
    scan_time VARCHAR,
    host_uuid VARCHAR,
    timestamp BIGINT METADATAVIRTUAL,
    uid VARCHAR,
    u_name VARCHAR,
    euid VARCHAR,
    gid VARCHAR,
    euid_name VARCHAR,
    gid_name VARCHAR,
    egroup_id VARCHAR,
    egroup_name VARCHAR,
    sid'VARCHAR,
    parent_proc_id VARCHAR,
    proc_id VARCHAR,
    tty VARCHAR,
    parent_file_name VARCHAR,
    cwd VARCHAR,
    parent_cmd_line VARCHAR,
    file_name'VARCHAR,
    cmd_line VARCHAR,
    parent_file_path VARCHAR,
    perm VARCHAR,
    file_path VARCHAR,
    proc_start_time VARCHAR,
    indexVARCHAR,
    file_gid VARCHAR,
    file_uid VARCHAR,
    file_gid_name VARCHAR,
    file_uid_name VARCHAR,
    log_time VARCHAR,
    docker_container_id VARCHAR,
    docker_file_path VARCHAR,
    docker_image_name VARCHAR,
    docker_image_id VARCHAR,
    k8s_name_space VARCHAR,
    k8s_pod_name VARCHAR,
    k8s_node_name VARCHAR,
    k8s_node_id VARCHAR,
    cmd_chain VARCHAR,
    k8s_cluster_id VARCHAR,
    main_user_id VARCHAR,
    cmd_chain_index VARCHAR,
    ts_ltzASTO_TIMESTAMP(FROM_UNIXTIME(_timestamp, yyyy-1-dd HH:mm:ss')),
    sub user id VARCHAR.
    WATERMARK FORts_ltzAS ts_ltz- INTERVAL '5' SECOND
    ) WITH(
    'connector'='sls',
    ... # other options
    );
    
    2023-11-17 10:46:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载