开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks资源里python运行时候,中途打印日志怎么看?或者怎么调试?

DataWorks资源里python运行时候,中途打印日志怎么看?或者怎么调试?image.png
在sql文件通过函数调用image.png

展开
收起
真的很搞笑 2023-11-06 13:46:21 118 0
3 条回答
写回答
取消 提交回答
  • 是shell 调用的 还是用来开发udf之类的,函数是执行在计算的机器上的 这里的日志主要返回的是调度机器上执行 所以看不到 建议在本地开发调试的时候看下 具体可能需要咨询下mc同学看下,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-07 21:54:56
    赞同 展开评论 打赏
  • 您可以在 DataWorks 的 PySpark 脚本中使用 logging 模块来实现日志打印和调试,以便于查看脚本执行情况。以下是简单的示例:

    1. 导入 logging 模块,并设置日志等级为 INFO。
    import logging
    logging.basicConfig(level=logging.INFO)
    
    1. 在代码中打印日志
    logging.info('Debugging message')
    
    1. 在 DataWorks 控制台上查看日志输出

    您还可以使用 IDE 进行调试,通过单步执行、断点等方式查看日志输出。

    2023-11-06 21:48:05
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,Python运行资源可以方便地打印日志,以便查看运行过程中的状态和结果。以下是一些调试Python运行资源的建议:

    1. 使用print语句打印日志:在Python代码中,可以使用print语句打印日志,以查看程序运行状态和结果。例如,可以使用print语句打印变量的值、函数的返回值等。
    2. 使用logging模块:DataWorks中也提供了logging模块,可以使用它来记录程序运行过程中的日志。例如,可以使用logging模块的logger对象来记录日志,然后使用logger对象的write方法来写入日志。
    3. 使用调试器:在Python中,可以使用调试器来调试程序。DataWorks中也提供了调试器,可以使用它来查看程序的局部变量和调用栈,以便找出程序中的问题。
    4. 使用单元测试:在Python中,可以使用单元测试来测试程序的各个模块。DataWorks中也提供了单元测试工具,可以使用它来测试程序的各个模块,以便找出程序中的问题。
    2023-11-06 14:36:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载