开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问DataWorks pyodps中o.execute_sql如何获取所执行的sql的日志?

请问DataWorks pyodps中o.execute_sql如何获取所执行的sql的日志?

展开
收起
真的很搞笑 2023-07-31 10:37:04 416 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks PyODPS中,可以通过设置odps.options.verbose属性来获取SQL执行的详细日志信息。具体来说,可以将该属性设置为True,然后在执行SQL语句时,会输出SQL执行的详细日志信息,包括SQL语句、执行时间、资源消耗等信息。

    以下是获取SQL执行日志的示例代码:

    python
    Copy
    from odps import ODPS

    创建ODPS连接

    project = ODPS(project='your_project_name', access_id='your_access_id', access_key='your_access_key', endpoint='your_endpoint')

    设置verbose属性为True

    project.options.verbose = True

    执行SQL语句

    sql = 'SELECT * FROM your_table_name WHERE column1 > 10'
    result = project.execute_sql(sql)

    获取SQL执行日志

    logs = result.get_logview()
    print(logs)
    在执行SQL语句后,可以通过result.get_logview()方法获取SQL执行的详细日志信息,然后根据需要进行处理和分析。

    2023-07-31 23:55:22
    赞同 展开评论 打赏
  • 在DataWorks的PyODPS中,通过o.execute_sql()执行SQL语句后,可以使用o.get_logview_address()获取该作业的日志查看链接。以下是具体的步骤:

    1. 在PyODPS中执行SQL语句:使用o.execute_sql()方法执行SQL语句,该方法返回一个odps.models.Instance实例对象。
    instance = o.execute_sql('SELECT * FROM your_table')
    
    1. 获取日志查看链接:使用get_logview_address()方法获取该作业的日志查看链接。
    logview_address = instance.get_logview_address()
    
    1. 查看日志:将日志查看链接复制到浏览器中打开,即可查看作业的运行日志、进度和统计信息。

    请注意,这种方式只适用于DataWorks中执行的作业,如果您在其他环境中执行PyODPS代码,可能无法获取到相关的日志查看链接。

    此外,还可以使用o.read_instance_log(instance)方法来获取日志内容的文本。例如:

    log = o.read_instance_log(instance)
    print(log)
    

    以上是通过PyODPS获取DataWorks中作业执行日志的一般方法。具体操作可能会根据您的环境和需求有所不同。建议查阅阿里云DataWorks文档中的相关章节,以获取更详细的操作指南和示例代码。

    2023-07-31 11:45:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    SQL Server在电子商务中的应用与实践 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载