开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在大数据计算MaxCompute中log view怎么查看?

在大数据计算MaxCompute中log view怎么查看?

展开
收起
冲冲冲c 2024-08-14 15:19:40 43 0
9 条回答
写回答
取消 提交回答
  • log view用Logview这个工具查看
    Logview是MaxCompute Job提交后查看和Debug任务的工具。
    通过Logview可看到一个Job的如下内容:
    任务的运行状态。
    任务的运行结果。
    任务的细节和每个步骤的进度。
    Job提交到MaxCompute后,会生成Logview的链接。您可以直接在浏览器上打开Logview链接,进入查看Job的信息。
    image.png
    image.png
    image.png
    参考地址
    https://help.aliyun.com/zh/maxcompute/user-guide/use-logview-to-view-job-information
    回答不易请采纳

    2024-10-29 11:21:40
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    使用Logview查看MaxCompute作业运行信息的详细步骤:

    1. 访问Logview链接

    当你提交一个MaxCompute作业后,系统会自动生成一个Logview链接,通常这个链接以 https://logview.aliyun.com/logview 开头。

    • 如果你是通过DataWorks提交的作业,你可以直接点击提供的链接打开Logview界面。
    • 如果你使用的是 odpscmd 客户端,你需要手动复制这个链接到浏览器中访问。

    2. Logview界面概览

    • 标题与功能区:显示作业ID、自定义作业名称及操作图标,包括打开本地保存的作业详情文件、返回Logview旧版界面、保存作业详情至本地。
    • Basic Info区域:提供作业的基本信息概览。
    • 作业详情区域:深入展示作业的运行状态、结果及每个步骤的进度。

    3. 查看作业运行状态与详情

    • Instance信息:位于Logview页面上部,展示URL、项目名称、InstanceID、提交者、开始/结束时间及作业状态(如Waiting、Running等)。点击Status可查看队列中的详细状态信息,包括Waiting List中的位置等。
    • Task信息:通过Detail按钮,深入了解每个MaxCompute Task的构成,包括Fuxi Job与Fuxi Task的分布情况,以及它们的输入输出记录数(I/O Records)和执行状态。
    • Fuxi Instance信息:进一步查看构成Fuxi Task的各个实例状态,对于失败的实例,可通过StdOut和StdErr查看标准输出和错误信息,有助于问题定位。

    4. 问题排查与分析

    • 当作业执行出现错误时,Logview的Result区域会显示错误提示,Detail页面的Fuxi Instance stderr可查看具体错误详情,有助于快速定位问题原因。
    • 数据倾斜等性能问题也可通过Logview的Summary标签页分析Task输出记录的分布情况,识别并解决性能瓶颈。

    5. 注意事项

    • 每个Job的Logview页面有效期为一周。
    2024-10-28 09:14:44
    赞同 展开评论 打赏
  • 深耕大数据和人工智能

    在阿里云大数据计算MaxCompute中,可以通过Logview工具查看作业的日志信息。以下是使用Logview查看作业日志的步骤:

    登录阿里云控制台,进入MaxCompute产品页面。
    在左侧导航栏中,选择"作业开发与提交" > "作业管理"。
    在作业管理页面,找到需要查看日志的作业,点击作业名称进入作业详情页面。
    在作业详情页面,点击"日志"选项卡。
    在日志页面,可以看到作业的运行状态、日志内容等信息。
    若要查看更详细的日志信息,可以点击"下载"按钮,将日志文件下载到本地进行查看。
    此外,还可以通过命令行工具odpscmd来查看作业日志。具体操作如下:

    安装并配置odpscmd工具。
    打开命令行终端,输入以下命令查看作业日志:
    image.png

    2024-10-21 08:55:50
    赞同 展开评论 打赏
  • Logview:即以logview.odps.aliyun.com开头的URL,是MaxCompute自研的分布式作业追踪工具。

    在浏览器中打开日志输出的Logview,查看CUPID类型作业的运行情况。
    image.png

    在Logview页面,执行如下操作。

    单击Detail,查看作业的详情。master-0代表Spark Driver所在节点。

    单击master-0并选择All Tab,查看Spark Driver节点的具体信息。

    单击StdOut,查看节点的结果输出。

    单击StdErr,查看节点的log4j日志。

    ——参考链接

    2024-10-19 08:15:30
    赞同 展开评论 打赏
  • 在大数据计算MaxCompute中,Logview是查看和Debug作业任务的重要工具。以下是查看Logview的详细步骤和相关信息:

    一、Logview的生成与访问
    生成Logview链接:
    当一个MaxCompute作业(Job)提交后,系统会自动生成一个以“https://logview.aliyun.com/logview”开头的URL地址,即Logview的链接。
    访问Logview:
    使用MaxCompute客户端(odpscmd)提交作业后,需要手工复制该Logview地址到浏览器中访问。
    使用DataWorks提交作业后,可以直接点击链接打开Logview界面。
    二、Logview的界面与功能
    标题与功能区:
    包含提交MaxCompute作业时生成的唯一作业ID及自定义的作业名称(如果通过SDK方式提交,则包含作业名称信息)。
    提供打开本地保存的作业详情文件、返回Logview 1.0版界面、将作业详情文件保存至本地设备等操作。
    Basic Info区域:
    展示作业的基本信息,如作业使用的MaxCompute服务的Endpoint、作业所属的MaxCompute项目名称、提交作业的阿里云账号信息、作业的类型(如SQL、SQLRT等)、作业的状态(如Success、Failed等)、作业提交时间、作业执行结束时间、作业执行消耗的时长、作业执行进度、作业优先级以及作业在资源配额组内的排队位置等。
    作业详情区域:
    提供作业执行的详细信息,包括作业执行图、Fuxi Job页签等。
    作业执行图以可视化方式展示三个维度的子任务依赖关系:Fuxi Job层、Fuxi Task层和Operation层。同时提供一系列辅助工具,如进度图、输入/输出热度图等,为排查问题提供帮助。
    Fuxi Job页签可以切换不同的Fuxi Job,并查看每个Fuxi Job下的Fuxi Task详情以及对应的Fuxi Instance信息。
    三、查看作业运行信息
    Instance信息:
    在Logview页面中,上半部分展示的是提交的SQL任务对应的MaxCompute Instance信息。
    包含URL链接、项目、InstanceID、提交人、开始时间、结束时间和状态(Status)等。
    可以单击Status查看当前队列的Status详细信息,包括Waiting、Running、Terminated等状态以及排队位置、队列长度、优先级等子状态信息。
    Task信息:
    在Logview页面中,下半部分展示的是该Instance对应的task信息。
    包括任务名称、类型、状态、运行结果(Result)、详细信息(Detail)、开始时间、结束时间、总运行时间(Latency)、进度等。
    在Job运行结束后,可以看到运行结果。例如一条select SQL的结果。
    一个Job在运行中和结束后,均可以单击Detail来查看任务运行的具体情况。
    四、高级功能
    作业回放:
    Logview支持作业回放功能,可以像播放媒体文件一样回顾作业执行的历史轨迹。
    这有助于用户了解MaxCompute实例在不同时刻的运行状态,快速判断子任务级运行顺序及消耗时间,掌握作业执行的关键路径。
    Fuxi Sensor:
    在某些区域(如西南1成都、华南1深圳等),Logview提供了Fuxi Sensor功能。
    用户可以单击Fuxi Task对应的Sensor查看Fuxi Instance的CPU及内存信息,这有助于进行更深入的性能分析和调优。
    通过以上步骤和介绍,您可以在MaxCompute中有效地使用Logview查看作业的运行信息、进行Debug和性能分析。

    2024-10-17 13:04:50
    赞同 展开评论 打赏
  • 查看MaxCompute的Logview来获取作业运行信息和实例详情,您可以按照以下步骤操作:
    如果您有Instance ID,可以通过在MaxCompute控制台执行waiting instance id命令生成Logview。
    访问MaxCompute文档获取详细指南。
    Logview界面分为Instance信息和Task信息两部分:
    Instance信息部分显示任务状态、开始和结束时间等。
    Task信息部分包括任务名称、状态、结果、详细信息等。
    在Logview页面:
    点击Status查看详细状态,包括Sub Status、WaitPos等。
    通过Task信息,可以看到任务名称、类型、状态、结果、详细信息、开始和结束时间等。
    image.png
    image.png
    image.png

    2024-10-15 11:09:14
    赞同 展开评论 打赏
  • 技术浪潮涌向前,学习脚步永绵绵。

    在阿里云的大数据计算服务 MaxCompute 中,Logview 是一个非常有用的工具,用于查看和分析作业的执行日志。通过 Logview,你可以详细了解作业的执行过程、错误信息以及其他调试信息。以下是查看 Logview 的步骤:
    1111.png

    1. 提交作业

    首先,你需要提交一个 MaxCompute 作业。可以通过多种方式提交作业,例如使用 odpscmd 命令行工具、DataWorks 或者编程接口(如 Python SDK)。

    使用 odpscmd 提交作业

    假设你已经安装并配置好了 odpscmd,可以使用以下命令提交一个 SQL 作业:

    odpscmd -e "sql your_sql_query;"
    

    2. 获取 Instance ID

    当你提交作业后,MaxCompute 会返回一个 Instance ID。这个 Instance ID 是唯一标识该作业的编号,后续你需要使用它来查看 Logview

    通过 odpscmd 获取 Instance ID

    如果你使用 odpscmd 提交作业,可以直接从输出中获取 Instance ID。例如:

    odpscmd -e "sql your_sql_query;"
    
    # 输出示例
    ...
    INSTANCE_ID: 202310141755_0001
    ...
    

    3. 查看 Logview

    有了 Instance ID 后,你可以通过以下几种方式查看 Logview

    使用 odpscmd 查看 Logview

    你可以直接在 odpscmd 中使用 logview 命令来查看 Logview

    odpscmd -e "logview <INSTANCE_ID>;"
    

    通过 Web 控制台查看 Logview

    1. 登录阿里云控制台

      • 打开浏览器,访问 阿里云官网
      • 使用你的阿里云账号登录。
    2. 进入 MaxCompute 控制台

      • 在控制台首页找到“产品与服务”菜单。
      • 在搜索框中输入“MaxCompute”,或者导航到“大数据”分类下找到“MaxCompute”。
    3. 进入实例管理页面

      • 在 MaxCompute 控制台左侧导航栏中,选择“开发” -> “实例管理”。
    4. 查找并查看 Logview

      • 在实例管理页面中,找到你提交的作业对应的 Instance ID
      • 点击 Instance ID 右侧的“详情”按钮。
      • 在弹出的页面中,点击“Logview”链接,即可查看详细的日志信息。

    4. 解析 Logview 内容

    Logview 页面通常包含以下几个部分:

    • 基本信息:包括 Instance ID、创建时间、状态等。
    • 任务信息:显示作业中的各个任务及其状态。
    • 日志信息:详细记录了每个任务的执行日志,包括标准输出、标准错误输出等。
    • 资源信息:显示作业使用的资源情况,如内存、CPU 等。
    • 错误信息:如果有错误发生,会在此部分显示详细的错误信息。

    示例

    假设你提交了一个 SQL 作业,并获得了 Instance ID202310141755_0001,你可以通过以下命令查看 Logview

    odpscmd -e "logview 202310141755_0001;"
    

    或者通过 Web 控制台:

    1. 登录阿里云控制台。
    2. 进入 MaxCompute 控制台。
    3. 导航到“开发” -> “实例管理”。
    4. 找到 Instance ID202310141755_0001 的作业,点击“详情”按钮。
    5. 在弹出的页面中,点击“Logview”链接查看详细日志。

    通过这些步骤,你可以方便地查看和分析 MaxCompute 作业的 Logview,从而更好地了解作业的执行情况和调试问题。

    2024-10-14 17:58:04
    赞同 展开评论 打赏
滑动查看更多

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    低代码开发师(初级)实战教程 立即下载
    冬季实战营第三期:MySQL数据库进阶实战 立即下载
    阿里巴巴DevOps 最佳实践手册 立即下载