开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

请问一个机器学习PAI的问题tensorboard看模型embedding,bias,需要怎么改动?

请问,如果想用tensorboard看模型embedding,bias,需要怎么改动?

展开
收起
游客242jp2lsd3dac 2023-04-15 23:13:24 623 0
4 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    要在阿里云机器学习PAI上使用TensorBoard来查看模型的embedding和bias等信息,您需要修改您的代码以记录这些信息,然后在PAI上配置TensorBoard运行参数以打开TensorBoard。

    以下是基本的修改步骤:

    1. 对于TensorFlow模型,您可以使用TensorFlow的Summary操作来记录embedding、bias等信息。例如,以下代码可以记录embedding:

      import tensorflow as tf
      
      # ... 构建模型
      
      with tf.name_scope('embedding'):
         tf.summary.histogram("embedding_weights", embedding_weights)
      
    2. 存储TensorBoard事件

      修改代码以存储TensorBoard事件,以便将它们传输到PAI集群。例如,以下代码可以将TensorBoard事件写入名为“logs”的目录:

      merged_summary_op = tf.summary.merge_all()
      
      # 添加一个用于写TensorBoard事件的摘要写入器
      summary_writer = tf.summary.FileWriter('./logs',graph=tf.get_default_graph())
      
      # 下面的代码在训练中迭代时运行
      _, summary = session.run([train_op, merged_summary_op], feed_dict=feed_dict)
      summary_writer.add_summary(summary, global_step)
      
    3. 设置TensorBoard参数

      在PAI管理控制台中的作业配置页面,找到您的TensorBoard作业,然后在“作业参数”中添加以下参数来运行TensorBoard:

      --logdir=./logs 
      

      这将告诉TensorBoard在“logs”目录中查找事件文件。注意,如果在代码中使用了其他日志目录,则应在这里进行相应的更改。

      修改完代码和TensorBoard参数后,您就可以在PAI的TensorBoard作业输出中找到相应的文件,打开TensorBoard网页并查看相应的embedding和bias信息了。

    2023-04-30 08:10:11
    赞同 展开评论 打赏
  • 需要修改模型,让模型写入tensorboard此回答整理自钉群【EasyRec】推荐算法交流群

    2023-04-17 21:40:53
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    要查看模型的嵌入和偏置,需要在训练模型时将它们导出到TensorBoard。以下是一些步骤:

    在训练模型的代码中,使用tf.summary函数来记录嵌入和偏置的值。例如,可以使用tf.summary.histogram函数记录它们的值。
    

    with tf.name_scope('embedding'): embedding_summary = tf.summary.histogram('embedding', embedding) with tf.name_scope('bias'): bias_summary = tf.summary.histogram('bias', bias)

    在训练过程中,将这些摘要添加到TensorBoard摘要文件中。
    

    merged_summary = tf.summary.merge_all() summary_writer = tf.summary.FileWriter(log_dir, sess.graph)

    在TensorBoard中查看嵌入和偏置。启动TensorBoard并导航到“嵌入”或“偏置”选项卡即可查看。
    

    tensorboard --logdir=log_dir

    您还可以使用tf.summary.scalar函数来记录嵌入和偏置的平均值、最大值、最小值等统计信息。

    2023-04-16 18:02:51
    赞同 展开评论 打赏
  • 需要添加一些例如添加嵌入向量和偏置项到您的 TensorFlow 模型中,并将其保存到 TensorBoard 日志文件中。

    2023-04-16 13:05:35
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    阿里巴巴机器学习平台AI 立即下载
    基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
    基于Spark的大规模机器学习在微博的应用 立即下载