云效产品使用报错问题之使用自定义镜像构建,看不到构建日志要如何解决

简介: 本合集将整理呈现用户在使用过程中遇到的报错及其对应的解决办法,包括但不限于账户权限设置错误、项目配置不正确、代码提交冲突、构建任务执行失败、测试环境异常、需求流转阻塞等问题。阿里云云效是一站式企业级研发协同和DevOps平台,为企业提供从需求规划、开发、测试、发布到运维、运营的全流程端到端服务和工具支撑,致力于提升企业的研发效能和创新能力。

问题一:在云效另一个流水线看不到前一个流水线挂载的文件,为什么?构建机只有一台机器

在云效另一个流水线看不到前一个流水线挂载的文件,为什么?构建机只有一台机器



参考答案:

在云效的持续集成/持续部署(CI/CD)流程中,每个流水线执行时都会创建独立的工作目录和环境变量,即使构建机只有一台,不同流水线之间仍然默认保持数据隔离。因此,一个流水线中的文件挂载并不会自动对其他流水线可见。

要实现流水线之间的文件共享或传递,你可以采取以下策略:

  1. 使用持久化存储:
    将需要跨流水线共享的文件上传至阿里云对象存储服务OSS或其他持久化存储服务,并在第二个流水线中通过API或者其他方式下载这些文件作为输入。
  2. 利用中间仓库:
    在第一个流水线结束时将生成的文件发布到代码仓库的一个特定分支或者标签,然后在第二个流水线上拉取并处理这些文件。
  3. 自定义脚本和环境变量:
    如果在同一台构建机上运行,可以考虑通过自定义脚本来临时保存和读取公共路径下的文件,但这不是云效推荐的最佳实践,因为这种方式不具有良好的可移植性和扩展性。
  4. 流水线间依赖和触发:
    设计流水线任务之间通过上下游关系来传递信息,例如:上游流水线成功后通过钉钉消息、API回调等方式告知下游流水线文件位置,下游流水线根据接收到的信息去获取相应的文件。

总之,在云效中,为了确保数据安全和环境一致性,默认不会让不同流水线直接访问彼此的数据,你需要通过额外的设计与配置实现数据的有效传递。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/583783



问题二:云效这种问题怎么排查呢?

流水线执行失败了,使用自定义镜像构建的,镜像已通过下图的测试。感觉像是流水线没拉取到镜像,但我本地拉取又是正常的

云效这种问题怎么排查呢?BUILD_JOB_ID=176009482



参考答案:

这俩装了没?要装的。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/583782



问题三:云效使用自定义镜像构建,看不到构建日志要怎么解决呢?

云效使用自定义镜像构建,看不到构建日志要怎么解决呢?



参考答案:

应该是自定义构建拉不到镜像就会一直卡着。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/583780



问题四:云效往harbor推镜像为什么老失败?

云效往harbor推镜像为什么老失败?

[16:00:16] #8 ERROR: failed to authorize: rpc error: code = Unknown desc = failed to fetch oauth token: unexpected status: 502 Bad Gateway

[16:00:16]

[16:00:16] #9 [auth] xxxxxxxxxxxx/service-xd-admin:pull,push token for registry.cn-beijing.aliyuncs.com



参考答案:

这个错误提示表明在向Harbor推送镜像的过程中遇到了授权问题,具体表现为OAuth token的获取失败,并返回了502 Bad Gateway的错误。以下是一些可能的原因和解决步骤:

  1. 网络问题:
  • 502 Bad Gateway通常表示服务器作为网关或代理时收到了无效响应。这可能是由于网络连接不稳定或者Harbor服务器本身的问题。
  • 检查你的网络连接是否正常,尝试ping Harbor服务器或者访问其Web界面看看是否能正常打开。
  1. Harbor服务器问题:
  • 如果Harbor服务器出现问题,可能会导致OAuth服务无法正常工作。
  • 登录Harbor控制台,查看系统日志,查找是否有相关的错误信息。
  • 确认Harbor服务器的OAuth服务是否正常运行。
  1. 配置问题:
  • 检查你在云效上配置的Harbor仓库地址、用户名、密码或者访问凭证是否正确。
  • 确保你有足够的权限在Harbor中推送镜像。

为了进一步排查和解决问题,你可以按照以下步骤操作:

  • 确保你的Docker客户端配置正确,包括daemon.json中的 insecure registries 或者 credentials helpers 设置。
  • 清除本地的Docker认证缓存,命令如下(适用于Linux和macOS):
rm -rf ~/.docker/config.json
docker logout registry.cn-beijing.aliyuncs.com
  • 重新登录Harbor仓库:
docker login registry.cn-beijing.aliyuncs.com
  • 尝试手动推送一个镜像到Harbor,看看是否还会遇到同样的问题:
docker push registry.cn-beijing.aliyuncs.com/your-repo/your-image:tag



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/583779



问题五:云效新建的流水线环境申请不了是什么原因 ?通过一个构建集群节点 之前的流水线没问题

云效新建的流水线环境申请不了是什么原因 ?通过一个构建集群节点 之前的流水线没问题



参考答案:

runner可用执行机找不到,根据这个先自己排查一下 https://help.aliyun.com/document_detail/456683.html?spm=a2c4g.67353.0.i1 



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/583778

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
SVN版本控制系统
SVN是现在软件开发之中的主流软件版本控制工具,在工作之中利用SVN可以有效的解决多人开发的代码管理问题,本课程将为读者讲解SVN服务器的配置以及基于MyEclipse的SVN客户端插件的配置与使用,并且在讲解之中着重讲解了冲突的产生于解决。
相关文章
|
7天前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版操作报错之使用oracle-cdc的,遇到错误:ORA-01292: no log file has been specified for the current LogMiner session,该如何处理
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
6天前
|
Oracle 关系型数据库 数据库
实时计算 Flink版产品使用合集之采集Oracle数据库时,归档日志大小暴增的原因是什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7天前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7天前
|
SQL 关系型数据库 数据库
实时计算 Flink版产品使用合集之同步PostgreSQL数据时,WAL 日志无限增长,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7天前
|
关系型数据库 MySQL 调度
实时计算 Flink版产品使用合集之归档日志定时清理导致任务失败如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7天前
|
Oracle 关系型数据库 数据库
实时计算 Flink版产品使用合集之Oracle归档日志一天就达到了15GB并导致数据库崩溃,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7天前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版产品使用合集之是否支持从库归档日志捕获数据
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
13天前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之在读取Oracle归档日志时出现日志数量大幅增加的情况如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
13天前
|
SQL 存储 Java
实时计算 Flink版产品使用合集之怎么配置日志的输出格式和文件大小
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
13天前
|
关系型数据库 MySQL 数据库
mysql数据库bin-log日志管理
mysql数据库bin-log日志管理