AI 助理
备案控制台
开发者社区 云存储 对象存储OSS 正文

对象存储oss使用问题之C++使用OSS SDK时遍历OSS上的文件时崩溃如何解决

2024-04-16 135
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
对象存储 OSS，恶意文件检测 1000次 1年
对象存储 OSS，内容安全 1000次 1年
简介： 《对象存储OSS操作报错合集》精选了用户在使用阿里云对象存储服务（OSS）过程中出现的各种常见及疑难报错情况，包括但不限于权限问题、上传下载异常、Bucket配置错误、网络连接问题、跨域资源共享（CORS）设定错误、数据一致性问题以及API调用失败等场景。为用户降低故障排查时间，确保OSS服务的稳定运行与高效利用。

问题一：【OSS 新版C++ SDK BUG】C++使用阿里云OSS SDK时，遍历OSS上的文件时崩溃


最新版的C++SDK我是在阿里云文档页面下载的。

2023-10-20号下载的当时的版本是1.9.0，现在去下也是1.9.0

但是github上，我今天看了，版本是1.9.1，最后更新时间是8月的时候。真的很迷。

看了一下更新内容，貌似也没涉及到这个。以下是他的更新内容.

fix bugs in resumable resumable upload/download.
fix conversion issue caused by locale
add CURLE_SEND_FAIL_REWIND into retryable error.
support to unencode slash in presigned url path.
The file may uploaded incompletely in unplug & plug hard disk test.
GetBukcetStatResult returns more information.
support list buckets by region.
compatible with OpenSSL 3.0.
add EnvironmentVariableCredentialsProvider.
support path style.
add RestoreInfo filed in ListObjects/ListObjectsV2 result.

暂时没时间折腾这个了。因为下载我们这边使用的是CDN所以影响不大。但还是反映一下，避免后来者踩坑里。如果真的是版本问题，看到的小伙伴如果试了1.9.1是没有问题的，记得Call一声。我们有空也升级一下。

----------以下是10月30日的内容-----------

在使用C++SDK遍历文件时，出现BUG

下图是我的OSS上的根下的文件

使用是的RAM来操作的，生成临时的STS确定是没有问题的，因为生成的STS用于上传和获取单个文件信息都是正常且没有问题的。就是遍历文件会崩溃.

下图是关键代码

上面代码中红框部分，在遍历文件时，打印输出结果如下图

可以看到绿色箭头第一次打印输出a.jpg时，是正常的，OSS上确时有这个文件，但是在第二次打印输出时"0A966B546273DF37D3CE9F9599037616"这是什么玩意，OSS上根本没这个文件，之后的遍历就开始出错，然后就崩溃了。

如果是用于老版的C++SDK是正常没有问题的。现在使用的是新版的SDK出问题了。根据结果来推测，就应该是BUG。

----------以下是10月28日前的内容-----------

环境：windows10 64位。QT5.15.2

说明，这段代码是自己之前确定没有问题，然后弄成一个函数方便自己使用的。

访问的是方式是使用ram生成临时的STS来操作。

用的最新的SDK

上传文件到oss上没有问题。

获取oss上单个文件信息没有问题。

判断oss上是否存在指定文件也没有问题

以上这些都是通过OSS的SDK实现的

因为是要遍历文件所以RAM中也已经添加了oss:ListObjects和"oss:GetObject"相应的权限都已开放

现在遇到一个问题，在C++QT中使用阿里云OSS的C++SDK进行操作OSS时。程序就崩溃了。下面是遍历代码

std::string nextMarker = "";
    bool isTruncated = false;
    do {
        /* 列举文件。*/
        ListObjectsRequest request(bucketName);
        /* 设置列举文件的最大个数为500。*/
        request.setMaxKeys(500);
        request.setPrefix(ossDirPath.toStdString());
        request.setMarker(nextMarker);
        auto outcome = client->ListObjects(request);
        // outcome.isSuccess()值为true
        if (!outcome.isSuccess()) return false;
        for (const auto& object : outcome.result().ObjectSummarys()) {
            std::cout << "object"<<",name:" << object.Key() <<",size:" << object.Size() <<",lastmodify time:" << object.LastModified() << std::endl;
            std::string ossFilePathName = object.Key();
            std::cout << ossFilePathName;
        }
        nextMarker = outcome.result().NextMarker();
        isTruncated = outcome.result().IsTruncated();
        std::cout<<isTruncated;
    } while (isTruncated);

代码我已经精简了，其它那些确定百分之百无关的代码，都已经去掉。剩下的就是上面的代码了。

我在oss上有一个目录叫ddd,在ddd目录之下有子目录和文件。而上面的代码，运行之后，会在for循环里面打印出来一个文件。之后就崩溃的图片

于是我再次把代码精减

std::string nextMarker = "";
    bool isTruncated = false;
    do {
        /* 列举文件。*/
        ListObjectsRequest request(bucketName);
        /* 设置列举文件的最大个数为500。*/
        request.setMaxKeys(500);
        request.setPrefix(ossDirPath.toStdString());
        request.setMarker(nextMarker);
        auto outcome = client->ListObjects(request);
        // outcome.isSuccess()值为true
        if (!outcome.isSuccess()) return false;
        nextMarker = outcome.result().NextMarker();
        isTruncated = outcome.result().IsTruncated();
        std::cout<<isTruncated;
    } while (isTruncated);

依然崩溃，只是没有上一次的弹出提示而已了，是直接崩溃

再次精减代码

std::string nextMarker = "";
    bool isTruncated = false;
    do {
        /* 列举文件。*/
        ListObjectsRequest request(bucketName);
        /* 设置列举文件的最大个数为500。*/
        request.setMaxKeys(500);
        request.setPrefix(ossDirPath.toStdString());
        request.setMarker(nextMarker);
        auto outcome = client->ListObjects(request);
    } while (isTruncated);

依然无提示直接崩溃。

断点调试到这一句auto outcome = client->ListObjects(request);不会进入到while就直接崩溃了

client是百分之百实例化了的，不然上传和查看文件这些操作肯定都会报错

// 初始化OSS网络
    InitializeSdk();
    client = new OssClient(endpoint, accessKeyId, accessKeySecret, securityToken, conf);

所以现在不知道是什么问题了。有大佬能给出个提示什么的吗？

额外再问个其它的问题

SDK中例子有这代码

/* 从环境变量中获取访问凭证。运行本代码示例之前，请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。*/
    auto credentialsProvider = std::make_shared<EnvironmentVariableCredentialsProvider>();

这个EnvironmentVariableCredentialsProvider是什么意思，一直说从环境变量中获取访问凭证。运行本代码示例之前，请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。这个环境变量在哪里配置？找到与EnvironmentVariableCredentialsProvider相关的信息也不明白他说的“请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。”

卡在这里面了


参考回答：

从你提供的截图来看，似乎是在遍历OSS上的文件时出现了问题。这可能是因为OSS C++ SDK的一个bug导致的。我建议你尝试以下几种解决方法：

  1. 更新到最新版本的OSS C++ SDK。如果你已经在使用最新版本，那么可以尝试回退到一个之前的版本，看看问题是否得到解决。
  2. 检查你的代码，确保你没有在处理文件时出现错误。例如，确保你在遍历文件时使用了一个有效的prefix参数，并且你已经正确设置了maxKeys和marker参数。
  3. 如果你无法确定问题的原因，你可以尝试使用阿里云的OSS控制台来手动列出OSS上的文件。这样可以帮助你更好地理解问题出在哪里。


关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/564396


问题二：导入最新的Aliyun.OSS.dll，Unity2020编辑器运行正常，android运行报错

 

1.导入最新的Aliyun.OSS.dll

2.将Unity-Player-Other Settings设置

Api Compatibillity Level* = .NET 4.X

编辑器下运行正常

3.导出android包以后，运行报错

2023-10-23 18:57:24.372 29533-29619/? D/xiaoyuan: getUpdateCycle start

2023-10-23 18:57:24.378 29426-29730/? I/Unity: -----------------下载文件出错：System.NullReferenceException: Object reference not set to an instance of an object.

at Aliyun.OSS.Common.Communication.HttpExtensions.AddInternal (System.Net.WebHeaderCollection headers, System.String key, System.String value) [0x00000] in <00000000000000000000000000000000>:0

at Aliyun.OSS.Common.Communication.HttpFactory.SetRequestHeaders (System.Net.HttpWebRequest webRequest, Aliyun.OSS.Common.Communication.ServiceRequest serviceRequest, Aliyun.OSS.Common.ClientConfiguration configuration) [0x00000] in <00000000000000000000000000000000>:0

at Aliyun.OSS.Common.Communication.HttpFactory.CreateWebRequest (Aliyun.OSS.Common.Communication.ServiceRequest serviceRequest, Aliyun.OSS.Common.ClientConfiguration configuration) [0x00000] in <00000000000000000000000000000000>:0

at Aliyun.OSS.Common.Communication.ServiceClientImpl.SendCore (Aliyun.OSS.Common.Communication.ServiceRequest serviceRequest, Aliyun.OSS.Common.Communication.ExecutionContext context) [0x00000] i

2023-10-23 18:57:24.392 1553-2442/? D/GameManagerService: respondWithJson. command: get_sysfs_data


参考回答：

原因：

1.通过查看源码增加打印测试得知，在android环境中，Environment.OSVersion.Platform识别成了

Environment.OSVersion.Platform=PlatformID.Unix;

最后导致

_isMonoPlatform = MonoPlatforms.Contains(Environment.OSVersion.Platform);

_isMonoPlatform = true;

后续的赋值导致_addInternalMethod = null;

解决方案：

1.注释HttpExtensions.MonoPlatforms变量中的PlatformID.Unix

2.选中 aliyun-oss-sdk项目重新生成dll

3.拷贝 D:\unityWork\aliyun-oss-csharp-sdk-2.13.0\sdk\bin\Debug\Aliyun.OSS.dll覆盖到项目中

4.出android包测试成功


关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/563018


问题三：Unity2020打包android包后，运行Aliyun.OSS.dll失败


1.将Unity-Player-Other Settings设置

Api Compatibillity Level* = .NET 4.X

在编辑器上运行相关代码从阿里云桶中下载文件，正常没有任何问题

2.将项目打包出android运行之后，报错如下

2023-10-20 20:50:52.373 1553-2042/? I/WifiStateMachine: checkScoreBasedQuality - mPreviousScore[0]:92 mPreviousScore[1]:93 mPreviousScore[2]:94 s2Score:94mPrevoiusScoreAverage:93

2023-10-20 20:50:52.385 11799-11893/? E/Unity: NullReferenceException: Object reference not set to an instance of an object.

at Aliyun.OSS.Common.Communication.HttpExtensions.AddInternal (System.Net.WebHeaderCollection headers, System.String key, System.String value) [0x00000] in <00000000000000000000000000000000>:0

at Aliyun.OSS.Common.Communication.HttpFactory.SetRequestHeaders (System.Net.HttpWebRequest webRequest, Aliyun.OSS.Common.Communication.ServiceRequest serviceRequest, Aliyun.OSS.Common.ClientConfiguration configuration) [0x00000] in <00000000000000000000000000000000>:0

at Aliyun.OSS.Common.Communication.HttpFactory.CreateWebRequest (Aliyun.OSS.Common.Communication.ServiceRequest serviceRequest, Aliyun.OSS.Common.ClientConfiguration configuration) [0x00000] in <00000000000000000000000000000000>:0

at Aliyun.OSS.Common.Communication.ServiceClientImpl.SendCore (Aliyun.OSS.Common.Communication.ServiceRequest serviceRequest, Aliyun.OSS.Common.Communication.ExecutionContext context) [0x00000] in <00000000000000000000000000000000>:0

at

2023-10-20 20:50:52.386 657-14296/? D/qc_adm: ns 3524636 > expected_ns 3000000 (skipped 3)

2023-10-20 20:50:52.406 657-14296/? D/qc_adm: ns 3516251 > expected_ns 3000000 (skipped 3)

2023-10-20 20:50:52.414 657-14296/? D/qc_adm: ns 3500157 > expected_ns 3000000 (skipped 3)

2023-10-20 20:50:52.436 1030-1208/? D/DnsProxyListener: DNSDBG::dns addrinfo af 2


参考回答：

Unity2020打包android包后，运行Aliyun.OSS.dll失败的可能原因有以下几种：

  • Aliyun.OSS.dll文件不兼容或缺少依赖。可以尝试官网载最新版本的SDK，并将Aliyun.OSS.dll文件放入Unity项目中。也可以检查是否安装了Newtonsoft.Json.dll和log4net.dll等依赖库。
  • Unity的Gradle模板配置不正确。需要在Unity的安装目录下，找到PlaybackEngines/AndroidPlayer/Tools/GradleTemplates/baseProjectTemplate.gradle文件，并修改其中的repositories部分，将google()和jcenter()替换为阿里云的源。


关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/562672


问题四：在使用 oss服务编译出现的error


使用oss，sdk源码编译，环境以及sdk版本如下

-- Project version: 1.9.0

-- TARGET_OS: LINUX

-- Configuring done

-- Generating done

编译过程出现

/usr/bin/ld: ../lib/libalibabacloud-oss-cpp-sdk.a(ResumableCopier.cc.o): undefined reference to symbol 'pthread_create@@GLIBC_2.17'

/usr/bin/ld: /lib/aarch64-linux-gnu/libpthread.so.0: error adding symbols: DSO missing from command line

collect2: error: ld returned 1 exit status

目前没有找到解决办法，不知道有没有人也遇到过


参考回答：

这个错误信息表明在你的系统中缺少一个名为"libpthread.so.0"的库文件，这是Linux系统中一个重要的线程库文件。可能是你的系统没有安装这个库，或者你的库文件版本与你正在使用的其他库文件不兼容。

你可以尝试以下步骤来解决这个问题：

  1. 检查你的系统，确保你已经安装了"libpthread.so.0"库文件。如果没有，你可以使用你的系统的包管理器（例如，Ubuntu系统的apt，CentOS系统的yum）来安装这个库。
  2. 如果你已经安装了"libpthread.so.0"库文件，但是你的库文件版本与你正在使用的其他库文件不兼容，你可能需要更换一个版本的库文件。
  3. 如果你确定你的系统和库文件都没有问题，但是编译时仍然出现这个错误，你可能需要查看SDK的编译选项，确保所有必要的库文件和头文件都被正确地链接了。


关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/559150


问题五：阿里云追加上传 ObjectMetadata 中 自定义参数userMetadata设置问题

 

问题描述

使用阿里云appendObject 追加上传时 ObjectMetadata 中的 userMetadata 中自定义的参数在首次上传设置时有效 追加上传更新 userMetadata 参数时 更新不成功

期望结果

追加上传可以更新userMetadata中自定义参数

已尝试的方法

...


参考回答：

你好，目前暂不支持追加上传更新元信息，详情可参考：https://help.aliyun.com/document_detail/84784.html

若您想修改文件元信息可在文件上传成功后单独进行元信息的修改，具体可参考：https://help.aliyun.com/document_detail/84840.html#section-7wq-ouw-jbx


关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/502320

文章标签：
对象存储
对象存储
开发工具
C++
Android开发
图形学
关键词：
对象存储文件
C++文件
音视频终端 SDK文件
C++ sdk
c++音视频终端 SDK
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS，搭建一个在线教育视频课程分享网站。
真的很搞笑
目录
相关文章
嘟嘟嘟嘟嘟嘟
|
2月前
|
机器学习/深度学习 算法 C++
C++多态崩溃问题之为什么在计算梯度下降时需要除以批次大小（batch size）
C++多态崩溃问题之为什么在计算梯度下降时需要除以批次大小（batch size）
嘟嘟嘟嘟嘟嘟
33 1
嘟嘟嘟嘟嘟嘟
|
2月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之多个业务流程上传同名资源到同一个OSS（对象存储服务）URL，会产生什么问题
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
47 7
嘟嘟嘟嘟嘟嘟
|
2月前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
131 6
你的小帮手
|
2月前
|
存储 弹性计算 对象存储
预留空间是什么？阿里云OSS对象存储预留空间说明
阿里云OSS预留空间是预付费存储产品，提供折扣价以锁定特定容量，适用于抵扣有地域属性的Bucket标准存储费用及ECS快照费。通过购买预留空间，如500GB通用预留+100GB标准-本地冗余存储包，用户可优化成本。
你的小帮手
57 4
萝卜丝丸子
|
2月前
|
运维 Serverless 数据处理
函数计算产品使用问题之在对象存储服务（OSS）上创建ZIP包解压触发器后，触发器未按预期执行，一般是什么导致的
函数计算产品作为一种事件驱动的全托管计算服务，让用户能够专注于业务逻辑的编写，而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景，从简单的数据处理到复杂的业务逻辑，实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点，帮助你更好地理解和应用这一服务。
萝卜丝丸子
42 0
嘟嘟嘟嘟嘟嘟
|
2月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之如何将冷存到OSS（Object Storage Service）的数据恢复
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务，旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境，满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能，实现数据库的高效运维与持续优化。
嘟嘟嘟嘟嘟嘟
29 0
百锦再@新空间代码工作室
|
2月前
|
存储 算法 搜索推荐
C++ 补充之常用遍历算法
C++ 补充之常用遍历算法
百锦再@新空间代码工作室
24 1
花开富贵111
|
3月前
|
文字识别 算法 安全
视觉智能开放平台产品使用合集之如何将返回的图片链接转存到OSS（对象存储服务）
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台，这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API，快速将视觉智能功能集成到自己的应用或服务中，而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
花开富贵111
32 0
米诺斯
|
3月前
|
算法 搜索推荐 C++
C++之STL常用算法(遍历、查找、排序、拷贝、替换、算数生成、集合)
C++之STL常用算法(遍历、查找、排序、拷贝、替换、算数生成、集合)
米诺斯
27 0
米诺斯
|
3月前
|
算法 C++ 容器
C++之vector容器操作(构造、赋值、扩容、插入、删除、交换、预留空间、遍历)
C++之vector容器操作(构造、赋值、扩容、插入、删除、交换、预留空间、遍历)
米诺斯
69 0
云存储

对象存储OSS

热门文章

最新文章

  • 1
    对象存储oss使用问题之操作报错：Unable to execute HTTP request: SocketException如何解决
  • 2
    手把手教你搭建阿里云图床(PicGo+Typora+阿里云OSS)，新手小白一看就会
  • 3
    对象存储oss使用问题之操作报错：The request signature we calculated does not match the signature you provide如何解决
  • 4
    springboot配置阿里云OSS存储实现文件上传下载功能
  • 5
    Python中使用阿里云OSS存储实现文件上传和下载功能
  • 6
    基于nginx反向代理实现OSS固定域名IP访问
  • 7
    对象存储OSS快速上手——ossutil工具管理OSS
  • 8
    连接重置常见原因及排查方法
  • 9
    对象存储OSS产品常见问题之购买的资源包和预留空间区别只购买了预留空间会自动抵扣如何解决
  • 10
    对象存储oss使用问题之使用oss上服务器后显示服务异常如何解决
  • 1
    函数计算操作
    31
  • 2
    服务器如何升级
    44
  • 3
    几百T的视频、图片数据进行更有效地存储和管理
    19511
  • 4
    APP管理后台OSS技术改造
    85
  • 5
    阿里云oss备份网站数据的详细步骤
    271
  • 6
    对象存储OSS产品常见问题之图片无法加载排查如何解决
    486
  • 7
    对象存储OSS产品常见问题之控制台概览显示的流量信息和bucket的不一致如何解决
    150
  • 8
    对象存储oss使用问题之OSS文件下载中CRC64校验如何解决
    369
  • 9
    对象存储OSS产品常见问题之使用中上传图片慢如何解决
    492
  • 10
    对象存储OSS产品常见问题之购买的资源包和预留空间区别只购买了预留空间会自动抵扣如何解决
    836

    • 相关产品

  • 对象存储
    文档详情 产品详情

    • 相关课程

    更多
  • 对象存储OSS的云上可观测能力最佳实践
  • 基于FC+NAS部署SD服务，并从OSS模型库下载模型文件
  • C++ 入门教程开发文档
  • 阿里云文件存储 NAS 使用教程

    • 相关电子书

    更多
  • OSS运维进阶实战手册
  • 《OSS运维基础实战手册》
  • OSS运维基础实战手册

    • 相关实验场景

    更多
  • 基于对象存储工具ossfs的操作指南
  • 对象存储OSS快速上手——如何使用ossbrowser
  • 使用OSS助力游戏资源加速
  • 利用HBR实现文件存储NAS备份
  • 利用HBR实现OSS文件备份
  • 使用日志服务SLS进行OSS可观测分析
    • 下一篇
    云函数