开发者社区> 松茂> 正文

【答疑】对象存储OSS常见问题解答(咨询类2)

简介: 对象存储OSS常见问题解答
+关注继续查看

1. oss支持直接网络流上传么,比如说客户有个url,然后里面的内容直接上传到oss上面?


解答:OSS支持流式上传。


流式上传是简单上传的一种,流式上传使用InputStream作为文件的数据源。
利用流式上传可以上传字符串,Byte数组,网络流,文件流。

具体可以参考 https://help.aliyun.com/document_detail/84781.html?spm=a2c4g.11186623.6.689.7e5e3bdbBhY7x7#h2-u6587u4EF6u4E0Au4F202


2. HeadObject接口里的 x-oss-actual-etag 是object实际的etag吗?

解答: 不一定是。简单上传的时候是,分片上传的时候不是。


OSS上的object会有etag标签,etag主要是用来判断服务端数据是否存在变化。
但是,这个标签并不一定等同于文件的MD5值,所以不建议作为校验数据一致性的依据。
如果需要校验上传到OSS的文件和本地文件是否一致,可以在上传文件时携带文件的Content-MD5值,
这时OSS服务端会帮用户进行MD5校验,只有在OSS服务器接收到的文件MD5值和Content-MD5一致时才可以上传成功,从而保证上传数据的一致性。

具体可以参考 https://help.aliyun.com/knowledge_detail/39615.html?spm=5176.11065259.1996646101.searchclickresult.178f7d80XxvPEN


3. oss迁移,能用运维的方式做么?

解答: 可以使用OSSImport工具


OssImport工具可以将本地、其它云存储的数据迁移到OSS,它有以下特点:

支持的丰富的数据源,有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等,并可根据需要扩展;
支持断点续传;
支持流量控制;
支持迁移指定时间后的文件、特定前缀的文件;
支持并行数据下载、上传;
支持单机模式和分布式模式,单机模式部署简单使用方便,分布式模式适合大规模数据迁移

另外近日还推出了界面操作方式的在线迁移服务,可以更方便的进行数据迁移。

阿里云在线迁移服务是阿里云提供的存储产品数据通道。

使用在线迁移服务,您可以将第三方数据轻松迁移至阿里云对象存储 OSS,也可以在对象存储 OSS 之间进行灵活的数据迁移。

4. 如何开通日志服务?

解答:您可以在OSS管理控制台中使用日志分析功能,对海量日志进行分析。

日志分析为收费项目,资费标准请查阅计费方式说明日志分析操作和日志字段说明


OSS的用户常需要分析访问日志和资源消耗相关的数据,如:

OSS存储、流量、请求的使用情况
文件生命周期过程中的日志查询(创建、修改、删除)
热点的文件、其访问量以及产生的流量
获取报错请求日志列表及错误内容
具体开通步骤请参考: https://help.aliyun.com/document_detail/70449.html?spm=5176.11065259.1996646101.searchclickresult.308a69bdc1jtXq


5. oss的bucket能否限制上传文件的类型

解答:通过postpolicy和url签名是可以限制上传的content-type。关于content-type的介绍可以参考:https://help.aliyun.com/knowledge_detail/39522.html?spm=5176.11065259.1996646101.searchclickresult.7b323836Oi9Hzd


6. java sdk 流式下载时候报这错误 error:Premature end of Content-Length delimited message body

解答: 原因是两次读取数据间隔时间超过1分钟。OSS会关闭超过1分钟没有发送或接收数据的连接。


通常会返回如下错误:


Exception in thread "main" org.apache.http.ConnectionClosedException: Premature end of Content-Length delimited message body (expected: 11990526; received: 202880
	at org.apache.http.impl.io.ContentLengthInputStream.read(ContentLengthInputStream.java:180)
	at org.apache.http.impl.io.ContentLengthInputStream.read(ContentLengthInputStream.java:200)
	at org.apache.http.impl.io.ContentLengthInputStream.close(ContentLengthInputStream.java:103)
	at org.apache.http.impl.execchain.ResponseEntityProxy.streamClosed(ResponseEntityProxy.java:128)
	at org.apache.http.conn.EofSensorInputStream.checkClose(EofSensorInputStream.java:228)
	at org.apache.http.conn.EofSensorInputStream.close(EofSensorInputStream.java:174)
	at java.io.FilterInputStream.close(FilterInputStream.java:181)
	at java.io.FilterInputStream.close(FilterInputStream.java:181)
	at com.aliyun.oss.event.ProgressInputStream.close(ProgressInputStream.java:147)
	at java.io.FilterInputStream.close(FilterInputStream.java:181)
	at samples.HelloOSS.main(HelloOSS.java:39)
如果您每次读取部分数据进行处理,且处理数据的时间不固定,建议使用指定范围读取,避免数据读取时连接关闭。


具体请参考: https://help.aliyun.com/document_detail/32024.html?spm=a2c4g.11186623.6.724.66192237ATTw3o#h2-u8FDEu63A5u5173u95ED6


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
访问 OSS 这类对象存储最快的方式- JindoFS SDK |学习笔记
快速学习 访问 OSS 这类对象存储最快的方式- JindoFS SDK
181 0
数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
938 0
【答疑】对象存储OSS常见问题解答(SDK类2)
1.客户在使用OSS java SDK 上传时发现卡死。解答:原因是连接池中连接泄漏,可能是使用ossObject后没有关闭。云栖社区里有一篇文章详细介绍了这个问题: https://yq.aliyun.
1853 0
【答疑】对象存储OSS常见问题解答(咨询类3)
OSS支不支持HTTPS?解答:支持 使用HTTPS的最佳实践: https://yq.aliyun.com/articles/686003?spm=a2c4e.11163080.searchblog.97.34e42ec1yNirpJ 如果使用OSS又用了CDN加速, 第一次CDN没命中的时候, 是怎样收费的?解答:如果访问CDN没有命中的话,CDN会去OSS回源,这时是不消耗下行流量包的,只消耗回源流量包。
1394 0
【答疑】对象存储OSS常见问题解答(SDK类1)
1. OSS C SDK,是否支持在mac系统上运行? 解答:不支持。 截止本文撰写之际,官网文档基于OSS C SDK 3.6.0编写。 兼容性 对于3.*.*系列SDK:兼容。 对于 2.*.*系列SDK: Windows兼容。
1919 0
【答疑】对象存储OSS常见问题解答(咨询类1)
1. OSS最大支持多大的文件? 解答:非multipart方式上传,最大支持5GB的文件; multipart方式上传,最大支持48.8TB。 通过控制台上传、简单上传、表单上传、追加上传的文件大小不能超过5GB, 要上传大小超过5GB的文件必须使用断点续传方式。
3764 0
【答疑】对象存储OSS常见问题解答(工具类1)
1. OSS控制台不支持上传文件夹,是否有其它方式可以支持? 解答:OSS提供了ossutil工具,支持文件夹上传。 使用cp命令进行上传/下载/拷贝文件时: 使用-r选项来拷贝文件夹 详见官网说明:https://help.aliyun.com/document_detail/50561.html Github:http://github.com/aliyun/ossutil 2. OSS的URL,怎么将失效时间设置得久一点? 解答:请使用ossutil工具。
3762 0
阿里云闫卫斌:打造具备极致容灾能力的对象存储
数字经济时代,数据正呈现爆炸式的增长。有数据表明,近6年来中国数据增量年均增速超过30%。如此快速增长的数据,离不开相应的存储设备提供支撑。传统集中式存储受性能天花板的限制,难以满足海量数据存储的需求。分布式存储以Scale out(横向扩展)为特征,正成为海量数据存储的首选,这已经成为业内的普遍共识。
19141 0
PolarDB-PG | PostgreSQL + 阿里云OSS 实现高效低价的海量数据冷热存储分离
数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办? 冷热分离方案: - 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询. - duckdb 存储元数据(parquet 映射) 方案特点: - 内网oss不收取网络费用, 只收取存储费用, 非常便宜 - oss分几个档, 可以根据性能需求选择 - parquet为列存储, 一般历史数据的分析需求多,性能不错 - duckdb 支持 parquet下推过滤, 数据过滤性能不错
4792 0
+关注
文章
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
百问百答-OSS (上)
立即下载
百问百答-OSS (下)
立即下载
阿里云 JindoFS+OSS 数据上云实战
立即下载