暂无个人介绍
1 背景:AIGC是目前的大火热点,想简单尝鲜可以使用一些厂商提供的现成的服务,也可以自己部署一个。由于后续要考虑针对OSS存储在这个场景做一些优化,所以这里自己用源码部署一个以便后续修改。完成到效果:2 原料准备 硬件:ECS: gn6i-c24g ,带2个T4 GPU,开通了公网IP,后面可以通过该IP来访问UI。 软件:操作系统: Debian 5.10.162-1 (2023-01-2
1 背景基于snowflake,redshift等在云上数仓的开创性工作,基于对象存储构建数据湖/数仓已经成为一股新的潮流,现在的云上数据库通常都采用计算-存储分离的架构,而不再是传统的share-nothing,这是由对象存储的的高弹性,低成本带来的优势,但是有与对象的存储特性,其在单流性能方面的弱点也很明显。目前的常见的场景中,如离线分析,基本都只能采用大规模并发的方式大量调用对象存储的AP
1.背景介绍OSS目前已经直接可以支持HDFS接口,底层数据都是存放在OSS上,但是hdfs的数据以一个单独的组织形式存在,这里一个需要解决的问题是如何将数据在hdfs和oss间款式转换,,“OSS数据湖特征中的HDFS元数据转换”功能就是解决以上问题而推出的(目前支持oss向hdfs转换,后续也会支持反向转换),并且兼顾效率(快速)和资源(不需要安装第三方程序不需要申请服务器)。本文基于此功能,
OSS加速器最佳实践(总述篇)本最佳实践提供OSS加速器相关的信息和适合的场景,面向对oss和数据湖相关技术有一定了解的开发者。 大家可以通过这俩篇先做一些了解相关文档:《配置OSS加速器》https://help.aliyun.com/document_detail/190726.html《OSS加速器介绍》https://developer.aliyun.com/article/780