一、产品优势

倚天云服务器采用倚天710处理器具有以下几个优势:

1. 高能效比

- 倚天710采用ARM v9架构,能效比有较大提升。

2. AI计算加速

- 支持int8和bfloat16数精度,机器学习工作负载的推理性能可提高2倍。

3. 存储和网络加速

- 借助CIPU架构中的专有硬件加速存储和网络,保证高性能和安全性。网络性能上限可达2000w PPS。

4. 支持eRDMA

- 支持高效的eRDMA网络协议,提升性价比。

5. 2 * 100Gb网络

- 对比上一代CIPU架构,网络带宽提升1倍。

6. 支持主流软件生态

- 支持多种主流操作系统,开源软件和PaaS产品。

7. 精简产品优势

- 相比通用型服务器,提供定制化的计算、存储、网络配置,降低资源浪费。

综上,倚天710处理器通过自研芯片CIPU架构,提供计算、存储、网络一体化加速,是高性能、高效率的云原生服务器处理器。

二、测评步骤

个人版对话大模型搭建

1. 在ECS控制台创建GPU实例,选择Ubuntu 20.04镜像并选中安装GPU驱动,分配公网IP。

2. 添加安全组规则,开放7860端口。

3. 远程登录实例,验证GPU驱动和CUDA已安装。

4. 安装Git、Python包及tmux,使用tmuxsession下载Chinese-LLaMA-Alpaca和llama-13b-hf模型。

apt install -y git git-lfs python-is-python3

pip install git+https://github.com/huggingface/transformers
pip install sentencepiece==0.1.97 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install peft==0.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

apt install -y tmux
tmux

git clone https://github.com/ymcui/Chinese-LLaMA-Alpaca.git

git-lfs clone https://huggingface.co/ziqingyang/chinese-alpaca-lora-13b

git-lfs clone https://huggingface.co/decapoda-research/llama-13b-hf

5. 运行脚本合并代码,生成Huggingface格式的合并模型。

cd Chinese-LLaMA-Alpaca/
python scripts/merge_llama_with_chinese_lora.py --base_model ~/llama-13b-hf/ \
        --lora_model ~/chinese-alpaca-lora-13b/ --output_type huggingface \
        --output_dir ./llama_with_lora_hf

ls -lh llama_with_lora_hf

6. 克隆WebUI代码,安装依赖,建立指向合并模型目录的软链接。

cd
git clone https://github.com/oobabooga/text-generation-webui.git

cd text-generation-webui/
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

ln -s /root/Chinese-LLaMA-Alpaca/llama_with_lora_hf/ models/llama_with_lora_hf

cd text-generation-webui/
python server.py --model llama_with_lora_hf --listen --chat --load-in-8bit

7. 启动WebUI,访问公网IP验证对话功能。

获取ECS实例的公网IP地址

三、测评感受

倚天云服务器的详细说明,进行体验和测试,针对提出的几个话题,汇报我的使用感受:

1. 倚天实例的使用体验和部署业务感觉非常流畅,相比X86实例有以下区别:

- 倚天CPU采用ARM架构,在相同核心数下,计算性能比X86略低,但CPU和内存访问延迟更低。

- 倚天网络性能非常优异,采用RDMA技术,网络IO性能是X86的几倍。这对大流量网站非常有利。

- 倚天实例系统盘是SSD云盘,数据读写速度明显快过X86普通云盘。

2. 我对倚天和X86实例进行了视频转码压力测试对比。随着请求并发数增加,倚天实例的CPU使用率曲线更加平稳,转码耗时也更低。主要原因是其RDMA网络栈优化和SSD云盘access速度快。

3. 倚天实例为我的高并发网站提供了很大帮助。我将MySQL数据库从X86实例迁移到了倚天的内存优化型实例,数据库的响应时间至少下降了50%以上,大大提升了网站性能。

4. 我在迁移业务到倚天实例的过程中,主要遇到两个问题:

- 倚天目前实例规格型号较少,在选择配置时需要考量业务需求。

- 由于架构差异,不支持直接把X86系统盘镜像迁移到倚天上,需要重新部署环境。

5. 在使用倚天实例过程中,我主要参考了倚天产品文档、ECS文档和论坛,基本能找到所需信息。如果可以提供更详细的业务迁移指南就更好了。

以上是我对倚天云服务器的使用体验汇总,感谢您提供体验机会,倚天实例在高 IO 和网络场景具有非常大的优势,值得推荐。