01 背景
OpenAI 在 3 月 15 日发布了备受瞩目的 GPT4，它在司法考试和程序编程领域的惊人表现让大家对大语言模型的热情达到了顶点。人们纷纷议论我们是否已经跨入通用人工智能的时代。与此同时，基于大语言模型的应用也如雨后春笋般出现，为我们带来了协同办公、客服对话、语言翻译、内容生成等方面前所未有的畅快体验。
然而，当我们享受着大语言模型带来的普惠 AI 能力时，它也给开发者们带来了前所未有的挑战。随着模型不断增大，计算量也达到了空前的高度，直接导致推理时间变长。为了解决大语言模型推理的延迟问题，业界已经提供了一些解决方案，比如 Tensorrt、FasterTransformer 和 vllm。为了帮助用户解决云原生系统中的大语言模型推理加速问题，云原生 AI 套件引入了 FasterTransformer 推理加速方案。
本文将在 ACK 容器服务上，以 Bloom7B1 模型为例展示如何使用 FasterTransformer 进行推理加速。本例中会使用以下组件：
Arena
Arena 是基于 Kubernetes 的机器学习轻量级解决方案，支持数据准备、模型开发，模型训练、模型预测的完整生命周期，提升数据科学家工作效率。同时和阿里云的基础云服务深度集成，支持 GPU 共享、CPFS 等服务，可以运行阿里云优化的深度学习框架，最大化使用阿里云异构设备的性能和成本的效益。更多 arena 信息，可以参考云原生 AI 套件开发者使用指南。
Triton Server
Triton Server为Nvidia 提供了机器学习推理引擎，可以支持 Tensorflow、Pytorch、Tensorrt 和 Fastertransformer 多种 backend。云原生 AI 套件已经将 Triton Server 加入到 Arena 中，用户可以通过简单的命令行或 SDK 来在云原生系统中完成 Triton Server 服务的拉起、运维和监控。更多 AI 套件中使用 Triton Server 信息，可以参考部署 PyTorch 模型推理服务。
FasterTransformer
FasterTransformer 是真对于 Transofrmer 类型模型（也包括 encoder-only、decoder-only）的推理加速方案，其提供了 Kernel Fuse、Memory reuse、kv cache、量化等多种优化方案，同时也提供了 Tensor Parallel 和 Pipeline Parallel 两种分布式推理方案。本文将介绍如何在云原生 AI 套件中使用 FasterTransformer 进行模型的推理加速。
02 环境准备
环境准备分为两个部分，第一个部分是创建包含 GPU 的 Kubernetes 集群和安装云原生 AI 套件，第二个部分是从 huggingface 官网下载 bloom-7b1 模型。
模型的下载命令如下：
git lfs install git clone git@hf.co:bigscience/bloom-7b1
通过上面的命令，可以将 huggingface repo 中的文件下载到本地：
下载完成后，我们将 bloom-71 文件夹上传到 OSS 中，作为推理时的共享存储，OSS 的使用可以参考开始使用 OSS。
上传到 OSS 之后，分别创建名称为 bloom7b1-pv 和 bloom7b1-pvc 的 PV 和 PVC，以用于推理服务的容器挂载。具体操作，请参见使用 OSS 静态存储卷。
03 模型转换
FasterTransformer 本质上是对模型的重写，它通过 CUDA、cuDNN 和 cuBLAS 重写了 Transformer 模型结构，因此其具有自己的模型结构和模型参数的描述方式。而我们的模型一般是通过 Pytorch、Tesorflow、Megatron 或 huggingface 这样的训练框架产出，其往往又具有自己单独的一套模型结构和参数的表达，因此在使用FasterTransformer时，就需要将模型原有的 checkpoint 转换为 FasterTransformer 的结构。
FasterTransformer 中已经支持了多种类型的转换脚本，这里我们使用 FasterTransofrmer 提供的 examples/pytorch/gpt/utils/huggingface_bloom_convert.py。
云原生 AI 套件已经接入了上述的转换逻辑，因此，通过如下脚本即可完成一次模型的转换。
arena submit pytorchjob\ --gpus=1\ --image ai-studio-registry.cn-beijing.cr.aliyuncs.com/kube-ai/fastertransformer:torch-0.0.1\ --name convert-bloom\ --workers 1\ --namespace default-group\ --data bloom-pvc:/mnt\ 'python /FasterTransformer/examples/pytorch/gpt/utils/huggingface_bloom_convert.py -i /mnt/model/bloom-7b1 -o /mnt/model/bloom-7b1-ft-fp16 -tp 2 -dt fp16 -p 64 -v'
通过 arena log 来观察转换的日志：
$arena logs -n default-group convert-bloom ======================= Arguments ======================= - input_dir...........: /mnt/model/bloom-7b1 - output_dir..........: /mnt/model/bloom-7b1-ft-fp16 - tensor_para_size....: 2 - data_type...........: fp16 - processes...........: 64 - verbose.............: True - by_shard............: False ========================================================= loading from pytorch bin format model file num: 2 - model.pre_decoder_layernorm.bias................: shape (4096,) | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.pre_decoder_layernorm.bias.bin - model.layers.0.input_layernorm.weight...........: shape (4096,) | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.layers.0.input_layernorm.weight.bin - model.layers.0.attention.dense.bias.............: shape (4096,) | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.layers.0.attention.dense.bias.bin - model.layers.0.input_layernorm.bias.............: shape (4096,) | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.layers.0.input_layernorm.bias.bin - model.layers.0.attention.query_key_value.bias...: shape (3, 2048) s | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.layers.0.attention.query_key_value.bias.0.bin (0/2) - model.layers.0.post_attention_layernorm.weight..: shape (4096,) | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.layers.0.post_attention_layernorm.weight.bin - model.layers.0.post_attention_layernorm.bias....: shape (4096,) | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.layers.0.post_attention_layernorm.bias.bin - model.layers.0.mlp.dense_4h_to_h.bias...........: shape (4096,) | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.layers.0.mlp.dense_4h_to_h.bias.bin - model.layers.0.mlp.dense_h_to_4h.bias...........: shape (8192,) s | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.layers.0.mlp.dense_h_to_4h.bias.0.bin (0/2) - model.layers.0.attention.query_key_value.bias...: shape (3, 2048) s | saved at /mnt/model/bloom-7b1-ft-fp16/2-gpu/model.layers.0.attention.query_key_value.bias.1.bin (1/2)
通过 arena list 命令查看转换是否执行结束：
NAME STATUS TRAINER DURATION GPU(Requested) GPU(Allocated) NODE convert-bloom SUCCEEDED PYTORCHJOB 3m 1 N/A 192.168.123.35
转换完成后，会在 OSS 上创建一个 model/arena/bloom-7b1-ft-fp16 文件夹，文件中会存储 FasterTransofrmer 所对应的 checkpoint。
