72B、1.8B、Audio模型

72B和1.8B是两个不同的模型,具体区别如下:

• 72B是一个相对较大的模型,拥有72个亿个参数,而1.8B只有180亿个参数。
• 72B是一个多模态模型,可以处理文本、图像、语音等多种模态的数据,而1.8B是一个纯文本模型,只能处理文本数据。
• 72B和1.8B使用的预训练目标也不同,72B使用的是CLUE(Contrastive Learning of Unsupervised Embeddings)预训练目标,而1.8B使用的是BERT(Bidirectional Encoder Representations from Transformers)预训练目标。

Audio模型是一种专门用于处理音频数据的模型,与72B和1.8B不同,它不是一个多模态模型,也不是一个纯文本模型。Audio模型使用的预训练目标通常是Mel谱的线性预测或者MSE(Mean Squared Error)损失函数。
下面是几个demo的对比:

1. 72B模型:https: //hfl.github.io/demo/72B/

• 示例:输入“一只猫”,输出猫的图片、文本和音频的相关信息。
• 特点:处理多种模态的数据,生成的结果比较丰富。

1. 1.8B模型:https://hfl.github.io/demo/1.8B/

• 示例:输入“猫”,输出与“猫”相关的文章、图片和音频。
• 特点:纯文本模型,生成的结果比较简洁。

1. Audio模型:https: //hfl.github.io/demo/Audio/

• 示例:输入音频文件,输出音频文件的Mel谱和线性预测结果。
• 特点:专门用于处理音频数据,生成的结果比较专业。

总的来说,72B和1.8B模型更适合于处理多模态数据,而生成的结果比较丰富;Audio模型更适合于处理音频数据,而生成的结果比较专业。