1. 空间论
不同类型的语料所覆盖的空间会不一样，训练出来的模型理论上应该是对训练集所覆盖的空间的测试集的泛化效果更好，而如果你用的是特定语料的bert，但是你想测试其他领域的余料的话，它的泛化性就会弱。
2. 知识论
预训练语言模型能学习到语料中的知识，而通用语料缺乏特定领域的知识，因此直接用通用BERT难以解决需要专业知识的特定领域的问题。
（可以参考：LawBERT: Towards a Legal Domain-Specific BERT? | by Erin Zhang | Towards Data Science）
3. 典型的特定领域BERT
生物医学：BioBERT
科学出版物：SciBERT
金融：FinBERT
医学：ClinicalBERT
法律：LegalBERT
