【EMNLP 2023】基于知识迁移的跨语言机器阅读理解算法
近日，阿里云人工智能平台PAI与华南理工大学朱金辉教授团队、达摩院自然语言处理团队合作在自然语言处理顶级会议EMNLP2023上发表基于机器翻译增加的跨语言机器阅读理解算法X-STA。通过利用一个注意力机制的教师来将源语言的答案转移到目标语言的答案输出空间，从而进行深度级别的辅助以增强跨语言传输能力。同时，提出了一种改进的交叉注意力块，称为梯度解缠知识共享技术。此外，通过多个层次学习语义对齐，并利用教师指导来校准模型输出，增强跨语言传输性能。实验结果显示，我们的方法在三个多语言MRC数据集上表现出色，优于现有的最先进方法。
【EMNLP 2023】基于大语言模型的复杂任务认知推理算法CogTree
近日，阿里云人工智能平台PAI与华东师范大学张伟教授团队合作在自然语言处理顶级会议EMNLP2023上发表了基于认知理论所衍生的CogTree认知树生成式语言模型。通过两个系统：直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设，反思系统对直觉系统产生的假设进行验证，并选择更有可能的假设进行后续生成，直到达到最终结果。通过上述双系统的迭代式生成，可以提升大模型的解题准确度。
【EMNLP 2023】面向垂直领域的知识预训练语言模型
近日，阿里云人工智能平台PAI与华东师范大学数据科学与工程学院合作在自然语言处理顶级会议EMNLP2023上发表基于双曲空间和对比学习的垂直领域预训练语言模型。通过比较垂直领域和开放领域知识图谱数据结构的不同特性，发现在垂直领域的图谱结构具有全局稀疏，局部稠密的特点。为了补足全局稀疏特点，将垂直领域中分层语义信息通过双曲空间注入到预训练模型中。为了利用局部图结构稠密特点，我们利用对比学习构造图结构不同难度的正负样本来进一步加强语义稀疏的问题。
ChatGPT 文本Embedding融合Qdrant向量数据库：构建智能问答系统的技术探索
向量数据库结合ChatGPT带来了什么
1. **语义搜索：** 使用向量数据库进行语义搜索，可以更准确地找到与查询相关的信息。ChatGPT可以理解用户的自然语言查询，而向量数据库可以根据语义相似性返回匹配的向量数据。
2. **智能推荐：** 结合ChatGPT的智能理解和向量数据库的相似性搜索，可以实现更智能的推荐系统。系统可以根据用户的历史行为和语境，向用户推荐相似的向量数据，如文章、产品或其他内容。
3. **自然语言处理与向量表示结合：** ChatGPT可以将自然语言转换为向量表示，这样就可以在向量数据库中进行更高效的查询。这种集成使得自然语言处理和向量数据库可以相互补充等
