Understanding and Improving Layer Normalization | NIPS 2019 论文解读
作者们认为，前向归一化并非LN起作用的唯一因素，均值和方差也是重要原因。它们改变了后向梯度的中心和范围。同时，作者还发现，LN的参数，包括bias和gain，并非总是能够提升模型表现，甚至它们可能会增加过拟合的风险。因此，为了解决这个问题，作者们提出了自适应的LN（简称AdaNorm）。AdaNorm将LN中的bias和gain替换成线性映射函数的输出。这个函数能够自适应地根据不同的输入调整权重。作者们在七个数据集上做了实验都表明AdaNorm能够取得更好的效果。同时可以看到，AdaNorm缓解了过拟合的问题，并且给训练带来更好的收敛效果。
什么是token？3分钟带你看懂
`Token`在人工智能领域指的是文本处理的最小单元，用于大语言模型如LLM，它可以是单词、字母等。在模型运作中，输入的文本被转化为tokens，模型通过分析上下文tokens预测并生成输出。模型的上下文（窗口）长度限制了处理的token数量，影响性能和用户体验。此外，`token`也与收费计量单位相关，大模型服务商常按token量计费。同时，`AI token`在某些场景下代表代币，用于应用程序交易、服务和投资，有时扮演加密货币角色。Token在人机交流中起到桥梁作用，促进了通用人工智能的普及和发展。
面向索引、模型、检索联合优化的下一代推荐技术 | NIPS 2019 论文解读
搜索，推荐和广告是互联网内容提供商进行价值创造的核心业务，在阿里巴巴这一世界上最大的电子商务交易平台上，搜索，推荐和广告业务同样具有举足轻重的意义和价值。搜索、推荐和广告看似业务形态不同，其实技术组成却是非常相通的。从推荐的视角看，搜索可以认为是一种带query相关性约束的推荐，而广告则是叠加了广告主营销意愿（价格）约束的推荐，所以推荐技术的创新对推动搜索、推荐和广告业务技术的整体发展具有基础性的作用。
claude国内怎么用？教你两种claude国内使用方法！
Claude AI 是由 Anthropic 公司开发的一款新一代 AI 助手，旨在成为更安全、更友好、更可靠的 AI 系统。它基于 Anthropic 对 AI 安全性的深入研究，并采用 “Constitutional AI” (宪法式 AI) 的训练方法，使其行为更符合人类价值观，并减少有害输出的可能性。 🛡️
什么是AI？如何使用AI？本文告诉你
人工智能（AI）是借助计算机技术来模拟与实现人类智慧的一项科技。它涵盖了从感知到语言理解等多方面的能力。AI可划分为弱AI、强AI及超AI三类，当前主要集中在弱AI的应用上，如语音助手和图像识别。为了高效运用AI，首先需清晰目标，再选取合适的工具，同时保证数据质量，不断优化模型，并注重伦理考量，最终实现人机协同作业，充分发挥各自优势。
RAG 是什么？一文带你看懂 AI 的“外挂知识库”
RAG（检索增强生成）是一种结合信息检索与文本生成的技术，通过“先查资料后回答”机制解决传统模型知识更新滞后及幻觉问题。其核心流程包括：1) 检索：从外部知识库中查找相关文本片段；2) 生成：将检索结果与用户查询输入给大语言模型生成回答。RAG利用Embedding模型将文本转为向量，通过语义匹配实现高效检索，提供更准确、实时的回答。