近日，阿里云人工智能平台PAI与阿里集团安全部内容安全算法团队、华东师范大学何晓丰教授团队合作，在自然语言处理顶级会议ACL2024上发表论文《On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models》，论文主题为长尾知识检索增强的大语言模型。通过将问题识别为普通可回答和长尾两种性质，让大模型针对性的对长尾问题进行检索文档增强。对于普通可回答的用户提问可以直接通过大模型回答，而不需要进行文档检索增强，从而能增强大模型处理不同类型用户提问的效率。

分析性能提升40%，阿里云Hologres流量场景最佳实践

本文介绍了如何使用OpenSearch LLM智能问答版，三步搭建一站式多模态RAG系统。

MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

【6月更文挑战第11天】Akka是Java开发者的并发利器，基于Actor模型，通过消息传递实现安全并发。核心组件包括Actor System、Actor、Message和Props。常见问题涉及Actor阻塞、死信与监控、错误消息处理。解决策略包括异步处理、死信监控、未处理消息管理。遵循明确消息契约、细粒度Actor、正确使用并发工具和监控日志等最佳实践，可助你有效避免陷阱，提升系统性能和可用性。开始你的Akka之旅，探索反应式编程新世界。

批量采集抖音商品详情，建议使用API接口。步骤包括：注册抖音开放平台获取App Key和Secret，调用商品详情API接口传入商品ID及相关参数，解析返回的JSON获取商品信息（如名称、价格、主图和SKU）。此外，接口列表提供商品搜索、销售量查询、历史价格、订单管理等多种功能。已封装的API接口地址：c0b.cc/R4rbK2，可测试并联系获取SDK文件。

【6月更文挑战第1天】WebSocket是实现客户端与服务器长连接、双向通信的协议，简化实时数据传输。Java中的WebSocket实现基于JSR 356。本文涵盖WebSocket基础（持久连接、双向通信、低延迟）、工作流程、常见问题（安全、连接管理、数据编码）及Java实现示例，强调错误处理、心跳机制和资源管理的最佳实践。

在Linux主机上，以`root`用户停止NetworkManager服务并重启网络： ```shell systemctl stop NetworkManager systemctl restart network ``` 或修改网卡配置文件`ifcfg-ens33`，添加`NM_CONTROLLED="no"`，然后重启`network`服务： ```shell vim /etc/sysconfig/network-scripts/ifcfg-ens33 systemctl restart network ```

在Ubuntu上搭建TiDB DM集群的详细步骤分享，作者因工作需求克服了部署难题。测试环境包括3台Ubuntu 20.04主机：1台master和2台worker。首先，确保所有主机安装TiDB单机环境，使用TiUP工具下载并部署。接着，设置主机间免密登录，安装必要组件如sudo、systemd、iproute2和DM组件。配置文件可通过在线或离线方式获取。部署时，根据需求编辑`topology.yaml`，然后使用`tiup dm deploy`命令安装。最后，启动集群并检查节点状态，确认DM集群正常运行。注意，解决内存不足和端口连通性问题以避免错误。

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

最近发布的三个大型语言模型——Command-R+ (104B参数), Mixtral-8x22b (141B参数的MoE模型), 和 Llama 3 70b (70.6B参数)——需要巨大的内存资源。推理时，Command-R+需193.72GB GPU RAM，Mixtral-8x22B需262.63GB，Llama 370b需131.5GB。激活的内存消耗根据序列长度、批大小等因素变化。文章详细介绍了计算这些模型内存需求的方法，并探讨了如何通过量化、优化器优化和梯度检查点减少内存使用，以适应微调和推理。

【4月更文挑战第12天】本教程详细介绍了如何在本地部署Stable Diffusion模型，包括安装Python 3.8+、CUDA 11.3+、cuDNN、PyTorch和torchvision，克隆仓库，下载预训练模型。配置运行参数后，通过运行`scripts/run_diffusion.py`生成图像。常见问题包括CUDA/CuDNN版本不匹配、显存不足、API密钥问题、模型加载失败和生成质量不佳，可按教程提供的解决办法处理。进阶操作包括使用自定义提示词和批量生成图像。完成这些步骤后，即可开始Stable Diffusion的AI艺术创作。

【4月更文挑战第13天】本文档介绍了Debian的安装步骤、基本使用、问题解析及进阶技巧。首先，安装Debian涉及下载ISO镜像，制作启动介质，设置BIOS，然后进行安装过程，包括选择语言、分区、网络配置、软件包选择和用户账户设置。安装完成后，学会基本操作，如命令行使用、软件管理（apt）、系统更新和维护。遇到问题时，解决无线网络、分辨率、输入法和依赖问题。进阶技巧包括自定义Shell环境、使用虚拟化技术（Docker、LXC/LXD）、系统监控与性能调优，以及Git和自动化脚本的高级应用。通过学习这些技巧，可提升在Debian系统上的工作效率。

【4月更文挑战第6天】了解 JavaScript 运算符优先级是编写清晰无误代码的关键。优先级规则决定了运算的顺序，从高到低包括一元、乘性、加性、关系、相等性等运算符。掌握优先级能避免逻辑错误，例如在表达式 `a * b + c` 中，乘法先于加法执行。实际应用中，使用括号可以明确运算顺序，提高代码可读性。注意避免混淆优先级，如赋值与比较操作。利用优先级简化逻辑判断，遵循编码规范，提升编程技能。通过不断学习和实践，加深对运算符优先级的理解，优化代码质量。

阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会，是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一，也是中国计算机学会（CCF）推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发，深耕以通用人工智能（AGI）为目标的一系列基础科学与工程问题，包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平，获得了国际学者的认可，展现了阿里云人工智能技术创新在国际上的竞争力。

实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务，专为大数据分析和复杂查询场景设计。使用Hologres，企业能够打破传统数据仓库的延迟瓶颈，实现数据到决策的无缝衔接，加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

RAG（检索增强生成）旨在通过提供额外上下文帮助大型语言模型（LLM）生成更精准的回答。现有的RAG系统由独立组件构成，效率不高。RAG 2.0提出了一种预训练、微调和对齐所有组件的集成方法，通过双重反向传播最大化性能。文章探讨了不同的检索策略，如TF-IDF、BM25和密集检索，并介绍了如SPLADE、DRAGON等先进算法。目前的挑战包括创建可训练的检索器和优化检索-生成流程。研究表明，端到端训练的RAG可能提供最佳性能，但资源需求高。未来研究需关注检索器的上下文化和与LLM的协同优化。

本文介绍了图神经网络（GNN）在处理各种领域中相互关联的图数据时的作用，如分子结构和社交网络。GNN与序列模型（如RNN）结合形成的时空图神经网络（ST-GNN）能捕捉时间和空间依赖性。文章通过图示和代码示例解释了GNN和ST-GNN的基本原理，展示了如何将GNN应用于股票市场的数据，尽管不推荐将其用于实际的股市预测。提供的PyTorch实现展示了如何将时间序列数据转换为图结构并训练ST-GNN模型。

【4月更文挑战第12天】本文详细介绍了MXNet深度学习框架的安装步骤，包括Python、conda和R用户的安装方法，以及GPU支持的选项。在安装过程中可能遇到网络问题、依赖冲突和GPU支持问题等，文中给出了相应解决策略。安装后，通过简单的代码示例验证MXNet是否正常工作，从而顺利完成本地环境搭建。

白皮书展望了SPG与LLM双向驱动的技术架构。通过基于SPG构建统一的图谱技术框架，可以屏蔽复杂的技术细节以支持新业务的快速部署，真正实现知识图谱技术的框架化、平民化、普惠化。

针对官方教程中省略和易出错的部分进行了补充，在使用过程中如果有更多问题，建议工单或者任务单咨询阿里云售后服务人员。

本文主要展示了36 款 AI 应用，可以帮助读者更快、更好地工作。每个人都在与ChatGPT交流，从完整的博客文章到特定代码行的功能都在询问。其结果令人惊叹。虽然我们仍在探索如何将这项技术纳入我们的工作流程中，但明显的是，人工智能工具正在改变游戏规则。尽管ChatGPT是目前最受欢迎的，但它远不是首款进入市场的人工智能应用程序。

本文梳理了ICLR 2023、ICML 2023、NeurIPS 2023有关机器学习+混合整数规划问题求解加速求解加速的研究成果，总共包含8篇文章。

在股票市场交易的动态环境中，技术和金融的融合催生了分析市场趋势和预测未来价格走势的先进方法。本文将使用Python进行股票模式识别。

 SMOKE是一种用于自动驾驶的实时单目 3D 物体检测器。为什么会注意这边文章呢？是因为这两天发布的百度Apollo 7.0 的摄像头障碍物感知，也是基于这个模型改进的；于是令我产生了一些兴趣。

基于YOLO进行物体检测、对象识别，先和大家分享如何搭建开发环境，会分为CPU版本、GPU版本的两种开发环境，本文会分别详细地介绍搭建环境的过程。主要使用TensorFlow2.3、opencv-python4.4.0、Pillow、matplotlib 等依赖库。

AI 模型：数据收集和清洗

在金融市场中，优化投资组合对于实现风险与回报之间的预期平衡至关重要。蒙特卡罗模拟提供了一个强大的工具来评估不同的资产配置策略及其在不确定市场条件下的潜在结果。

Python预测 数据分析与算法 学习笔记（特征工程、时间序列）

时间序列分析在金融和医疗保健等领域至关重要，在这些领域，理解随时间变化的数据模式至关重要。在本文中，我们将介绍四个主要的Python库——statmodels、tslearn、tssearch和tsfresh——每个库都针对时间序列分析的不同方面进行了定制。这些库为从预测到模式识别的任务提供了强大的工具，使它们成为各种应用程序的宝贵资源。

智能语音技术的相关技术（二）

在pai平台上可公开读取的数据集，不用再费劲去下载和处理数据集： Taobao 数据集介绍 Avazu CTR 数据集 AliCCP 数据集 CENSUS 数据集

今天这篇小作文尝试以NLP领域中的常用模型BERT为例(仅将输入文本进行encode)，综合评测包括Pytorch、ONNX、JIT、TensorRT和OpenVino在内这5种推理方案的性能。

巴别时代基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的生产实践经验。