LLM模型添加自定义Token代码示例：为Llama 3.2模型添加思考与回答标记
本文将介绍如何为大型语言模型(LLM)添加自定义token并进行训练，使模型能够有效地利用这些新增token。以Llama 3.2模型为基础，实现了类似DeepSeek R1中think和answer标记功能的扩展方法，通过监督微调使模型学习使用这些标记进行推理过程与答案输出的区分
ollama+openwebui本地部署deepseek 7b
Ollama是一个开源平台，用于本地部署和管理大型语言模型（LLMs），简化了模型的训练、部署与监控过程，并支持多种机器学习框架。用户可以通过简单的命令行操作完成模型的安装与运行，如下载指定模型并启动交互式会话。对于环境配置，Ollama提供了灵活的环境变量设置，以适应不同的服务器需求。结合Open WebUI，一个自托管且功能丰富的Web界面，用户可以更便捷地管理和使用这些大模型，即使在完全离线的环境中也能顺利操作。此外，通过配置特定环境变量，解决了国内访问限制的问题，例如使用镜像站来替代无法直接访问的服务。
SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架
KV缓存是大语言模型（LLM）处理长文本的关键性能瓶颈，现有研究多聚焦于预填充阶段优化，忽视了解码阶段的重要性。本文提出SCOPE框架，通过分离预填充与解码阶段的KV缓存策略，实现高效管理。SCOPE保留预填充阶段的关键信息，并在解码阶段引入滑动窗口等策略，确保重要特征的有效选取。实验表明，SCOPE仅用35%原始内存即可达到接近完整缓存的性能水平，显著提升了长文本生成任务的效率和准确性。
实时获取小红书详情 API 数据
小红书详情API数据获取指南：注册开发者账号，创建应用并申请接口权限，构建请求获取笔记详情，使用Python等语言处理响应数据。需遵守使用规则，注意调用频率和数据安全。
PINN训练新思路：把初始条件和边界约束嵌入网络架构，解决多目标优化难题
PINNs训练难因多目标优化易失衡。通过设计硬约束网络架构，将初始与边界条件内嵌于模型输出，可自动满足约束，仅需优化方程残差，简化训练过程，提升稳定性与精度，适用于气候、生物医学等高要求仿真场景。
深度学习实战指南：从神经网络基础到模型优化的完整攻略
🌟 蒋星熠Jaxonic，AI探索者。深耕深度学习，从神经网络到Transformer，用代码践行智能革命。分享实战经验，助你构建CV、NLP模型，共赴二进制星辰大海。
Apache Flink：从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术，历经十年发展，已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用，支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布，其在流式湖仓、AI 驱动决策等方面展现出强大潜力，正推动企业迈向智能化、实时化的新阶段。
Java 项目实战之实际代码实现与测试调试全过程详解
本文详细讲解了Java项目的实战开发流程，涵盖项目创建、代码实现（如计算器与汉诺塔问题）、单元测试（使用JUnit）及调试技巧（如断点调试与异常排查），帮助开发者掌握从编码到测试调试的完整技能，提升Java开发实战能力。
构建AI时代的大数据基础设施-MaxCompute多模态数据处理最佳实践
本文介绍了大数据与AI一体化架构的演进及其实现方法，重点探讨了Data+AI开发全生命周期的关键步骤。文章分析了大模型开发中的典型挑战，如数据管理混乱、开发效率低下和运维管理困难，并提出了解决方案。同时，详细描述了MaxCompute在构建AI时代数据基础设施中的作用，包括其强大的计算能力、调度能力和易用性特点。此外，还展示了MaxCompute在多模态数据处理中的应用实践以及具体客户案例，最后提供了体验MaxFrame解决方案的方式。
Pandas数据合并：10种高效连接技巧与常见问题
在数据分析中，数据合并是常见且关键的步骤。本文针对合并来自多个来源的数据集时可能遇到的问题，如列丢失、重复记录等，提供系统解决方案。基于对超1000个复杂数据集的分析经验，总结了10种关键技术，涵盖Pandas库中`merge`和`join`函数的使用方法。内容包括基本合并、左连接、右连接、外连接、基于索引连接、多键合并、数据拼接、交叉连接、后缀管理和合并验证等场景。通过实际案例与技术原理解析，帮助用户高效准确地完成数据整合任务，提升数据分析效率。
【项目总结】快瞳医疗化验单的OCR识别
快瞳科技通过图像识别技术，成功解决了医疗化验单OCR识别难题。项目要求精准识别表格内容，尤其是化验数值和名称，准确率达85%以上。针对化验单来源多样、干扰因素多的问题，团队采用智能文档抽取模型、opencv技术（如霍夫变换）进行图片扶正与裁剪，优化识别精度。最终，项目不仅达到药企要求，还实现超越，为医疗行业智能化转型提供了高性价比解决方案，助力快瞳科技在医疗信息化领域树立良好口碑。
seatunnel配置mysql2hive
本文介绍了SeaTunnel的安装与使用教程，涵盖从安装、配置到数据同步的全过程。主要内容包括： 1. **SeaTunnel安装**：详细描述了下载、解压及配置连接器等步骤。 2. **模拟数据到Hive (fake2hive)**：通过编辑测试脚本，将模拟数据写入Hive表。 3. **MySQL到控制台 (mysql2console)**：创建配置文件并执行命令，将MySQL数据输出到控制台。 4. **MySQL到Hive (mysql2hive)**：创建Hive表，配置并启动同步任务，支持单表和多表同步。
产品经理-用户体验五要素 - AxureMost
《用户体验五要素》介绍了构建成功用户体验设计的五个层面：战略层、范围层、结构层、框架层和表现层。战略层明确产品目标与用户需求；范围层定义功能和内容需求；结构层规划交互与信息架构；框架层设计界面、导航和信息布局；表现层则通过视觉设计创造感知体验。每一层都依赖于其下一层，形成自下而上的连锁效应，确保各要素相互作用，共同实现用户体验目标。
新手入门：DGL在昇腾上的安装问题
本文介绍了在aarch64架构和Python 3.10环境下安装DGL（Deep Graph Library）的过程。首先通过`uname -a`确认硬件架构，接着使用`python --version`检查Python版本。为确保兼容性，从指定链接下载适合的whl包或通过pip安装dgl。过程中遇到了torchdata版本不兼容的问题，通过降级torchdata至0.7.1版本解决。此外，针对NPU芯片适配，重新安装了与CANN 8.0.RC2兼容的torch和torch_npu组件。最终成功导入dgl包并准备进行模型训练验证。
DataWorks Data Studio 数据开发
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio还支持丰富多样的插件生态，实现了实时离线一体化、湖仓一体化、大数据AI一体化，助力“Data+AI”全生命周期的数据管理。
物联网 GE-PREDIX
GE-Predix 是通用电气（GE）推出的一个工业互联网平台，旨在通过连接机器、数据与人，实现工业资产的智能管理和优化。该平台支持从设备监控到预测性维护等多种应用，助力企业提升运营效率和创新能力。
深度解读AI在数字档案馆中的创新应用：高效识别与智能档案管理
基于OCR技术的纸质档案电子化方案，通过先进的AI能力平台，实现手写、打印、复古文档等多格式高效识别与智能归档。该方案大幅提升了档案管理效率，确保数据安全与隐私，为档案馆提供全面、智能化的电子化管理解决方案。
通过pin_memory 优化 PyTorch 数据加载和传输:工作原理、使用场景与性能分析
在 PyTorch 中，`pin_memory` 是一个重要的设置，可以显著提高 CPU 与 GPU 之间的数据传输速度。当 `pin_memory=True` 时，数据会被固定在 CPU 的 RAM 中，从而加快传输到 GPU 的速度。这对于处理大规模数据集、实时推理和多 GPU 训练等任务尤为重要。本文详细探讨了 `pin_memory` 的作用、工作原理及最佳实践，帮助你优化数据加载和传输，提升模型性能。
RAG检索质量差？这5种分块策略帮你解决70%的问题
RAG效果关键在于文档分块：固定、递归、语义、结构化与延迟分块各有优劣。合理选择能显著提升检索质量，减少幻觉，增强上下文理解，是构建高效RAG系统的核心环节。
基于MVO多元宇宙优化的DBSCAN聚类算法matlab仿真
本程序基于MATLAB实现MVO优化的DBSCAN聚类算法，通过多元宇宙优化自动搜索最优参数Eps与MinPts，提升聚类精度。对比传统DBSCAN，MVO-DBSCAN有效克服参数依赖问题，适应复杂数据分布，增强鲁棒性，适用于非均匀密度数据集的高效聚类分析。
秒级行情推送系统实战：从触发、采集到入库的端到端架构
本文设计了一套秒级实时行情推送系统，涵盖触发、采集、缓冲、入库与推送五层架构，结合动态代理IP、Kafka/Redis缓冲及WebSocket推送，实现金融数据低延迟、高并发处理，适用于股票、数字货币等实时行情场景。
2025 年小白也能轻松上手的 Java 最新学习路线与实操指南深度剖析
2025年Java最新学习路线与实操指南，涵盖基础语法、JVM调优、Spring Boot 3.x框架、微服务架构及容器化部署，结合实操案例，助你快速掌握企业级Java开发技能。
Proximal SFT：用PPO强化学习机制优化SFT，让大模型训练更稳定
本文介绍了一种改进的监督微调方法——Proximal Supervised Fine-Tuning (PSFT)，旨在解决传统SFT易过拟合、泛化能力差及导致“熵坍塌”的问题。受PPO强化学习算法启发，PSFT通过引入参数更新的稳定性机制，防止模型在训练中变得过于确定，从而提升探索能力与后续强化学习阶段的表现。实验表明，PSFT在数学推理、模型对齐及泛化能力方面均优于传统SFT。
小红书笔记详情API数据解析（附代码）
本内容介绍了小红书开放平台的笔记详情API接口功能，涵盖笔记标题、内容、互动数据及多媒体资源的获取方式。提供接口概述、请求方式及Python调用示例，适用于内容分析与营销策略优化，帮助开发者高效集成与使用。
Apache Flink错误处理实战手册：2年生产环境调试经验总结
本文由 Ververica 客户成功经理 Naci Simsek 撰写，基于其在多个行业 Flink 项目中的实战经验，总结了 Apache Flink 生产环境中常见的三大典型问题及其解决方案。内容涵盖 Kafka 连接器迁移导致的状态管理问题、任务槽负载不均问题以及 Kryo 序列化引发的性能陷阱，旨在帮助企业开发者避免常见误区，提升实时流处理系统的稳定性与性能。
Java 大视界 -- Java 大数据在智能物流运输车辆智能调度与路径优化中的技术实现（218）
本文深入探讨了Java大数据技术在智能物流运输中车辆调度与路径优化的应用。通过遗传算法实现车辆资源的智能调度，结合实时路况数据和强化学习算法进行动态路径优化，有效提升了物流效率与客户满意度。以京东物流和顺丰速运的实际案例为支撑，展示了Java大数据在解决行业痛点问题中的强大能力，为物流行业的智能化转型提供了切实可行的技术方案。
java Web 项目完整案例实操指南包含从搭建到部署的详细步骤及热门长尾关键词解析的实操指南
本项目为一个完整的JavaWeb应用案例，采用Spring Boot 3、Vue 3、MySQL、Redis等最新技术栈，涵盖前后端分离架构设计、RESTful API开发、JWT安全认证、Docker容器化部署等内容，适合掌握企业级Web项目全流程开发与部署。
信息检索重排序技术深度解析：Cross-Encoders、ColBERT与大语言模型方法的实践对比
本文将深入分析三种主流的重排序技术：Cross-Encoders（交叉编码器）、ColBERT以及基于大语言模型的重排序器，并详细阐述各方案在实际应用中的性能表现、成本考量以及适用场景。
AI重构数据价值链，解码「智能问数」如何赋能医药制造
随着中国医药制造业的蓬勃发展，中国已跃居全球第二大医药市场。随着监管政策的深入实施，市场对医药企业在生产、运营、管理等方面提出了更为严苛的要求。2025年政府工作报告明确提出，持续推进“人工智能+”行动，将数字技术与制造优势、市场优势更好结合起来，支持大模型广泛应用。
淘宝天猫店铺订单列表、订单详情、订单物流 API 接口全攻略
淘宝天猫订单API接口简介：支持订单列表查询、订单详情获取及物流轨迹追踪功能。通过taobao.trades.sold.get等接口批量查询订单，按状态/时间筛选；taobao.trade.fullinfo.get获取订单详细信息；taobao.logistics.trade.trackget实时跟踪物流状态。开发者需注册账号、申请权限，并使用编程语言调用API，传递必要参数（如App Key、订单ID），处理JSON返回数据。适用于多场景订单管理与物流同步。
国内快递地址解析技术的工作原理详解
随着电商和快递行业快速发展，非结构化地址问题日益突出，如字段混杂、拼写错误等，传统方式难以高效处理。为此，探数平台推出基于NLP和地理信息的快递地址解析API，可将原始地址文本解析为标准结构化字段（如省、市、区、街道等），并支持收件人姓名与电话提取。 技术上，该API采用深度学习模型（如BERT、BiLSTM）进行语义理解，结合地址知识图谱实现纠错与补全。服务支持SaaS调用或私有化部署，性能稳定，适用于各类前端场景。通过地址结构化处理，企业可显著提升订单处理效率，减少配送错误，优化用户体验，助力全链路智能化升级。无论是电商平台还是物流系统，均可从中受益。
基于马尔可夫链的状态转换，用概率模型预测股市走势
本文探讨了马尔可夫链在股市分析中的应用，通过定义市场状态和构建转移矩阵，揭示短期波动与长期趋势的概率特征。模型基于“无记忆性”假设，量化状态转换概率，帮助评估风险、识别模式并制定策略。例如，计算稳态分布可预测市场长期平衡态。尽管模型简化了复杂动态，但仍为投资决策提供了数据支持。同时，文章强调其局限性，如外部冲击影响和状态定义主观性，建议结合其他工具综合分析。未来可探索与机器学习融合，提升市场理解深度。
ChronosX: 可使用外生变量的时间序列预测基础模型
时间序列预测中，基础模型虽在单变量任务中表现出色，但引入协变量支持仍面临挑战。Chronos研究团队提出ChronosX架构，通过适配器层有效整合历史与未来协变量信息，适用于任何单变量模型。实验表明，ChronosX显著提升预测性能，尤其在复杂数据集上优势明显。消融研究进一步验证了协变量模块的重要性。尽管需要轻量训练，但其灵活性和通用性为时间序列建模提供了新思路，未来或可通过类似LLM提示机制实现更高效的协变量处理。
Python数据结构：列表、元组、字典、集合
Python 中的列表、元组、字典和集合是常用数据结构。列表（List）是有序可变集合，支持增删改查操作；元组（Tuple）与列表类似但不可变，适合存储固定数据；字典（Dictionary）以键值对形式存储，无序可变，便于快速查找和修改；集合（Set）为无序不重复集合，支持高效集合运算如并集、交集等。根据需求选择合适的数据结构，可提升代码效率与可读性。
Flink + Doris 实时湖仓解决方案
本文整理自SelectDB技术副总裁陈明雨在Flink Forward Asia 2024的分享，聚焦Apache Doris与湖仓一体解决方案。内容涵盖三部分：一是介绍Apache Doris，一款高性能实时分析数据库，支持多场景应用；二是基于Doris、Flink和Paimon的湖仓解决方案，解决批流融合与数据一致性挑战；三是Doris社区生态及云原生发展，包括存算分离架构与600多位贡献者的活跃社区。文章深入探讨了Doris在性能、易用性及场景支持上的优势，并展示了其在多维分析、日志分析和湖仓分析中的实际应用案例。
重磅！2025年中科院预警期刊名单正式发布！
中国科学院文献情报中心发布的《国际期刊预警名单》旨在防范学术不端与不当出版行为，保护科研生态良性发展。2025年版本聚焦两大问题：学术不端（如引用操纵、论文工厂）和不利于中国学术成果国际化传播的行为（如中国作者占比过高或APC费用不合理）。预警名单动态调整，发布时点从年底改为年初，便于科研人员及时调整投稿策略。被列入预警名单的期刊可能影响职称评审及科研经费认可，建议优先选择中科院分区表推荐期刊，警惕“快速代发”陷阱，并关注期刊官网声明。未来科研生态将更注重规范化与原创性，推动高质量学术发表。维护健康的学术环境对提升中国科研全球影响力至关重要。
融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题，文章提出利用UCC和UCX等统一通信框架实现高效数据传输，并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战，如计算能力不平衡、内存容量差异及通信性能优化，文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性，但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开，供读者参考实践。
知识蒸馏技术原理详解：从软标签到模型压缩的实现机制
**知识蒸馏**是一种通过性能与模型规模的权衡来实现模型压缩的技术。其核心思想是将较大规模模型（称为教师模型）中的知识迁移到规模较小的模型（称为学生模型）中。本文将深入探讨知识迁移的具体实现机制。
Python时间序列分析：使用TSFresh进行自动化特征提取
TSFresh 是一个专门用于时间序列数据特征自动提取的框架，支持分类、回归和异常检测等机器学习任务。它通过自动化特征工程流程，处理数百个统计特征（如均值、方差、自相关性等），并通过假设检验筛选显著特征，提升分析效率。TSFresh 支持单变量和多变量时间序列数据，能够与 scikit-learn 等库无缝集成，适用于大规模时间序列数据的特征提取与模型训练。其工作流程包括数据格式转换、特征提取和选择，并提供可视化工具帮助理解特征分布及与目标变量的关系。
[python 技巧] 快速掌握Streamlit: python快速原型开发工具
本文旨在快速上手python的streamlit库,包括安装，输入数据，绘制图表，基础控件，进度条，免费部署。
大数据与机器学习
大数据领域前沿技术分享与交流，这里不止有技术干货、学习心得、企业实践、社区活动，还有未来。
