基于 HuggingFace Tokenizers 训练自定义分词器
本文详解如何基于Hugging Face Tokenizers库,从零训练一套适配Qwen3设计的高性能BPE分词器:涵盖语料构建(开源数据+模型蒸馏)、清洗、BPE训练、多模态/工具/思考等特殊Token注入,以及全维度测试验证(编解码一致性、Chat Template渲染、边界场景等),为自研大模型打造高质量词典基座。
DeepSeek V4.1 Flash 推理强?看它如何和 Astra 做论文实现答辩
本文通过三轮迭代评测,验证DeepSeek-V4.1Flash复现论文《LibraSpec》核心算法的能力。模型成功实现算法1并完成穷举基线对比,经GPT-6Astra三轮审查,核心代码未被推翻,但实验设计、统计口径与解释存在多处问题。最终,模型在测试覆盖与结果解释上持续优化,证明其具备从论文到代码的初步闭环能力,但验证体系的严谨性仍需提升。
DeepSeek Harness保姆级实战:Cordis内核解析、环境部署、Python SDK接入与落地建议
DeepSeek Harness,简称DSH,是开源的Agent运行框架,目前处于开发者预览版本。该框架核心设计思路是打通大模型推理能力和本地执行环境,大模型负责理解用户任务、完成逻辑推演,Harness运行时则赋予智能体操作本地文件、调用终端命令、加载各类工具、自动拆解复杂长任务持续迭代执行的能力。整个项目依托Cordis插件架构进行构建,模型适配器、工具集、会话管理、沙箱隔离、持久化存储、Agent主任务循环全部以插件形态实现。开发者不需要改动底层源码,仅仅修改配置文件,就能够完成模块替换、能力扩展,拥有极高的二次开发自由度。