三个Deepseek百万token窗口对话内容的语义学分析之一：“垂钓法”
摘要
DeepSeek百万token长上下文窗口为长程连续性工程项目提供了理想的交互容器。本研究基于三个百万token窗口、总计三百万token、四千余轮次、四百余万字的真实人机对话记录，采用语义学分析方法，对比分析三个窗口在多维度上的演化特征。研究分为三部分：第一部分（本文）采用“垂钓法”，即由研究者根据项目内容预设关键词集，统计三个窗口的词频分布，作为窗口演进的量化指标；第二部分采用“撒网法”，通过脚本工具全面统计词频，进行聚类分析与向量图谱构建；第三部分整合前两部分成果，构建RAG与知识图谱，喻为“熔炉法”。本文为第一部分报告，旨在揭示大语言模型在长程交互中的语用特征与人机协同演化规律。
关键词：百万token窗口；语义学分析；词频统计；人机交互；长上下文对话
导言
百万token长上下文窗口，辅之以有效的窗口迁移策略，为长程连续性工程项目提供了难得的交互容器。三个窗口、三百万token、四千余轮次、四百余万字的真实项目对话，不仅是项目推进的工具载体，同时也是高信息密度、高内容纯度的人机协作文本。这类数据对于构建特异性知识库、智能体，乃至作为模型微调与训练的高质量语料，具有重要价值。本研究采用语义学方法，对比分析三个窗口的多维度演化过程，旨在揭示大语言模型在长程交互中的特性以及人机交互的深层规律。
本研究分为三部分。第一部分采取所谓“垂钓法”，即由研究者作为项目负责人，基于项目内容预设关键词集，统计三个窗口中相应词频，作为窗口演进的量化指标。第二部分采取“撒网法”，通过脚本工具全面统计词频，筛选高频词，进行聚类分析与向量图谱构建。第三部分整合前两部分成果，构建RAG与知识图谱，喻为“熔炉法”。本文为第一部分报告。
本研究涉及双重研究脉络。其一，是持续推进的真实项目——一个以“人文—心理—社会”为三支柱、以“元认知—谬误分析—贝叶斯方法—涌现”为方法论框架的跨领域分析框架。其二，是对百万token窗口交互过程的元研究，包括窗口特性分析、语义学分析等。本文及参考文献所列六篇研究文章，均属于后者，是真实项目推进过程中产生的“副产品”。两条脉络相互支撑：窗口研究为真实项目提供方法论参考，真实项目的持续推进则为窗口研究提供高密度、高纯度的交互文本。
一、研究目的与方法
1.1 研究目的
将三个窗口的对话内容视为三个完整且相互关联的文本，核心词汇集及其出现频率能够在一定程度上反映文本生成的过程、项目演进轨迹以及交互对话的变化特征。通过对关键词频的跨窗口对比，可以量化观察项目重心的迁移、技术路径的演变以及人机交互模式的调整。
1.2 关键词分类体系
根据三个百万token窗口的长程项目交互内容，本研究预设七大类关键词，分别对应七类内容：（1）环境/工具，（2）操作/技术，（3）项目领域，（4）文档类型，（5）项目核心词，（6）对话特征，（7）错误与纠错。每一类别下聚集相关术语与词汇。该分类体系基于项目实际内容迭代形成，旨在覆盖项目推进的主要维度。
需要说明的是，所统计词语的出现次数仅反映相关内容在对话中被讨论的频率，并不直接等同于实际操作的数量。
1.3 三个窗口的项目背景
三个窗口是同一真实项目在不同阶段的记录。窗口一为项目起始阶段，涉及大量环境工具配置、初步数据库构建及向量化操作。窗口二在项目推进过程中穿插了若干关于百万token窗口特性的实验检验，并生成五篇相关论文（即参考文献所列部分）。窗口三则回归真实项目主体，以项目框架的构建与完善为主。三个窗口共同构成了真实项目从启动到框架成型的完整记录，同时也为窗口特性研究提供了丰富的交互文本。
1.4 统计方法
本研究采用PowerShell命令行进行词频统计，命令格式为：
text
Select-String -Path \"*.jsonl\" -Pattern \"关键词\" | Group-Object Filename | Select-Object Name, Count
该方法具有灵活、轻量、高效的特点，适用于快速检索特定词汇在多个文件中的分布情况。统计结果导入Excel表格进行整理，筛选有效词汇后生成每个词汇在三个窗口的出现次数对比表。
二、研究结果
2.1 文档类型
表一 三个窗口所涉及的主要文档类型
窗口一的主要文件类型为pdf与docx。项目初始阶段尝试将pdf文档直接导入PostgreSQL数据库，但遇到编码及复杂文档格式问题，后改为docx文档并加以必要标记，后期逐步转向更易操作的txt文档。窗口三则完全以txt文本作为数据源，csv文件的增加是由于从txt文档提取词频、进行聚类分析等操作所致。md文档在窗口三后期构建完整项目框架时大量生成。窗口二中jsonl文件涉及较多，原因是窗口的技术分析均通过下载对话网页html、脚本提取为jsonl文件进行，相应讨论中jsonl的提及频率较高。
表二 以文件形式存在的二级内容
将数据库文件（.db）、Python脚本（.py）及NumPy数组文件（.npy）纳入统计可见：.db主要出现在窗口一，与窗口一以数据库构建为重点相符；.py贯穿窗口一与窗口三，但窗口一的.py主要涉及环境配置与文档处理，窗口三的.py则有更大比例用于项目框架的实用工具构建。
2.2 技术操作词汇
表三 文本清理相关词汇
如表一所示，项目文档从pdf转为docx，最终完全代之以无格式的txt。文本清理主要指txt文档的清洗与预处理，因此窗口三中相关讨论频率最高。
表四 数据处理词汇
数据处理的相关讨论与操作情况较为复杂。窗口一的检索、向量化等操作基于PostgreSQL进行；窗口三则以txt文本为基础，更多采用命令行与Python脚本进行“预分析”，旨在填充框架的文本处理流程。尽管窗口三中“检索”“向量化”等词频低于窗口一，但这与项目框架的技术重心迁移相关。窗口三中“聚类”词频显著上升，可作为佐证。
2.3 项目内容词汇
表五 项目领域核心词汇
本项目为跨领域分析框架，以“人文—心理—社会”为三支柱，构成最小可行产品（MVP）。窗口三中三个领域的词频均显著上升，与窗口三以项目框架构建与完善为主的定位一致。
表六 核心概念
跨领域的统一原则为“元认知”，以“谬误分析—贝叶斯方法—涌现（边界鉴定）”为方法论框架。相关概念在窗口三的框架构建中讨论最为集中。
表七 技术工程术语
工程化讨论涉及可计算化、框架、工程、实验等技术术语。窗口三中“框架”与“framework”词频最高，与窗口三以项目框架构建与完善为主的定位高度吻合。
2.4 人机对话词汇
表八 人称用法
在长周期、高信息密度的交互中，人称词的使用呈现平稳趋势。尽管提示语常建议避免人称词，但在实际对话中难以完全规避。随着交流深入，人称词的干扰作用减弱，三个窗口中人称词使用频率趋于稳定，可能反映了在稳定互信基础上形成的合理人称使用模式。
表九 确认类交互词语之一
基本的交互确认功能主要通过“是/非”类词汇实现。此类词的使用频率呈整体下降并趋于稳定趋势，可能表明随着信息密度提高，显性确认行为在交互中的比重相对降低。
表十 认同类交互词语
在重大议题讨论中，强调理解与认同（或不认同）的词汇是人机交互的重要表征。窗口三中四类认同词汇均出现高频，提示随着项目推进，人机之间逐渐形成“认知共生”状态——即双方在关键概念与方法上达成较高程度的理解与共识。
表十一 互动特征词汇
“让我给你解释一下”是DeepSeek百万token预览版的典型表达风格。窗口三中“直觉”与“共识”词频上升，与前述“认知共生”相互印证，无论出自用户还是AI之口，均表明交互双方在深层次理解上的趋近。
- 环境与工具词语
表十二 机器环境词汇
窗口一大量时间投入本地环境构建，包含较多报错与调试。窗口三中bash、.env、conda及WSL词频上升，表明虚拟环境使用增多，这与项目复杂化需求相匹配，也是避免Python等环境冲突的策略体现。
表十三 操作词汇
Pip install是一以贯之的主要环境与工具配置手段。
表十四 界面化工具词汇
随着项目转向以txt文本为主、命令行与脚本操作为基础的工作模式，界面化工具的相关讨论整体呈下降趋势。
表十五 Python相关词汇
Python作为AI开发的主要语言，其相关词汇贯穿三个窗口，窗口三中尤为突出，与窗口三的框架构建与完善工作相符。
表十六 技术方法词汇
流行的AI技术工具中，除“skills”外，尚不是本项目重点。窗口一中相关词汇多为技术讨论中的概念性提及；窗口三中，项目框架下的.md与.py作为skills的构成要件，在窗口末尾的整合讨论中有所涉及，虽频率不高，但具有节点性意义。
2.6 报错与调试词汇
表十七 错误标志词汇
报错与调试贯穿窗口一与窗口三。除“error”外，窗口三各项错误标志词频均较窗口一显著下降（窗口二以窗口性能实验与论文写作为主，报错较少）。窗口三的报错主要集中在窗口末期尝试本地训练minimind模型时的各种调试。“转圈”“停止”“中断”在窗口二中出现较多，源于用户在大量AI提示纠错经验中发现，AI解决问题存在较强的近期上下文依赖，容易陷入“无效方法循环”（即“转圈”）。经用户指出后，AI亦予以承认。由此总结出“三轮解决不成功即中断，回到原点寻求不同方法”的策略，以避免陷入技术盲区。
表十八 用户报错提示词汇
用户报错多为直接粘贴PowerShell下的报错信息供AI分析。其中“PS C:\”在窗口一较多，与初始环境配置相关；“D:\”在窗口三增多，主要原因是项目运行于D盘，且窗口三曾尝试解决Docker与虚拟环境运行OCR、训练minimind模型等问题，与窗口一以C盘环境为主的报错情境不同。
三、讨论
DeepSeek百万token预览版自2026年2月中旬发布以来，满负荷运行的实证研究仍较为罕见。作者以真实长程项目完成三个百万token窗口，生成四百余万字的对话文本，并提取技术与内容术语加以分析，据作者所知，尚未见同类研究。
作为计划中三篇语义学分析的第一篇，本文采用研究者预设六类多维关键词的方法，对比分析三个窗口的语用特征。研究结果为理解长上下文对话中的人机交互演变提供了量化依据，尤其是对话术语的变化趋势，为结构性长上下文对话可能催生的人机共识与直觉协作提供了数据支持。
研究局限：首先，三个窗口的比较颗粒度较粗，且未区分用户与AI各自的用词情况。其次，关键词由研究者主观选取，可能存在遗漏或选择偏差。再次，部分词汇的统计难以区分一般性讨论中的用词与实际项目操作用词，可能对解读产生一定影响。
本研究的局限将在后续“撒网法”部分得到弥补，即通过脚本全面提取词频、进行聚类分析与向量分析，实现更系统的语义挖掘。在此基础上，将构建数据库、RAG与智能体，形成一套完整的百万token窗口分析方法论。需要说明的是，本文及参考文献所列六篇研究文章，均属于真实项目推进过程中产生的“副产品”，即对交互容器（百万token窗口）本身的元研究。这些研究不仅揭示了长上下文窗口的技术特性与人机交互规律，也为真实项目的持续推进提供了方法论参考。目前，真实项目已进入第四个百万token窗口，基于前三个窗口形成的项目框架（包括.md文档、文件夹结构、Python工具集等），正在推进更系统化的语义分析与智能体构建。真实项目的高密度、高纯度交互文本，与窗口特性的系统研究之间，形成了相互滋养的关系。
需要说明的是，本文及参考文献所列六篇研究文章，均属于真实项目推进过程中产生的“副产品”，即对交互容器（百万token窗口）本身的元研究。这些研究不仅揭示了长上下文窗口的技术特性与人机交互规律，也为真实项目的持续推进提供了方法论参考。真实项目的高密度、高纯度交互文本，与窗口特性的系统研究之间，形成了相互滋养的关系。
四、附录
4.1 统计命令示例
统计特定关键词在各文件中的出现次数
Select-String -Path \"*.jsonl\" -Pattern \"关键词\" | Group-Object Filename | Select-Object Name, Count
示例：统计“框架”一词在各窗口中的分布
Select-String -Path \"window1/*.jsonl\" -Pattern \"框架\" | Group-Object Filename | Select-Object Name, CountExcel数据整理与图标生成
4.2 数据处理
统计结果导入Excel表格，通过筛选功能提取有效词汇，生成各词汇在三个窗口中的出现次数对比表，并据此绘制图表。
参考文献
以下文献为基于同一真实项目产生的窗口特性研究成果，与本文共同构成对百万token窗口交互的系统性元研究：
- DeepSeek百万token窗口实践全记录
- 长窗口的“信噪比红利”：基于DeepSeek百万Token项目的三阶量化研究
- 跨窗口记忆迁移六种方法的系统对比与实证研究
- tiktoken 对中文长文本的压缩率实证研究
- 基于 DeepSeek 百万 token 窗口的 3673 轮对话实录
- DeepSeek 双百万 token 窗口对话数据的量化对比分析
（作者相关研究发布平台：
• CSDN博客：https://blog.csdn.net/T_Wang_Lab?type=blog
• 阿里云开发者社区：https://developer.aliyun.com/profile/ul4n4qhqvhsfe
• GitHub：https://github.com/tpwang-lab/tpwang-lab.github.io）
