框架实现
FTS本质上也是Btree索引类型
索引AccessMethod定义：
class FTSAccessMethod : public BtreeBasedAccessMethod
关键成员：
fts::FTSSpec _ftsSpec;
获取索引的函数入口：
void FTSAccessMethod::getKeys(const BSONObj& obj, BSONObjSet* keys) {
ExpressionKeysPrivate::getFTSKeys(obj, _ftsSpec, keys);
}
追踪到：
fts::FTSIndexFormat::getKeys(ftsSpec, obj, keys);
- ftsSepc：是用来描述语言类型的类，定义的语言索引的一系列属性
- obj：需要被索引的文档
- keys：分词后产生的结果
FTSIndexFormat的实现：
- getKeys：找多文档所有命中的索引，FTS也支持组合索引，全文索引分词的建立通过函数FTSSpec::scoreDocument，注意：单个文档所有的索引加起来不能大于4MB，数量小于400000个。所以MongoDB的全文索引不实用于较大的文档。尤其是中文情况下，由于中文的复杂性，所以要格外注意，从性能角度上建议把文档控制在几百KB左右范围内。
- getIndexKey：获取索引Key，VERSION2的算法对较长的Key进行了Hash压缩，算法是截取前32字节的前缀，后32字节用Murmurhash运算出来的数值代替，所以，最长不会超过64字节。
FTSSpec::scoreDocument，分词，然后统计频度，最后算法评分，算法原则是单词出现比例越大分数约高，单词的基数越大，造成的分数差距越小，算法大概如下：
exp ＝ 2^(count-1)freq = SIGMA(1/exp)coeff = (count + totalCount) / ( 2 * totalCount)score = weight * freq * coeff
分词实现
分词是搜索的基础，MongoDB目前只支持拉丁语系的分词处理，拉丁语的分词相对与中文简单很多，只需要有限的stop-word（比如the，a，空格等）即可完成一个套简单的分词功能。而中文博大精深，目前还没有非常好的开源库实现中文分词。
具体算法，先用stop-word进行文本切割，然后调用libstemmer三方库进行词干提取，最后得到文本分词。
挑战中文分词
经过一天的代码学习，总结下来，要实现中文分词首先要解决的是中文分词器，然后是字库。
有了两者的基础后，可以通过定义VERSION版本来自定一套分词算法，甚至是评分标准。
