SolrQueryLog DataMine
backgroud&Value
backgroud：Solr|lucene已然成为非常重要的开源检索引擎了。Solr|lucene被企业、公司、教育机构使用的不计其数。 而对Solr query log的挖掘、展示、工具几乎空白。通过google查询，发现solr 社区活跃者Koji 启动了一个solr query log 商业分析服务平台。<a target="_blank" href="http://soleami.com/" title="http://soleami.com/">http://soleami.com/</a> Value：提供一个开源工具包，共享给社区和网友，帮助大家进一步使用solr、挖掘solr log信息。 在这个过程中，掌握和运用NLP相关知识，促进个人成长和技术落地应用。Resource&Experience
拥有超过50个应用，100G级别的solr querylog 日志文件，并且持续更新的log。 已经使用脚本文件，完成了solr 日志热点词提取工作，还没有服务化形式公开。 已经加入NLP&结构化信息提取虚拟小组，开始介入UIMA框架和信息提取 非常高的热情、兴趣来做query log挖掘，改善用户输入提示、纠错、个性化推荐等服务质量。Goal
GoalLocale
热点词统计，离线多种工具支持 查询词频实时统计，实时展示 查询热点域统计 查询关键词联合属性 查询域联合属性 UIMA框架支持的log自动化分析 领域开源分词词典，不带词性标注或者带词性标注 时间维度的 词聚合分布 <br> 时间维度的 IP-地理聚合分布 <br> 时间维度的 人的分布 <br> 时间维度的 tag 分布 <br> 时间维度的 领域分布GoalSystem
[归一化]
例如 图片中的分享、评论、收集、描述、浏览、质量、风格等归一化一个质量值，用于默认搜素排序 例如 宝贝的店铺、价格、成交、评论、历史交易等归一化一个质量值,用于默认搜素排序[一致性]
例如 图片所属图集、图片的分类、图片的描述与图片本身信息一致性检查 例如 商品的图片与商品的描述、分类、价格的一致性检查[离线统计]
统计聚合特性、多维度的原信息展示，反作用与基础系统的参数[在线统计]
实时微量、但维度实时统计，实时信息的关联推荐，突出实效性和时尚性Action
1. 查询词实时统计数据结构实现和性能压测，争取*月上线试运行。 <br> 2. UIMA log分析 争取到*月掌握UIMA的流程、离线solr log分析 <br> 3. 词源词典信息收集 争取*月公开一个相对丰富的词典Develop&Doc&Product&Idea
Idea
The viewCase1： query Info
输入终搜应用名称，输出：具体应用下查询热点词、查询热点域， 针对终搜平台上已有的全部社区型搜索应用，提供一个联合特性，展示购物社区动态。 目前查询热点词、热点域 偶尔用小工具独立处理，没有系统性计算和输出。 类似产品 Google adwords <a target="_blank" href="https://adwords.google.cn/select/KeywordToolExternal" title="https://adwords.google.cn/select/KeywordToolExternal">https://adwords.google.cn/select/KeywordToolExternal</a><br> Google Insight <a target="_blank" href="http://www.google.com/insights/search/#q=solr&cmpt=q" title="http://www.google.com/insights/search/#q=solr&cmpt=q">http://www.google.com/insights/search/#q=solr&cmpt=q</a> <br> Google trend <a target="_blank" href="http://www.google.cn/trends/" title="http://www.google.cn/trends/">http://www.google.cn/trends/</a>Case2：term Info
终搜目前支持了N多个应用，每个应用数据，在自定制分词策略下，分出来的词的分布情况，尤其是新词和长尾词情况。 目前终搜能提供工具解析，但是不是自动化、定时的平台。有些应用偶尔处理。Case3：dataVisual
应用方数据导入终搜存储中心后，提供多维度查看存储数据信息。例如： 查看颜色数据分布情况、卖家分布情况、买卖关系分布情况、价格分布、评价分布等存储数据聚合特性。Case4：merchandiseWiki
希望融合各个应用数据：分享、互动、评价、圈子、wantu、画报、试用、团购、分销等信息，输出以商品或者人为维度的 商品的分享、互动、评价、圈子、wantu、试用、团购信息列表，构建一个“商品互动百科”！ 商品互动百科：利用现有社区搜索积累，融合淘宝内部社区数据，构建一个关于商品的“互动百科”。公司内部现有产品：
Etao搜索，全网的比价搜索，关注全网价格、购物活动、以及和价格相关的其他信息，为购物者提供已价格为中心的购物信息。 量子恒道， 已经做了非常多的工作，比如网站统计、流量来源分析等，核心应该是针对卖家提供工具的。