智能搜索推荐

背景 OpenSearch是一个以云服务方式提供给广大开发者使用的搜索引擎平台。在搜索引擎中，分词是最基础但很重要的功能，其效果会直接影响文档的召回。分词歧义会导致引擎无法召回目标文档。例如: 乒乓球拍卖完了 ==> 乒乓球/拍卖/完了 乒乓球拍 ==> 乒乓/球拍 在上面的case中，短语“乒乓球拍”不同的上下文中分词的结果不一样。

下拉提示是搜索引擎的标配功能，它能起到减少用户输入的作用，自动补全搜索关键字，提升用户使用搜索引擎的体验，好的下拉提示还可以引导用户输入质量高的 query，这些高质量 query 最终能输出用户想要的搜索结果。

AI·OS（Online Serving），大数据深度学习在线服务体系，由我们工程、算法、效率的同事们砥砺十年而成，支撑起海内外阿里电商全部的搜索和推荐业务，时刻置身大数据主战场，引导成交占据集团大盘主体；此外，作为中台技术中坚，AI·OS已是包括电商、阿里云、优酷、菜鸟、盒马、钉钉等等在内全集团的基础设施；更为重要的是，AI·OS体系的云产品矩阵服务于全球开发者，今年预期在数千万级的营收规模。

2018年9月21～22日，在以“驱动数字科技”为主题的云栖大会上，阿里巴巴搜索事业部特别推出了“搜索推荐专场”，“推荐与搜索引擎AI·OS专场”，深度参与了这场科技盛宴。   阿里巴巴推荐与搜索引擎平台支持了包括淘宝、天猫、菜鸟、优酷以及海外电商在内的整个阿里集团的推荐与搜索业务，引导成交占据了集团GMV的绝大部分份额。

Ha3是阿里巴巴搜索团队开发的搜索引擎平台，它为阿里集团包括淘宝、天猫在内的核心业务提供搜索服务支持。

交互搜索 交互搜索是一种新的产品形态，可以和用户对话，记住用户的购物需求和偏好，提供购物知识和建议。在搜索页面下拉就可以进入了，类似于微信的小程序的进入方式。 自然语言理解 对话和搜索的最大区别就是对话是多轮的，而搜索是单轮的。

本文将介绍如何使用llvm+bison+flex技术实现一门编程语言。 以我们实现的cava语言为例，介绍编译器各阶段，词法分析 -> 语法分析 -> 语义分析 -> 中间代码优化 -> 目标代码生成，最终生成汇编指令，再由汇编语言根据不同的指令集生成对应的可执行程序是如何实现的。

通过demo分析istio的网络转发流程，从而对istio实现原理有更为直观的认识。本文先介绍了涉及到的相关概念和背景知识，然后对具体应用进行分析。背景知识概念分散，参考文章较多，敬请谅解。

New PForDelta算法介绍 倒排索引的数据包括docid, term frequency, term position等，往往会占用很大的磁盘空间，需要进行压缩。压缩算法需要考虑两点：压缩效果和解压缩效率。

Cuckoo Hash Table 使用了两个哈希函数来解决冲突。Cuckoo查询操作的理论复杂度为最差O(1)，而Cuckoo的插入复杂度为均摊O(1)。我们引入Cuckoo是希望它在实际应用中，能够在较高的空间利用率下，仍然维持不错的查询性能。

本文就将lstm用户行为序列预测term的偏好 和 ctr预估相结合做了探索和应用，并在线下和线上取得了正向的效果。

1. 背景     在手淘的搜索中，当用户输入query进行搜索之后，一方面有适合他的商品展现出来，另一方面，如何更好地理解用户意图，为其推荐更合适的关键词进行细分查找，从而更高效的引导用户到他想找的商品，也是一件非常重要的事情。

本文提供了一种对深度学习模型量化压缩以及加速推理的方法

双十一手淘首页个性化场景是推荐生态链路中最大的场景之一，在手淘APP承载了整体页面的流量第一入口，对用户流量的整体承接、分发、调控，以及用户兴趣的深度探索与发现上起着至关重要的作用。

内容化已经成为淘宝近几年发展的重点，我们可以在手机淘宝APP（以下简称手淘）上看到很多不同的内容形式和内容型导购产品，例如，“有好货”中的以单个商品为主体的富文本内容，“必买清单”中的清单，即围绕一个主题来组织文本和商品的长图文型内容，等等。

一：背景       分类地图业务是指手淘首页首屏的"分类"入口，目前整个产品已经有300万左右日活跃用户和6000多万pv, 目前产品业务点较多，本文重点介绍点击品类词后的商品二跳页模块，具体如下图所示：当用户点击相应的品类词图片后，则会进入该类目下的商品集合。

Graphical Model通常应用在问题本身带有多个相互联系的变量的场景，并提供了一种基于图的表达方式让你去建模这些联系从而挖掘潜在的因果关系。在本文中，我们创新性地将概率图模型应用到了淘宝平台收藏作弊行为检测的任务中，取得了远超传统分类模型的结果（Top1%记录中召回60%的作弊行为）。

heracles压测平台介绍 Heracles音译为赫拉克勒斯或意译为大力神.希腊语：Ηρακλής，Hēraklēs，引申自Hēra“赫拉”和kleos“荣耀”，也即赫拉的荣耀 背景 搜索和推荐的应用越来越多的时候,我们常常面临着下面几个问题: 如何能随时的了解每个应用的最大容量,当前资源可支.

之前的文章介绍了Hawkeye的底层分析系统(待补充文章)，其中讲到了基于Blink的Batch任务实现方法，前段时间在优化慢query查询的过程中开发了应用TopN慢query获取的分析任务，其中用到的分析方法适用于其他类似求TopN的问题中。

背景 TISPLUS平台的数据分析能力主要由hawkeye提供，但是之前存在如下几个问题：1.数据化场景的功能没有凸显，隐藏较深；2.产品形态设计单一，没有一个较好的产品闭环引导用户关注数据化的结果；3.数据分析内容简单，覆盖面不足，远远达不到让用户数据化运营服务的目标；4.重点关注了数据分析的结果，但缺少衡量数据分析结果为搜索服务本身带来的价值大小。

目前阿里巴巴搜索的分布式服务一般都是基于Hippo+Carbon来调度的，包括部署、扩缩容、名字服务注册。如下图： ![carbon-hippo.png](https://private-alipayobjects.

DII4J是DII for Java的简称，是DII平台提供的一种Java插件的运行机制，在Java插件中，用户可以获取与C++插件完全一致的能力。

BasicEngine是阿里巴巴搜索事业部自研的推荐在线召回引擎，依托强大的搜索底层技术支持，可以在线实现复杂的关联排序运算，支持灵活的推荐策略组合，为推荐系统的升级发展拓展了无限想象空间。

前言 iGraph是搜索事业部工程团队打造的实时在线图存储与查询的系统，提供大规模图数据的存储、查询、更新和计算服务，目前承载了集团多个部门5000+表的数据，双11期间proxy入口峰值流量1106w qps、实时数据峰值更新506w qps，是名副其实的在线数据航空母舰。

其实是概念图，这是阿里巴巴搜索和推荐引擎体系在深度学习时代的新面貌，十年磨一剑，详细介绍随后就来。

## CPU 结构简介 ### CPU 指令结构 * 下表列出了CPU关键技术的发展历程以及代表系列，每一个关键技术的诞生都是环环相扣的，处理器这些技术发展历程都围绕着如何不让“CPU闲下来”这一个核心目标展开。

## 引言 iGraph是一个在线图存储和查询服务，从2015年年初正式上线到现在，已经平稳经历了3次双十一大促的历练。这一些长期投入让iGraph赢得了越来越多集团客户的信任，其中包括集团的核心搜索和推荐业务。

1. 问题背景 　　商品检索的主要的问题还是在于用户query和商品描述之间存在GAP，特别是中长尾query。把问题分成以下几种类型： 多种描述：划痕笔/补漆笔/修补笔/点漆笔 信息冗余:   冰箱温控器温度控制==冰箱温控器 属性检索： 118冰箱、60寸液晶电视机4k高清智能60曲面 宽泛意图： 超美吊灯、大容量冰箱 2.所做工作 　　query改写的目标空间可以分为文本空间和意图ID空间两种类型：文本空间包含词、短语、query，意图ID空间主要包括pidvid、性别年龄尺码等自定义tag、一些语义聚合的标签如:"奢侈","可爱"等。

引言　　在机器翻译、图片描述、语义蕴涵、语音识别和文本摘要中，序列到序列的问题已经有太多大牛研究了，也取得了很多突破。谷歌的Attention is all you need[1],舍弃并超越了主流的rnn与cnn序列建模框架，刷出了新的state of the art,这种大胆创新的精神值得我们学习。

介绍 Jarvis是一款专门为手机端而设计研发的深度学习引擎，它比我们目前已知的所有开源产品都要快。在使用高通芯片的安卓手机上，其他产品在性能上甚至还没有接近于我们的。小小骄傲一下。在最开始的时候，Jarvis was heavily influenced by Caffe2 and borrowed quite a bit of code from it. 但是随着时间的推移以及业务的演进，Jarvis离Caffe2也越来越远，所以，我们最终决定发布独立的产品。

利用ajdk实现jvm虚拟化，实现容器业务方案的热部署和资源隔离

本文描述了使用深度学习算法在淘宝环境中怎么给用户提供个性化服饰搭配的一些探索。

本文主要介绍阿里巴巴-搜索事业部算法团队上半年在智能内容生成方向工作的一些实践和思考。

传统的搜索文本相关性模型，如BM25通常计算Query与Doc文本term匹配程度。由于Query与Doc之间的语义gap, 可能存在很多语义相关，但文本并不匹配的情况。为了解决语义匹配问题，出现很多LSA，LDA等语义模型。

 用户搜索意图的理解在搜索排序体系下有着重要的作用。在搜索引擎中，分析用户的搜索Query和哪些文档类目的意图更相关，被称为Query的类目预测。本文通过集合Query的语义和行为等特征，计算得到与Query最相关的类目，并在线上得到了相关性的体验的提升。

利用多智能体强化学习技术来进行多场景的联合排序优化

本文描述如何在凑单场景突破找相似、发现惊喜的同时做到成交翻倍，实现体验和数据上的双赢。

本文描述了淘宝搜索算法AI技术团使用强化学习算法在淘宝的环境中怎么解决实际的业务问题的以及一些研究探索。

gig基于对latency的负反馈控制，实现了坏节点屏蔽、服务预热、异构集群负载均衡、自动降级等功能，大大提高了阿里搜索线上服务的稳定性。

swift是搜索事业部自主研发分布式消息系统，它的主要存储基于分布式文件系统，资源需求基于分布式调度系统。swift能支持每秒数亿的消息传递，支持PB级消息的存储。

Hippo是搜索调度团队根据搜索、推荐、广告等业务特点从2013年开始打造并逐步完善的一套分布式调度系统，支持了集团内外多个事业部的搜索、推荐、广告等相关业务。2017双11期间，搜索在离线混部实现了全时段无干预无降级稳定运行，提供了搜索双11所有TF模型离线批次训练所需资源，并在2017/11/10晚上23点因为离线训练集群负载过高首次在混部上不间断运行了超过2万core的双11实时训练流程并一直在稳定运行。

                        阿里集团搜索中台TisPlus 搜索中台的发展     从阿里很多技术产品的发展路径来看都遵循着技术驱动、产品驱动、数据驱动三个阶段，那阿里巴巴的搜索技术的发展也基本基于上述的发展路径。

因为本文篇幅有限，在这里我只会着重介绍：实时性、高可用性在我们产品中的一些技术实践。 实时解决方案 在介绍我们产品方案之前，首先介绍下业内常见的实时解决方案，见图1-1实时架构图： ![P1](http://img3.

使用拍立淘OpenSDK，可以在你的App里用相机连接淘宝和世界。。。

深度学习的原理？局部响应归一化的作用？兄弟今天不是来讨论这个的，那都是科学家和算法同学的事儿。作为一个深度学习引擎，使命只有一个——就是快速和准确的计算。那怎么才能快呢？。。。借助于GPU（OpenCL），可以让运算飞起。。。

随着互联网数据规模的爆炸式增长，如何从海量的历史、实时 数据中快速获取有用信息，变得越来越具有挑战性。搜索是获取信息最高效的途径之一，因此也是各类网站、应用的基础标配功能。开发者想在自己的产品中实现搜索功能一般都是基于某个开源搜索系统(如ElasticSearch、Solr、Sphinx