智能搜索推荐

Hippo是搜索调度团队根据搜索、推荐、广告等业务特点从2013年开始打造并逐步完善的一套分布式调度系统，支持了集团内外多个事业部的搜索、推荐、广告等相关业务。2017双11期间，搜索在离线混部实现了全时段无干预无降级稳定运行，提供了搜索双11所有TF模型离线批次训练所需资源，并在2017/11/10晚上23点因为离线训练集群负载过高首次在混部上不间断运行了超过2万core的双11实时训练流程并一直在稳定运行。

                        阿里集团搜索中台TisPlus 搜索中台的发展     从阿里很多技术产品的发展路径来看都遵循着技术驱动、产品驱动、数据驱动三个阶段，那阿里巴巴的搜索技术的发展也基本基于上述的发展路径。

因为本文篇幅有限，在这里我只会着重介绍：实时性、高可用性在我们产品中的一些技术实践。 实时解决方案 在介绍我们产品方案之前，首先介绍下业内常见的实时解决方案，见图1-1实时架构图： ![P1](http://img3.

使用拍立淘OpenSDK，可以在你的App里用相机连接淘宝和世界。。。

深度学习的原理？局部响应归一化的作用？兄弟今天不是来讨论这个的，那都是科学家和算法同学的事儿。作为一个深度学习引擎，使命只有一个——就是快速和准确的计算。那怎么才能快呢？。。。借助于GPU（OpenCL），可以让运算飞起。。。

随着互联网数据规模的爆炸式增长，如何从海量的历史、实时 数据中快速获取有用信息，变得越来越具有挑战性。搜索是获取信息最高效的途径之一，因此也是各类网站、应用的基础标配功能。开发者想在自己的产品中实现搜索功能一般都是基于某个开源搜索系统(如ElasticSearch、Solr、Sphinx

我们可以通过存储插件连接到本地文件系统，Hive,HBase，或是其他的数据源。在Drill的web界面的存储插件配置tab,你可以查看修改这些插件的配置。如果不支持HTTPS（默认就没有），你可以访问HTTP://{IP}:8047/storage 来查看和配置存储插件。可以用IP，也可以用ho.

存储插件是Drill中，连接到数据源的模块。一个存储插件通常会优化Drill查询的执行，提供数据的定位，命名空间下的配置和读数据要用到的格式。Drill已经内置了一些存储插件，你只需要根据你的环境配置一下就可以使用了。借助存储插件，你可以连接到各种数据源，像数据库，本地或是分布式的文件，或是Hiv.

（翻译自apache drill 官网。） Drill是从地基开始就奔向高性能和大数据集去设计的，下面列出来的是Drill能够做到高性能的核心要点。 分布式的引擎 Drill提供了一个强大的分布式引擎来处理查询。用户可以从集群的任何一个节点是提交查询。你可以添加新的节点到集群中，以为了支持更多

(翻译自Drill官网) 核心模块 下图描述了一个drillbit里的各个组件 下面列出drillbit里的关键组件： RPC endpoint Drill开发了一种基于Probobuf的损耗非常低的RPC通信协议来跟客户端打交道。另外，客户端程序也可以使用C++或是JAVA api层来跟

(翻译自Drill官网) 当您提交Drill查询的时候，客户端或应用程序会把查询以SQL语句的形式发送到Drill集群的一个Drillbit。Drillbit是在每个在线的Drill节点上运行的进程，它负责协调，规划和执行查询，并按照最大限度地实现数据本地化的原则在集群中分发查询。 下图描述了客

(翻译自apache drill 官网) 架构总览 Apache drill是在大规模数据集场景下,可以低延迟地进行结构和半结构化/嵌套数据结构查询的一个分布式查询引擎。受到谷歌公司的Dremel的启发，Drill被设计出来以支持几千个节点和PB级别的数据规模下,支持交互响应级别的商务智

ACM SIGKDD 国际会议（简称 KDD）是数据挖掘研究领域的顶级盛会，它每年能收到上千篇来自国际知名大学和研究机构的学术论文投稿，这其中仅有一小部分优秀论文可以被接收。2015年5月18日，KDD组委会发布工业和政府相关方向论文的录用消息，阿里巴巴集团搜索事业部推荐团队投稿的论文被录用，表

移动端的以图搜图是一代又一代的图像人，搜索人的梦想。从90年代开始，学术界，工业界做了很多的努力和尝 试。拍立淘-以图搜图，从14年正式立项开始，通过算法/工程/产品的不断打磨，以及兄弟部门的紧密合作，在业务指标的增长的同时，沉淀下来了业界领先的图搜算法。

1. 背景     作为电子商务网站，淘宝网上的每个商品都有一个价格，该价格从一个很重要的维度上反应出一个商品的品质。但是由于该价格是由第三方卖家自己确定的，因此存在一定的随机性。一个价格过低的商品，其假货的可能性往往较大，比如500元的劳力士手表，或者商品的质量存在问题；同时一个价格过高的商品，

手机淘宝（搜索框->摄像头->试妆魔镜）： 最初的设计原型及性能问题： 单线程模型，优先级过低：从Camera获取到CMSampleBufferRef YUV图像帧，拷贝像素数据到内存（多了一次拷贝内存的开销）进行美妆渲染以及一些其他的检测计算，导致的render线程性能消耗过多，CPU负

引子 在刚刚过去的2015年双11大促中，搜索事业部的实时计算和在线学习系统Pora经受住了前所未有的双11巨量用户行为消息的冲击，在流入实时消息量持续超过300w/s，甚至峰值飙升至501w/s的压力下始终保持了端到端秒级实时效果，助力相关的搜索和推荐实时业务取得了很好的效果。 Pora如何能

有幸参加了6月9号到6月11号在圣何塞举办Hadoop summit 2015，主要关注了实时计算相关的topic。 本次参会的主要感受是：实时处理成为各个公司的标配,OLAP是基本需求。 下面我主要分享如下三个议题： 实时计算框架（主要是storm，spark主题太少，涉及实时计算的基本没有

随着集团内各种离线处理、实时反馈、在线学习和分析系统的发展壮大，为算法同学使用数据提供了更多的手段和玩法，能够从数据中挖掘出更多的宝藏。但是仅仅产出数据是不够的，他们需要将数据结合算法在线服务的方式应用到业务中去，才能真正产生价值。从搜索事业部的现状来看，算法的作用方式主要有两种，一种是嵌入引擎内.

该文章来自阿里巴巴技术协会（ATA）精选集  0. 前言 何为双链路实时计算体系？微观实时计算链路 a) 最细粒度商品/店铺/用户数据的实时 b) 底层模型的实时宏观实时计算链路 相比微观实时，宏观实时的对象粒度更粗，更上层 a) 以实时效果为目标，基于bandit learning的实