MaxCompute Optimizer之表达式约化 文章转载自jiehongOptimizer是MaxCompute处理SQL任务的优化器，它的主旨于在根据关系代数的等价描述将中间的执行计划进一步地等价变换，以生成代价更优的执行计划。Optimizer内部有很多优化器，此

飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品，是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。不仅首次将数据规模拓展到100TB，性能达到25641.21QPM，更在TPCx-BB已有最大30TB规模上，将性能提升近一倍，达到6427.86QPM，单位价格下降一半，达到169.76$/QPM。

11月28日，Flink Forward Asia 2019 在北京国家会议中心召开，阿里在会上发布Flink 1.10版本功能前瞻，同时宣布基于Flink的机器学习算法平台Alink正式开源，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。

3月22日，阿里云将正式开服售卖华东1（杭州）节点的大数据计算服务MaxCompute，以进一步提升对华东区域客户服务的响应速度，推动杭州大数据、人工智能产业的加速发展。

按照惯性思维，统计一个字段去重后的条数我们的sql写起来如下： Distinct的作用是用于从指定集合中消除重复的元组，经常和count搭档工作，语法如下 COUNT( { [ DISTINCT ] expression ] | * } ) 这时，可能会碰到如下情况，你想统计同时有多列字段重复的数目，你可能会立马想到如下方法： select count( distinct col1 , col2 , col3 , .......) from table 但是，这样是有问题的，如果值包含空，那么我们的结果是什么呢？如果你实验过，正如你实验的一样，结果会比实际少。

十三五期间伴随能源互联网的建设，能源大数据及云计算能力长足发展，圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用， 什么是能源地图： 能源地图 1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。

blink测试团队成立一年多的时间，从无到有，逐步建立起完整的blink测试体系，从代码质量到集成测试再到预发测试，全方位保障blink质量，取得了显著的成果。

我们在使用进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加大数据开发套件进行任务调度运维过程中遇到的常见问题，供大家参考~

本文介绍了Havenask的表结构变更，包括表结构简介、全量构建流程和变更表结构三个部分。表结构由schema配置，字段类型包括INT、FLOAT、STRING等，索引有倒排、正排和摘要索引。全量表变更会触发全量构建，完成后自动切换，但直写表不支持直接变更。变更过程涉及使用hape命令更新schema并触发全量build。最后还有全量构建的流程图和具体操作步骤。

流式计算和SQL 简要介绍Spark SQL流式开发语法 实时归档SLS数据到HDFS

一，背景与概述    复杂系统的灾难恢复是个难题，具有海量数据及复杂业务场景的大数据容灾是个大难题。    MaxCompute是集团内重要数据平台，是自主研发的大数据解决方案，其规模和稳定性在业界都是领先的。

Google宣布在2016年发布的数据可视化工具Data Studio，以及2017年发布的的数据预先处理服务Cloud Dataprep，现在都正式可用。

阿里云Elasticsearch拥有强大的搜索分析能力，最快可达5分钟/次。如何让你的阿里云云存储、云数据库产品拥有数据分析和搜索能力？那么这篇文章将会给你答案。

列式存储系列（一）概述 序 本文是列式存储系列的第一篇。在这个系列中，我们将介绍几个典型的列式存储系统。这些列式系统的出现都有各自的时代背景。在介绍这些系统的同时，我们也尽量介绍一下它们的背景，以便大家有一个更宏观的认识，理解这个系统为什么会出现，它要解决的问题，以及它如何影响后来类似系统的发展。

来了！我们把 Apache 顶级项目盛会搬到线上，4月25-26日，Flink Forward 全球在线会议精华版直播将正式上线，该系列直播均为中文版，精选大会优质内容由 Apache Flink 核心贡献者们对原版英文 talk 进行翻译及解说，您可直接免费在线观看！

本次分享内容为Havenask单机模式，由下面3个部分组成（Hape工具介绍、创建单机版Havenask、Hape问题排查），希望可以帮助大家更好了解和使用Havenask。

基于原始的阿里云计算平台产技文档，搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地，将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%，答疑采纳率70+%，显著提升答疑效率。

数据开发基本都是从陌生到熟悉，但是写多了就会发现各种好用的工具/函数，也会发现各种坑，本文分享了作者从拿到数据到数据开发到数据监控的一些实操经验。

本次分享内容为Havenask的日志查询，文章包含了具体查询步骤和举例、实操演示，希望可以帮助大家更好的使用Havenask。

移动端的以图搜图是一代又一代的图像人，搜索人的梦想。从90年代开始，学术界，工业界做了很多的努力和尝 试。拍立淘-以图搜图，从14年正式立项开始，通过算法/工程/产品的不断打磨，以及兄弟部门的紧密合作，在业务指标的增长的同时，沉淀下来了业界领先的图搜算法。

Python爬虫技术与数据可视化：Numpy、pandas、Matplotlib的黄金组合

本次分享内容为havenask的kubernetes模式部署，由下面2个部分组成（部署Kubernetes模式Havenask集群、 Kubernetes模式相关问题排查），希望可以帮助大家更好了解和使用Havenask。

本次分享内容为Havenask的集群扩备份，共2个部分组成（集群备份简介、 集群备份实践），希望可以帮助大家更好了解和使用Havenask。

本次分享内容为Havenask的文本索引，本次课程主要分为两部分内容，首先简要介绍倒排索引的数据结构和文本索引的特性，然后进行对文本索引配置不同分析器的实践，希望通过分享帮助大家更好了解和使用Havenask。

阿里云OpenSearch LLM智能问答版近期全新升级，新增最新版开源大模型、多模态模型、切片策略升级等产品能力。

Havenask是阿里巴巴智能引擎事业部自研的开源高性能搜索引擎，深度支持了包括淘宝、天猫、菜鸟、高德、饿了么在内几乎整个阿里的搜索业务。本文针对性介绍了Havenask的在线检索服务，它具备高可用、高时效、低成本的优势，帮助企业和开发者量身定做适合业务发展的智能搜索服务。

该文章来自阿里巴巴技术协会（ATA）精选集  0. 前言 何为双链路实时计算体系？微观实时计算链路 a) 最细粒度商品/店铺/用户数据的实时 b) 底层模型的实时宏观实时计算链路 相比微观实时，宏观实时的对象粒度更粗，更上层 a) 以实时效果为目标，基于bandit learning的实

Linux是一个功能强大的操作系统，提供了许多常用的命令行工具，用于管理文件、目录、进程、网络和系统配置等。以下是Linux必学的60个命令的概览，但请注意，这里可能无法列出所有命令的完整语法和选项，仅作为参考

一：背景       分类地图业务是指手淘首页首屏的"分类"入口，目前整个产品已经有300万左右日活跃用户和6000多万pv, 目前产品业务点较多，本文重点介绍点击品类词后的商品二跳页模块，具体如下图所示：当用户点击相应的品类词图片后，则会进入该类目下的商品集合。

Havenask是阿里巴巴智能引擎事业部自研的开源高性能搜索引擎，深度支持了包括淘宝、天猫、菜鸟、高德、饿了么在内几乎整个阿里的搜索业务。本文针对性介绍了Havenask的消息系统--Swift，它是一个设计用于处理大规模的数据流和实时消息传递的高性能、可靠的消息系统。

本文描述了淘宝搜索算法AI技术团使用强化学习算法在淘宝的环境中怎么解决实际的业务问题的以及一些研究探索。

本节分享 Havenask UDF定制相关的内容，共包含3个部分，分关于 Havenask 的 UDF 相关的介绍、自定义 UDF 的开发及配置方法的介绍，最后将进行 UDF 定制的实际操作演示。

Ha3是阿里巴巴搜索团队开发的搜索引擎平台，它为阿里集团包括淘宝、天猫在内的核心业务提供搜索服务支持。

引子 在刚刚过去的2015年双11大促中，搜索事业部的实时计算和在线学习系统Pora经受住了前所未有的双11巨量用户行为消息的冲击，在流入实时消息量持续超过300w/s，甚至峰值飙升至501w/s的压力下始终保持了端到端秒级实时效果，助力相关的搜索和推荐实时业务取得了很好的效果。 Pora如何能

本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI（EAS）模型服务，构建一个由LLM（大型语言模型）驱动的问题解答应用，并着重演示了如何搭建基于这些技术的RAG对话系统。

MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

 用户搜索意图的理解在搜索排序体系下有着重要的作用。在搜索引擎中，分析用户的搜索Query和哪些文档类目的意图更相关，被称为Query的类目预测。本文通过集合Query的语义和行为等特征，计算得到与Query最相关的类目，并在线上得到了相关性的体验的提升。

MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。