RTP 系统是一个面向搜索和推荐的 ranking 需求，支持多种模型的在线 inference 服务。本文主要讨论了在 RTP 的存储读取和特征生成场景中 codegen 的应用。利用 IR 和 C++ 混合编程，解决系统的抽象和性能问题，并提供 schedule 的优化能力。

国内领先的第三方全域数据智能服务商友盟+，联合阿里云EB级云数据仓库 MaxCompute 为企业提供面向分析的，实现友盟域数据与企业私域数据全面融合的自助分析服务“U-DOP数据开放”。

阿里巴巴这次共派出了包括笔者在内的3名讲师，总共参加了4场分享和2个问答环节。在这里，我会根据自己参与的议题给大家做一下这次会议整体的一个介绍和个人在这次参会过程里面的感受和思考，希望对感兴趣的同学有所帮助。

2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，阿里巴巴资深技术专家钱正平为大家分享了大数据技术背景下图数据的应用前景，以及阿里巴巴在图数据的建模、查询和系统优化等方面做出的初步探索。

本文节选自阿里云MVP第五期嘉宾阿里云技术专家李靖威分享话题《使用X-Pack和Kibana实现Elasticsearch 的监控与报警》。以开源 Elasticsearch、阿里云 Elasticsearch和X-Pack的Demo show的形式， 对 Elasticsearch 集群监控和报警的内部原理进行讲解和使用方法演示。

用户在DataWorks上执行MapReduce作业的时候，文件大于10M的JAR和资源文件不能上传到Dataworks，导致无法使用调度去定期执行MapReduce作业。 解决方案： jar -resources test_mr.

之前有很多DataWorks用户问MaxCompute访问权限问题，比如子账号为什么可以增删查别人在别的项目创建的表，即使这个子账号并没有加入那个项目 。 今天手把手教大家实现子账号授权并关闭跨Project的数据访问权限。

我们可以通过存储插件连接到本地文件系统，Hive,HBase，或是其他的数据源。在Drill的web界面的存储插件配置tab,你可以查看修改这些插件的配置。如果不支持HTTPS（默认就没有），你可以访问HTTP://{IP}:8047/storage 来查看和配置存储插件。可以用IP，也可以用ho.

写这篇文之前想起一个段子：“你在干嘛？”“我在王健林这儿跟马云谈生意。”“说人话！”“我在万达广场逛无聊了坐着拿手机淘宝……” 所以，本来开篇想说上周到马云那里聊了会最新的云计算技术，想想还是不那么得瑟，老实交代吧，上周五到杭州阿里巴巴总部以开小规模研讨会的名义实质上主要是去参观学习了一圈。

1. 背景     在手淘的搜索中，当用户输入query进行搜索之后，一方面有适合他的商品展现出来，另一方面，如何更好地理解用户意图，为其推荐更合适的关键词进行细分查找，从而更高效的引导用户到他想找的商品，也是一件非常重要的事情。

本文主要谈了一些分布式计算框架方面的心得。

背景 EMR Spark提供的Relational Cache功能，可以通过对数据模型进行预计算和高效地存储，加速Spark SQL，为客户实现利用Spark SQL对海量数据进行即时查询的目的。Relational Cache的工作原理类似物化视图，在用户提交SQL语句时对语句进行分析，并选出可用的预计算结果来加速查询。

云数据仓库是构建在云上的新一代数据仓库解决方案，如何选择符合企业需求的云数据仓库，选择时应考虑哪些关键问题成为很多企业管理者关心的问题。本文参考TDWI以及Forrester的研究报告内容，对云数据仓库选型参考依据进行介绍，希望能对您在云数据仓库选型时有所帮助。

 由于MaxCompute SQL本身不提供类似数据库的select * from table limit x offset y的分页查询逻辑。但是有很多用户希望在一定场景下能够使用获取类似数据库分页的逻辑，对查询结果进行分页/分批获取结果，本文将介绍几种方法，来实现上述场景。

Presto可以对接LDAP，实现用户密码认证。只需要Coordinator节点对接LDAP即可。主要步骤如下： 1.配置ApacheDS，启用LDAPS 2. 在ApacheDS中创建用户信息 3. 配置Presto Coordinator，重启生效 4. 验证配置

云栖社区启动了“票选最美云上大数据”活动，为用户带来了10+行业的实际大数据应用，同时得票TOP 4的企业更将与6位阿里大数据技术大牛一起，于3月9日线上“大数据技术峰会”为大家全面解析大数据技术与应用。

MaxCompute依托于阿里云的飞天基础架构，与今天业界常见的依托虚拟机技术 + 开源引擎的云原生方案有很大的不同。 随着联合计算平台的推出，MaxCompute 从可以无缝集成 Spark，到今天可以通过提供标准的 Kubernetes 拥抱更加丰富的开源生态，一直秉承“保持自研优势，拥抱开源生态”的原则，走出了一条与众不同的实践之路。

本周关注：大数据部门、数据科学家、机器学习发展与机遇、spark2.0 Structured Streaming、Hbase运维、Sqoop、Flink的第一本书籍。

众所周知 Flink 是当前广泛使用的计算引擎，Flink 使用 checkpoint 机制进行容错处理[1]，Flink 的 checkpoint 会将状态快照备份到分布式存储系统，供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS，当同一个集群的 Job 到达一定数量后，会对 HDFS 造成非常大的压力，本文将介绍一种大幅度降低 HDFS 压力的方法 -- 小文件合并。

现象：因业务需求新增了SQL任务，这SQL扫描的表为分区表，且SQL条件里表只指定了一个分区，按指定的分区来看数据量并不大，但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。 若只知道总体费用暴涨，但是没明确是什么任务暴涨，可以可以参考查看账单详情-使用记录文档，找出费用异常的记录。

本文简单介绍了，如何在E-MapReduce上提交Oozie workflow job。提供了可以直接下载运行的示例代码，欢迎使用。

10月12日，阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破：将BigBench数据规模扩展到100T；流计算2.0每秒峰值达千万QPS，整体链路延时亚秒级；E-MapReduce对比同类产品平均性能提升3倍。

Spark应用经常遇到的问题很多都是内存问题，本文对Driver和Executor的内存管理机制进行了相关介绍。

3月22日，阿里云将正式开服售卖华东1（杭州）节点的大数据计算服务MaxCompute，以进一步提升对华东区域客户服务的响应速度，推动杭州大数据、人工智能产业的加速发展。

本文PPT来自阿里云数据事业部专家少杰于10月15日在2016年杭州云栖大会上发表的《MaxCompute SQL 2.0全新的计算引擎》。

TCP的backlog导致的超时问题排查

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。

按照惯性思维，统计一个字段去重后的条数我们的sql写起来如下： Distinct的作用是用于从指定集合中消除重复的元组，经常和count搭档工作，语法如下 COUNT( { [ DISTINCT ] expression ] | * } ) 这时，可能会碰到如下情况，你想统计同时有多列字段重复的数目，你可能会立马想到如下方法： select count( distinct col1 , col2 , col3 , .......) from table 但是，这样是有问题的，如果值包含空，那么我们的结果是什么呢？如果你实验过，正如你实验的一样，结果会比实际少。

汉字转换拼音在日常开发中是个很常见的问题。例如我们伟大的12306，在地名中输入“WH”，就会出现“武汉”“芜湖”“威海”等地名，输入“WUHU”就会出现“芜湖”。 我们在MaxCompute开发中也会遇到此类问题，今天为大家提供一个转换的UDF，下载地址见附件。

随着业务的增长与发展，不同的Elasticsearch集群承担着多厚多样的功能需求。尤其是当集群规模增长、业务庞大时，需要耗费大量的精力运维集群。阿里云Elasticsearch研发了一套智能运维系统，可通多专家经验与数据驱动两个重要抓手帮助用户运维集群、提升业务的稳定性。

　　近日，第26届操作系统原理大会（SOSP）在上海举行，来自亚洲、欧洲、北美等地区的高校、学术机构和众多科技企业研究人员齐聚一堂。阿里巴巴受邀参加此次会议，除在展区展示系统软件技术的同时，阿里集团副总裁周靖人在BOF环节向参会人员介绍了阿里在数据库、计算、机器学习、网络等领域的多项重点技术。

心脏病是人类健康的头号杀手。全世界1／3的人口死亡是因心脏病引起的，而我国，每年有几十万人死于心脏病。 所以，如果可以通过提取人体相关的体侧指标，通过数据挖掘的方式来分析不同特征对于心脏病的影响，对于预测和预防心脏病将起到至关重要的作用。本文将会通过真实的数据，通过阿里云机器学习平台搭建心脏病预测案例。<br />数据源:UCI<br />数据大小:7.49 KB<br />字段数量:15<br />使用组件:归一化,拆分,过滤式特征选择,SQL脚本,读数据表,类型转换<br />

大家在使用E-MapReduce的时候，都想对E-MapReduce的集群环境细节有些了解。这里根据实践，总结一下E-MapReduce集群环境与应用启动与停止，供大家在实际使用中进行参考。

SparkSQL Thrift Server 是 Spark SQL基于 Apache Hive的 HiveServer2开发的，通过SparkSQL Thrift Server 可以使 Spark SQL支持 JDBC/ODBC 的连接方式，用户可以通过 JDBC and ODBC 协议，在Spark上执行 SQL。

1. 发展历程         Hippo是搜索事业部调度系统团队自研的支撑集团内外多个BU搜索与推荐体系和阿里云上Opensearch/ES等的调度系统，经过了5年的快速发展，提供了可靠、简单、低成本的资源及应用托管方案，通过自动化运维、机器合池、智能弹性调度、混部和在离线统一调度等手段解决成本和效率的问题。

报表的数据源如何组织？数据链路是怎样？怎样快捷方便的拿到数据？