尘锋信息基于 Apache Paimon 构建流批一体湖仓

阿里云ES自从2017年云栖大会发布以来，通过开源社区与Elasticsearch公司紧密合作，经过近些年的快速发展，从体量上已经达到了覆盖全球17个区域、集群数1万+与节点数7万+、数据量20PB+的超大规模。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文以中文信息抽取为例，为您介绍如何在PAI-DSW中基于EasyNLP快速使用K-Global Pointer算法进行中文信息抽取模型的训练、评估、推理。

EasyCV是基于Pytorch，以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具，并包含图像分类，度量学习，目标检测，姿态识别等视觉任务的SOTA算法。本文将以BEVFormer 3D检测为例，为您介绍如何在PAI-DSW中使用EasyCV。

本文将从理论和实验两个部分详细论述通用增量 Checkpoint 的收益与开销，并分析其适用场景。

EasyNLP提供多种模型的训练及预测功能，旨在帮助自然语言开发者方便快捷地构建模型并应用于生产。本文简要介绍文图生成的技术，以及如何在PAI-DSW中基于EasyNLP使用diffusion model进行finetune和预测评估。

OpenSearch定制同义词模型可以提升搜索查询词同义扩展能力，扩大召回和查询词同义的文档，有效解决行业、垂类、业务特殊，有较多专属名词的客户优化用户搜索体验。

升级JSONB列式存储，Hologres助力淘宝搜索2022双11降本增效。

乐元素 X Hologres，一站式高性能游戏运营分析平台。

王峰 阿里巴巴开源委员会大数据AI领域副主席 阿里云开源大数据平台负责人 Flink中文社区发起人

一体化大数据智能峰会上，回顾了阿里巴巴开源大数据技术十三载发展历程，从使用回馈到共建引领，兼容并蓄，持续创新。以及对开源大数据产品矩阵再次升级的分享。

本文将会介绍TapTap基于Hologres在实时推荐场景的最佳实践。

Alink 提供了对大规模数据的高效统计，能提供数量、缺失值、最大最小值、分位数、分布直方图等各种统计指标，用户可以探索数据特征，并为特征工程提供辅助。Alink 还能无缝结合 TensorFlow Data Validation，提供数据 schema 推断、数据偏移检测等功能。

XGBoost作为机器学习领域的一款经典的Boosting算法，深受学界和工业界的推崇。其中很重要的一点就是它具有优秀的鲁棒性，并且在工程实现上面进行了大量的优化，在模型的复杂度和性能之间取得了很好的平衡。

PAI-DSW是一款为AI开发者量身定制的云端机器学习交互式开发IDE，随时随地开启Notebook快速读取数据、开发算法、训练及部署模型。本文介绍如何快速上手PAI-DSW。

阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR) + 一站式大数据数据开发治理平台DataWorks + 数据湖构建DLF + 对象存储OSS等核心产品。

字节跳动基础架构工程师马越在 FFA 2021 的演讲。

本文将介绍分贝通在大数据领域的一些建设经验。分贝通在ToB领域是一个年轻的公司，成立六年多，大数据体系刚刚建立一年多，整个团队不到二十人，整体的大数据建设处于初级和摸索的阶段。本次将总结在大数据业务上的实践和思考，希望给大家带来启发。

1.15 版本新引入的调度器，在作业运行时根据每个算子需要处理的实际数据量来自动推导并行度。

通过本文，我们将会介绍小迈科技如何通过Hologres搭建高可用的实时数仓。

王赫在 5.21 Flink CDC Meetup 的分享。

本文介绍如何使用Databricks进行广告效果归因分析，完成一站式的部署机器学习，包括数据ETL、数据校验、模型训练/评测/应用等全流程。

TPP图化致力于打造一个算法在线服务领域易用、性能极致、迭代效率远超普通方式的产品。本文将介绍TPP图化以及2021年在性能、开发体验上的改进，并介绍未来TPP图化的规划。

本文整理自阿里巴巴技术专家郭嘉梁（梁楹）在 阿里云Elasticsearch 自研引擎年度发布 的演讲。

2022年3月，MaxCompute 全新支持 Spark 3.1 版本；物化视图改写能力进一步增强，更多产品动态详情请查看本次月刊。

本文总结了使用Hologres时常见的监控告警相关问题，以帮助你能更好的使用Hologres。

分析服务一体化理念解读

Elasticsearch：inverted index，doc_values 及 source

在大数据实时化转型大趋势之下，Flink 不只能做一件事情。

CCO x Hologres：实时数仓高可用架构再次升级，双11大规模落地

原文出自: https://levelup.gitconnected.com/snowflake-vs-redshift-ra3-the-need-for-more-than-just-speed-52e954242715

Kibana 展示 Nginx 记录的访问 ES 日志

Sort-Shuffle 使 Flink 在应对大规模批数据处理任务时更加游刃有余

随着开源技术与云原生的高度融合，阿里云开源大数据平台在功能性、易用性、安全性上积累了丰富的实践经验，已成功服务数千家企业，助力其聚焦自身核心业务优势，缩短开发周期、简化运维难度，拓展更多业务创新。10月29日，阿里云发布“如何构建云原生的开源大数据平台”解决方案，邀请到了来自阿里云、微淼、Inmobi的技术专家为大家现身说法，呈现上云实践。

本文主要介绍Amazon Redshift如何迁移到MaxCompute，主要从语法对比和数据迁移两方面介绍，由于Amazon Redshift和MaxCompute存在语法差异，这篇文章讲解了一下语法差异

自己动手实现kibana的monitor

迁移助手是DataWorks上开发成果快速复制的利器，通过迁移助手可以将DataWorks上的开发成果在不同的环境快速复制。迁移助手是DataWorks的一个全新模块，它的核心能力主要分为两部分，一是任务上云，二是DataWorks迁移。

DataWorks运维中心是对任务进行测试和监控的模块，用户在DataStudio中进行代码开发和调试，将调试的任务经过提交发布操作后，就可以让任务按照调度配置来定时运行。也就是这个时候，任务就从开发环境进入到了生产环境。 对于生产环境中任务的测试、运维、监控等都是在运维中心完成的。运维中心包括三部分：运维大屏、任务运维和智能监控；根据任务运维的触发方式不同，又可以分为：实时任务运维、周期任务运维和手动任务运维。

数据集成是大数据平台上下云的核心枢纽，它的主要功能是把不同业务系统中的数据进行打通，实现数据自由离线或实时地流动，可以通过丰富的网络解决方案完成数据上下云。

企业大数据技术发展至今，历经了两次蜕变。第一次蜕变从最初的“小作坊”解决大数据问题，到后来企业用各类大数据技术搭建起属于自己的“大平台”，通过平台化的能力完成数据生产力的升级。第二次蜕变让大数据从“大平台”向“敏捷制造”的开发范式演进。基于DataWorks的一站式大数据开发治理的平台，就是这个蜕变最好的佐证。

上海站 Flink Meetup 分享内容，如何基于Flink、对象存储、Iceberg 来构建数据湖生态。