来了！我们把 Apache 顶级项目盛会搬到线上，4月25-26日，Flink Forward 全球在线会议精华版直播将正式上线，该系列直播均为中文版，精选大会优质内容由 Apache Flink 核心贡献者们对原版英文 talk 进行翻译及解说，您可直接免费在线观看！

Koalas是Spark社区推出的新项目，旨在为Spark提供与pandas完全兼容的接口，在降低pandas用户的学习和迁移成本的同时，充分利用Spark强大的分布式处理能力。本次分享介绍Koalas的基本用法和原理。

通过分析2016年一年来的空气指标数据探查雾霾成因，最终成功挖掘出影响雾霾的最关键因素是二氧化氮的排放量。使用了统计分析组件、逻辑回归以及随机森林。<br />数据源:国家气象局数据<br />数据大小:37.3 KB<br />字段数量:7<br />使用组件:归一化,拆分,SQL脚本,读数据表,类型转换<br />

2019年Q2 MaxCompute发布了一系列新功能。 本文对主要新功能和增强功能进行了概述。 SQL新功能 华北张家口节点正式开服售卖 国际Region Spark商业化发布 存储降价 元数据服务Information Schema MaxCompute搬站迁移工具MMA 数据脱敏 Tunn...

实现GBDT与LR的融合<br />数据源:<br />数据大小:1.54 MB<br />字段数量:20<br />使用组件:拆分,读数据表,特征编码<br />

背景 熟悉大数据的人应该都知道，HDFS 是一个分布式文件系统，它是基于谷歌的 GFS 思路实现的开源系统，它的设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。在经典的 HDFS 架构中有2个 NameNode 和多个 DataNode 的，如下： 从上面可以看出 HDFS 的架构其实大致可以分为两层： Namespace：由目录，文件和数据块组成，支持常见的文件系统操作，例如创建，删除，修改和列出文件和目录。

本文基于 Flink 1.9.0 和 Kafka 2.3 版本，对 Flink Kafka source 和 sink 端的源码进行解析，主要分为 Flink-kafka-source 源码解析、Flink-kafka-sink 源码解析两部分。

在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。

背景 Count Distinct是SQL查询中经常使用的聚合统计方式，用于计算非重复结果的数目。由于需要去除重复结果，Count Distinct的计算通常非常耗时。为了支持更快速的非重复结果统计Spark还基于Hyperloglog实现了Approximate Count Distinct，用于统计非重复结果的近似值，支持。

实战分享：CTR中的GBDT+LR融合方案<br />数据源:internet<br />数据大小:770 KB<br />字段数量:20<br />使用组件:拆分,读数据表,特征编码<br />

5月16日，2020 首场 Meetup 重磅上线。一如既往，本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家为您现场直播，让您足不出户，有直播看、有干货学、有奖品拿～

股票<br />数据源:pufa<br />数据大小:12.4 KB<br />字段数量:6<br />使用组件:读数据表,SQL脚本<br />

多分类评估<br />数据源:多分类评估<br />数据大小:779 KB<br />字段数量:42<br />使用组件:读数据表<br />

在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接，系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。

在上篇文章中，笔者使用的 CDH 版本为 5.16.2，其中 Hive 版本为 1.1.0（CDH 5.x 系列 Hive 版本都不高于 1.1.0，是不是不可理解），Flink 源代码本身对 Hive 1.1.0 版本兼容性不好，存在不少问题。

本文第一部分将简明扼要地介绍容器管理系统的演变；第二部分是 Flink on K8S 简介，包括集群的部署模式调度原理等等；第三部分是我们这一年以来关于 Flink on K8S 的实战经验分享，介绍我们遇到的问题、踩过的坑；最后一部分是 Demo，将手把手演示集群部署、任务提交等等。

npm cdn, cdnjs, unpkg, jsdelivr, zstatic, zstatic.net, s4.zstatic.net

TimeMOE是一种新型的时间序列预测基础模型，通过稀疏混合专家（MOE）设计，在提高模型能力的同时降低了计算成本。它可以在多种时间尺度上进行预测，并且经过大规模预训练，具备出色的泛化能力。TimeMOE不仅在准确性上超越了现有模型，还在计算效率和灵活性方面表现出色，适用于各种预测任务。该模型已扩展至数十亿参数，展现了时间序列领域的缩放定律。研究结果显示，TimeMOE在多个基准测试中显著优于其他模型，特别是在零样本学习场景下。

本文介绍注意力机制的概念和基本原理，并站在计算机视觉CV角度，进一步介绍通道注意力、空间注意力、混合注意力、自注意力等。

数据包络分析（Data Envelopment Analysis, DEA）详解与Python代码示例

【4月更文挑战第9天】本文探讨了大数据隐私保护的三大策略：数据加密、数据脱敏和访问控制。数据加密通过加密技术保护静态和传输中的数据，密钥管理确保密钥安全；数据脱敏通过替换、遮蔽和泛化方法降低敏感信息的敏感度；访问控制则通过用户身份验证和权限设置限制数据访问。示例代码展示了数据库、文件系统和API访问控制的实施方式，强调了在实际应用中需结合业务场景和平台特性定制部署。

Kolmogorov-Arnold Networks (KANs) 是一种新型神经网络架构，挑战了多层感知器（mlp）的基础，通过在权重而非节点上使用可学习的激活函数（如b样条），提高了准确性和可解释性。KANs利用Kolmogorov-Arnold表示定理，将复杂函数分解为简单函数的组合，简化了神经网络的近似过程。与mlp相比，KAN在参数量较少的情况下能达到类似或更好的性能，并能直观地可视化，增强了模型的可解释性。尽管仍需更多研究验证其优势，KAN为深度学习领域带来了新的思路。

EasyAnimate是人工智能平台PAI自主研发的DiT-based视频生成框架，它提供了完整的高清长视频生成解决方案，包括视频数据预处理、VAE训练、DiT训练、模型推理和模型评测等。可以使用EasyAnimate进行任意风格视频模型的训练和推理，还可以在预训练模型的基础上，通过少量图片的LoRA微调来改变生成视频的风格。

在大数据时代，高质量数据对驱动企业决策和创新至关重要。然而，数据量的爆炸式增长带来了数据质量挑战，如准确性、完整性和时效性问题。本文探讨了数据质量的定义、重要性及评估方法，并提出数据治理策略，包括建立治理体系、数据质量管理流程和生命周期管理。通过使用Apache Nifi等工具进行数据质量监控和问题修复，结合元数据管理和数据集成工具，企业可以提升数据质量，释放数据价值。数据治理需要全员参与和持续优化，以应对数据质量挑战并推动企业发展。

HDR（高动态范围）技术是一种近年来变得流行的图像技术，用于拍摄更自然、更真实的影像，尤其在Audio / Visual设备和数码相机等方面得到了广泛应用。在这里，我们将解释HDR技术的具体是什么，HDR与SDR的区别，HDR与4K的关系，以及HDR一般内置在哪些设备中。

本次教程介绍了如何使用 PAI 和 LLaMA Factory 框架，基于全参方法微调 Qwen2-VL模型，使其能够进行文旅领域知识问答，同时通过人工测试验证了微调的效果。

本文介绍了如何通过高质量的文档解析提升RAG系统整体的效果。

本文将以Qwen-72B-Chat为例，介绍如何在PAI平台的快速开始PAI-QuickStart和交互式建模工具PAI-DSW中高效微调千问大模型。

本文分享来自CVPR 2023的论文，提出了一种快速的主干网络，名为FasterNet。核心算子是PConv，partial convolution，部分卷积，通过减少冗余计算和内存访问来更有效地提取空间特征。

【8月更文挑战第1天】### 原因 未将安装的ssl中的`libssl.so.3`链接到`/usr/lib`导致缺失。 ### 解决方案 1. 检查openssl是否已安装，若为低版本则需重装。 ```sh whereis openssl

【8月更文第27天】ONNX (Open Neural Network Exchange) 是一个开放格式，用于表示机器学习模型，使模型能够在多种框架之间进行转换。ONNX Runtime (ORT) 是一个高效的推理引擎，旨在加速模型的部署。本文将介绍如何使用 ONNX Runtime 和相关工具来优化模型的推理速度和资源消耗。

【8月更文第27天】随着深度学习应用的广泛普及，高效利用GPU硬件成为提升模型训练速度的关键。PyTorch 是一个强大的深度学习框架，它支持动态计算图，易于使用且高度灵活。CUDA (Compute Unified Device Architecture) 则是 NVIDIA 开发的一种并行计算平台和编程模型，允许开发者直接访问 GPU 的并行计算能力。本文将详细介绍如何利用 PyTorch 与 CUDA 的集成来加速深度学习模型的训练过程，并提供具体的代码示例。

本文主要介绍如何以正确的方式下载 huggingface 上的模型

【9月更文第4天】企业资源计划（ERP）系统是现代企业管理不可或缺的一部分，它集成了公司的关键业务流程，并提供了统一的数据管理平台。本文将探讨如何从零开始构建一个简单的ERP系统，并提供一些基本的代码示例来演示关键组件的开发过程。

云上智能供应链作为供应链管理领域的创新实践，正以其独特的优势和潜力引领着供应链管理的未来发展。通过数字化、智能化和集成化的手段，云上智能供应链不仅提升了供应链的整体效能和竞争力，还为企业带来了更多的商业价值和市场机遇。我们有理由相信，在未来的日子里，云上智能供应链将成为推动企业转型升级和实现可持续发展的重要力量。

Python实现多元线性回归模型(statsmodels OLS算法)项目实战

【8月更文第17天】随着云计算技术的发展，越来越多的数据科学家和工程师开始使用云平台来部署和优化机器学习模型。本文将介绍如何在主要的云计算平台上部署机器学习模型，并讨论模型优化策略，如模型压缩、超参数调优以及分布式训练。