|
流计算 调度 缓存
|

Apache Flink 进阶(一):Runtime 核心机制剖析

本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。

2305 0
来自: 实时计算 Flink  版块
|
资源调度 Prometheus Kubernetes
|

Flink 1.10 Container 环境实战

本文第一部分将简明扼要地介绍容器管理系统的演变;第二部分是 Flink on K8S 简介,包括集群的部署模式调度原理等等;第三部分是我们这一年以来关于 Flink on K8S 的实战经验分享,介绍我们遇到的问题、踩过的坑;最后一部分是 Demo,将手把手演示集群部署、任务提交等等。

1103 0
来自: 实时计算 Flink  版块
|
Web App开发 缓存 负载均衡
|

什么是HTTP代理?HTTP代理的作用?HTTP代理怎么设置?

HTTP代理是一种充当客户端和服务器之间的中间人的服务器。当客户端发起请求时,HTTP代理会拦截请求并将其转发给目标服务器。一旦目标服务器响应,HTTP代理会拦截响应并将其转发回客户端。HTTP代理可以被用于多种场景,例如加强安全、缓存内容以加速访问、访问受限资源等等。在这篇文章中,我们将会讨论HTTP代理的作用、类型以及如何设置它。

5013 0
|
5月前
|
存储 缓存 网络协议
|

CDNJS/UNPKG/JSDelivr 太慢用不了,换成这些国内高速镜像

npm cdn, cdnjs, unpkg, jsdelivr, zstatic, zstatic.net, s4.zstatic.net

2378 4
|
6天前
|
机器学习/深度学习 编解码 测试技术
|

TimeMOE: 使用稀疏模型实现更大更好的时间序列预测

TimeMOE是一种新型的时间序列预测基础模型,通过稀疏混合专家(MOE)设计,在提高模型能力的同时降低了计算成本。它可以在多种时间尺度上进行预测,并且经过大规模预训练,具备出色的泛化能力。TimeMOE不仅在准确性上超越了现有模型,还在计算效率和灵活性方面表现出色,适用于各种预测任务。该模型已扩展至数十亿参数,展现了时间序列领域的缩放定律。研究结果显示,TimeMOE在多个基准测试中显著优于其他模型,特别是在零样本学习场景下。

114 64
|
3月前
|
存储 Python
|

数据包络分析(Data Envelopment Analysis, DEA)详解与Python代码示例

数据包络分析(Data Envelopment Analysis, DEA)详解与Python代码示例

1025 2
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
|

视觉 注意力机制——通道注意力、空间注意力、自注意力

本文介绍注意力机制的概念和基本原理,并站在计算机视觉CV角度,进一步介绍通道注意力、空间注意力、混合注意力、自注意力等。

3051 0
|
存储 人工智能 运维
|

免费公测|阿里云EMR Serverless StarRocks 公测正式开启!

阿里云EMR Serverless StarRocks 免费公测已开启,向所有用户开放!您可通过EMR控制台直接创建实例,轻松体验全托管、免运维的服务。

5640 1
|
SQL 消息中间件 人工智能
|

周末直播|Flink、Hologres、AI等热门话题全都安排!

6月14日,计算平台事业部与阿里云开发者社区联合举办的首期大数据+AI Meetup即将重磅开启,来自阿里、Databricks、快手、网易云音乐的国内外多位技术专家齐聚一堂,与你探讨大数据及 AI 领域的热门话题!

3877 0
来自: 实时计算 Flink  版块
|
5月前
|
存储 大数据 API
|

大数据隐私保护策略:加密、脱敏与访问控制实践

【4月更文挑战第9天】本文探讨了大数据隐私保护的三大策略:数据加密、数据脱敏和访问控制。数据加密通过加密技术保护静态和传输中的数据,密钥管理确保密钥安全;数据脱敏通过替换、遮蔽和泛化方法降低敏感信息的敏感度;访问控制则通过用户身份验证和权限设置限制数据访问。示例代码展示了数据库、文件系统和API访问控制的实施方式,强调了在实际应用中需结合业务场景和平台特性定制部署。

1260 0
|
DataWorks
|

DataWorks售前咨询

DataWorks售前咨询

7517 0
|
5月前
|
机器学习/深度学习 人工智能 数据可视化
|

号称能打败MLP的KAN到底行不行?数学核心原理全面解析

Kolmogorov-Arnold Networks (KANs) 是一种新型神经网络架构,挑战了多层感知器(mlp)的基础,通过在权重而非节点上使用可学习的激活函数(如b样条),提高了准确性和可解释性。KANs利用Kolmogorov-Arnold表示定理,将复杂函数分解为简单函数的组合,简化了神经网络的近似过程。与mlp相比,KAN在参数量较少的情况下能达到类似或更好的性能,并能直观地可视化,增强了模型的可解释性。尽管仍需更多研究验证其优势,KAN为深度学习领域带来了新的思路。

1602 5
|
4月前
|
数据采集 机器学习/深度学习 编解码
|

视频生成框架EasyAnimate正式开源!

EasyAnimate是人工智能平台PAI自主研发的DiT-based视频生成框架,它提供了完整的高清长视频生成解决方案,包括视频数据预处理、VAE训练、DiT训练、模型推理和模型评测等。可以使用EasyAnimate进行任意风格视频模型的训练和推理,还可以在预训练模型的基础上,通过少量图片的LoRA微调来改变生成视频的风格。

64475 64
来自: 人工智能平台PAI  版块
|
4月前
|
数据采集 监控 大数据
|

大数据时代的数据质量与数据治理策略

在大数据时代,高质量数据对驱动企业决策和创新至关重要。然而,数据量的爆炸式增长带来了数据质量挑战,如准确性、完整性和时效性问题。本文探讨了数据质量的定义、重要性及评估方法,并提出数据治理策略,包括建立治理体系、数据质量管理流程和生命周期管理。通过使用Apache Nifi等工具进行数据质量监控和问题修复,结合元数据管理和数据集成工具,企业可以提升数据质量,释放数据价值。数据治理需要全员参与和持续优化,以应对数据质量挑战并推动企业发展。

1011 3
|
4月前
|
自然语言处理 监控 并行计算
|

Qwen2大模型微调入门实战(完整代码)

该教程介绍了如何使用Qwen2,一个由阿里云通义实验室研发的开源大语言模型,进行指令微调以实现文本分类。微调是通过在(指令,输出)数据集上训练来改善LLMs理解人类指令的能力。教程中,使用Qwen2-1.5B-Instruct模型在zh_cls_fudan_news数据集上进行微调,并借助SwanLab进行监控和可视化。环境要求Python 3.8+和英伟达显卡。步骤包括安装所需库、准备数据、加载模型、配置训练可视化工具及运行完整代码。训练完成后,展示了一些示例以验证模型性能。相关资源链接也一并提供。

4752 5
|
12月前
|
传感器 编解码
|

什么是HDR?HDR与SDR的区别?

HDR(高动态范围)技术是一种近年来变得流行的图像技术,用于拍摄更自然、更真实的影像,尤其在Audio / Visual设备和数码相机等方面得到了广泛应用。在这里,我们将解释HDR技术的具体是什么,HDR与SDR的区别,HDR与4K的关系,以及HDR一般内置在哪些设备中。

1400 0
|
7天前
|
算法 API Apache
|

Flink CDC:新一代实时数据集成框架

本文源自阿里云实时计算团队 Apache Flink Committer 任庆盛在 Apache Asia CommunityOverCode 2024 的分享,涵盖 Flink CDC 的概念、版本历程、内部实现及社区未来规划。Flink CDC 是一种基于数据库日志的 CDC 技术实现的数据集成框架,能高效完成全量和增量数据的实时同步。自 2020 年以来,Flink CDC 经过多次迭代,已成为功能强大的实时数据集成工具,支持多种数据库和数据湖仓系统。未来将进一步扩展生态并提升稳定性。

253 1
来自: 实时计算 Flink  版块
|
2月前
|
XML 存储 API
|

RAG效果优化:高质量文档解析详解

本文介绍了如何通过高质量的文档解析提升RAG系统整体的效果。

11653 15
来自: 智能搜索推荐  版块
|
5月前
|
算法
|

【MATLAB】史上最全的11种数字信号滤波去噪算法全家桶

【MATLAB】史上最全的11种数字信号滤波去噪算法全家桶

1049 0
|
6天前
|
机器学习/深度学习 人工智能 分布式计算
|

使用PAI+LLaMA Factory 微调 Qwen2-VL 模型,搭建文旅领域知识问答机器人

本次教程介绍了如何使用 PAI 和 LLaMA Factory 框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。

78 0
来自: 人工智能平台PAI  版块
|
11月前
|
机器学习/深度学习 编解码 PyTorch
|

CVPR 2023 | 主干网络FasterNet 核心解读 代码分析

本文分享来自CVPR 2023的论文,提出了一种快速的主干网络,名为FasterNet。核心算子是PConv,partial convolution,部分卷积,通过减少冗余计算和内存访问来更有效地提取空间特征。

3870 1
|
机器学习/深度学习 数据采集 人工智能
|

从零开始构建自己的AI:一个初学者的机器学习教程

通过这个简单的机器学习教程,我们初步了解了从数据收集、选择模型到训练和预测的基本流程。机器学习是一个广阔的领域,有很多知识和技能需要深入学习。希望本教程能为初学者提供一个入门的指引,引导大家探索更多有关机器学习的知识。感谢您阅读本文,如果您有任何问题或想法,请在评论区与我分享!让我们一起踏上机器学习的旅程,构建属于自己的AI。

1829 1
|
2月前
|
应用服务中间件 Shell 网络安全
|

nginx安装提示 libssl.so.3: cannot open shared object file: No

【8月更文挑战第1天】### 原因 未将安装的ssl中的`libssl.so.3`链接到`/usr/lib`导致缺失。 ### 解决方案 1. 检查openssl是否已安装,若为低版本则需重装。 ```sh whereis openssl

631 6
|
5月前
|
机器学习/深度学习 人工智能 算法
|

通义千问Qwen-72B-Chat大模型在PAI平台的微调实践

本文将以Qwen-72B-Chat为例,介绍如何在PAI平台的快速开始PAI-QuickStart和交互式建模工具PAI-DSW中高效微调千问大模型。

147775 88
来自: 人工智能平台PAI  版块
|
2月前
|
数据采集 Web App开发 测试技术
|

使用Selenium调试Edge浏览器的常见问题与解决方案

在互联网数据采集领域,Selenium常用于自动化网页爬取。针对使用Edge浏览器时遇到的启动远程调试失败、访问受限及代理IP设置等问题,本文提供了解决方案。通过特定命令启动Edge的远程调试模式,并利用Python脚本配合Selenium库,可实现代理IP、User-Agent的设定及Cookie管理等高级功能,有效提升爬虫稳定性和隐蔽性。遵循步骤配置后,即可顺畅执行自动化测试任务。

299 1
|
2月前
|
机器学习/深度学习 并行计算 PyTorch
|

PyTorch与CUDA:加速深度学习模型训练的最佳实践

【8月更文第27天】随着深度学习应用的广泛普及,高效利用GPU硬件成为提升模型训练速度的关键。PyTorch 是一个强大的深度学习框架,它支持动态计算图,易于使用且高度灵活。CUDA (Compute Unified Device Architecture) 则是 NVIDIA 开发的一种并行计算平台和编程模型,允许开发者直接访问 GPU 的并行计算能力。本文将详细介绍如何利用 PyTorch 与 CUDA 的集成来加速深度学习模型的训练过程,并提供具体的代码示例。

303 3
|
机器学习/深度学习 开发工具 git
|

开发专题 | 1 :下载 huggingface 上模型的正确姿势

本文主要介绍如何以正确的方式下载 huggingface 上的模型

9536 1
|
29天前
|
前端开发 JavaScript 关系型数据库
|

如何开发一个ERP系统:从零开始构建

【9月更文第4天】企业资源计划(ERP)系统是现代企业管理不可或缺的一部分,它集成了公司的关键业务流程,并提供了统一的数据管理平台。本文将探讨如何从零开始构建一个简单的ERP系统,并提供一些基本的代码示例来演示关键组件的开发过程。

258 3
|
2月前
|
机器学习/深度学习 并行计算 PyTorch
|

ONNX 优化技巧:加速模型推理

【8月更文第27天】ONNX (Open Neural Network Exchange) 是一个开放格式,用于表示机器学习模型,使模型能够在多种框架之间进行转换。ONNX Runtime (ORT) 是一个高效的推理引擎,旨在加速模型的部署。本文将介绍如何使用 ONNX Runtime 和相关工具来优化模型的推理速度和资源消耗。

391 4
|
3月前
|
数据采集 机器学习/深度学习 算法
|

Python实现多元线性回归模型(statsmodels OLS算法)项目实战

Python实现多元线性回归模型(statsmodels OLS算法)项目实战

280 2
来自: 人工智能平台PAI  版块
|
3月前
|
供应链 搜索推荐 物联网
|

云上智能供应链:重塑物流与供应链管理的未来图景

云上智能供应链作为供应链管理领域的创新实践,正以其独特的优势和潜力引领着供应链管理的未来发展。通过数字化、智能化和集成化的手段,云上智能供应链不仅提升了供应链的整体效能和竞争力,还为企业带来了更多的商业价值和市场机遇。我们有理由相信,在未来的日子里,云上智能供应链将成为推动企业转型升级和实现可持续发展的重要力量。

264 0
|
存储 编解码 iOS开发
|

视频文件格式:MOV与MP4格式的区别是什么?

视频文件有多种格式,很多人在下载时不知道该选择哪种文件格式。不同格式有不同特点,各自有优缺点。本文将详细介绍常见的MOV和MP4的特点与区别,以供读者了解及选择。

2075 2
|
23天前
|
存储 人工智能 搜索推荐
|

RAG系统的7个检索指标:信息检索任务准确性评估指南

大型语言模型(LLMs)在生成式AI领域备受关注,但其知识局限性和幻觉问题仍具挑战。检索增强生成(RAG)通过引入外部知识和上下文,有效解决了这些问题,并成为2024年最具影响力的AI技术之一。RAG评估需超越简单的实现方式,建立有效的性能度量标准。本文重点讨论了七个核心检索指标,包括准确率、精确率、召回率、F1分数、平均倒数排名(MRR)、平均精确率均值(MAP)和归一化折损累积增益(nDCG),为评估和优化RAG系统提供了重要依据。这些指标不仅在RAG中发挥作用,还广泛应用于搜索引擎、电子商务、推荐系统等领域。

121 1
|
2月前
|
机器学习/深度学习 监控 API
|

基于云计算的机器学习模型部署与优化

【8月更文第17天】随着云计算技术的发展,越来越多的数据科学家和工程师开始使用云平台来部署和优化机器学习模型。本文将介绍如何在主要的云计算平台上部署机器学习模型,并讨论模型优化策略,如模型压缩、超参数调优以及分布式训练。

296 2
|
2月前
|
机器学习/深度学习 人工智能 供应链
|

AI在各行业的具体应用与未来展望

人工智能(Artificial Intelligence, AI)作为一项颠覆性技术,正在逐步改变我们的生活和工作方式。从语音助手到自动驾驶汽车,AI的应用已经深入到各个领域。本文将详细探讨AI在不同行业中的具体应用,以及未来可能的发展方向。

250 6
|
4月前
|
监控 网络协议 JavaScript
|

WebSocket技术详解与应用指南

WebSocket是全双工TCP协议,解决HTTP的单向通信问题,允许服务器主动推送信息。本文档介绍了WebSocket的基本概念、工作原理(基于HTTP握手,通过帧进行数据通信)、应用场景(实时聊天、在线游戏、数据监控等)和实现方法(客户端使用JavaScript API,服务器端有多种编程语言库支持)。学习WebSocket能提升Web应用的实时性和交互性。

520 1
|
5月前
|
人工智能 自然语言处理 大数据
|

大模型+知识图谱双驱架构:新一代《知识语义框架SPG》白皮书

白皮书展望了SPG与LLM双向驱动的技术架构。通过基于SPG构建统一的图谱技术框架,可以屏蔽复杂的技术细节以支持新业务的快速部署,真正实现知识图谱技术的框架化、平民化、普惠化。

1620 2
|
5月前
|
Java 关系型数据库 数据库连接
|

实时计算 Flink版操作报错之遇到错误org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc',该如何解决

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

983 2
来自: 实时计算 Flink  版块
|
11月前
|
机器学习/深度学习 并行计算 Shell
|

docker 获取Nvidia 镜像 | cuda |cudnn

本文分享如何使用docker获取Nvidia 镜像,包括cuda10、cuda11等不同版本,cudnn7、cudnn8等,快速搭建深度学习环境。

2723 0
|
5月前
|
自然语言处理 算法 OLAP
|

阿里云PAI大模型RAG对话系统最佳实践

本文为大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。

115658 207
来自: 人工智能平台PAI  版块
|
2月前
|
机器学习/深度学习 数据采集 PyTorch
|

高效数据加载与预处理:利用 DataLoader 优化训练流程

【8月更文第29天】 在深度学习中,数据加载和预处理是整个训练流程的重要组成部分。随着数据集规模的增长,数据加载的速度直接影响到模型训练的时间成本。为了提高数据加载效率并简化数据预处理流程,PyTorch 提供了一个名为 `DataLoader` 的工具类。本文将详细介绍如何使用 PyTorch 的 `DataLoader` 来优化数据加载和预处理步骤,并提供具体的代码示例。

157 1
|
2月前
|
JSON API 开发者
|

小红书 API 接口最新指南:笔记详情数据接口的接入与使用

小红书笔记详情数据接口由其开放平台提供,让开发者通过API批量获取笔记的全面信息,如标题、内容、图片及互动数据等。可用于数据分析、洞察用户行为与内容趋势,支持精准的内容创作与营销策略。使用前需注册认证并获取API密钥;依据官方文档构建与发送请求;处理JSON响应数据。注意遵守调用频率限制、保持数据更新及确保数据使用的合规性。

366 0
|
3月前
|
机器学习/深度学习 存储 人工智能
|

构建坚不可摧的系统安全防线:策略、实践与未来展望

系统安全是维护社会稳定、保障企业运营和个人隐私的重要基石。构建坚不可摧的系统安全防线需要从多个维度出发制定全面的安全策略并付诸实践。未来随着技术的不断进步和应用场景的不断拓展,系统安全将面临更多的挑战和机遇。只有不断创新和完善安全技术和策略才能应对日益复杂的安全威胁和挑战确保系统的安全和稳定运行。

274 0
|
3月前
|
SQL XML JavaScript
|

【若依Java】15分钟玩转若依二次开发,新手小白半小时实现前后端分离项目,springboot+vue3+Element Plus+vite实现Java项目和管理后台网站功能

摘要: 本文档详细介绍了如何使用若依框架快速搭建一个基于SpringBoot和Vue3的前后端分离的Java管理后台。教程涵盖了技术点、准备工作、启动项目、自动生成代码、数据库配置、菜单管理、代码下载和导入、自定义主题样式、代码生成、启动Vue3项目、修改代码、以及对代码进行自定义和扩展,例如单表和主子表的代码生成、树形表的实现、商品列表和分类列表的改造等。整个过程详细地指导了如何从下载项目到配置数据库,再到生成Java和Vue3代码,最后实现前后端的运行和功能定制。此外,还提供了关于软件安装、环境变量配置和代码自动生成的注意事项。

1566 2
|
5月前
|
机器学习/深度学习 弹性计算 TensorFlow
|

阿里云GPU加速:大模型训练与推理的全流程指南

随着深度学习和大规模模型的普及,GPU成为训练和推理的关键加速器。本文将详细介绍如何利用阿里云GPU产品完成大模型的训练与推理。我们将使用Elastic GPU、阿里云深度学习镜像、ECS(云服务器)等阿里云产品,通过代码示例和详细说明,带你一步步完成整个流程。

1841 0
|
3月前
|
数据采集 机器学习/深度学习 算法
|

深入Sklearn预处理技术:数据清洗与标准化实战

【7月更文第22天】在机器学习项目中,数据预处理是至关重要的一步,它直接影响到模型的性能和准确性。Scikit-learn(简称sklearn)作为Python中最受欢迎的机器学习库之一,提供了丰富的数据预处理工具。本文将深入探讨sklearn中的数据清洗与标准化技术,并通过实战代码示例展示如何应用这些技术提升模型效果。

368 2
|
4月前
|
数据采集 机器学习/深度学习 数据可视化
|

数据挖掘实战:Python在金融数据分析中的应用案例

Python在金融数据分析中扮演关键角色,用于预测市场趋势和风险管理。本文通过案例展示了使用Python库(如pandas、numpy、matplotlib等)进行数据获取、清洗、分析和建立预测模型,例如计算苹果公司(AAPL)股票的简单移动平均线,以展示基本流程。此示例为更复杂的金融建模奠定了基础。【6月更文挑战第13天】

991 3
|
4月前
|
数据采集 存储 数据可视化
|

Pandas高级教程:数据清洗、转换与分析

Pandas是Python的数据分析库,提供Series和DataFrame数据结构及数据分析工具,便于数据清洗、转换和分析。本教程涵盖Pandas在数据清洗(如缺失值、重复值和异常值处理)、转换(数据类型转换和重塑)和分析(如描述性统计、分组聚合和可视化)的应用。通过学习Pandas,用户能更高效地处理和理解数据,为数据分析任务打下基础。

332 3
|
5月前
|
Ubuntu Linux
|

Ubuntu 报错:System has not been booted with systemd as init system (PID 1). Can‘t operate.

系统未使用 `systemd` 初始化导致错误。解决方法是通过 `apt` 安装。首先备份并更换`sources.list`,添加阿里云镜像源,然后更新源并以管理员权限运行 `apt-get install systemd -y` 和 `apt-get install systemctl -y` 安装所需组件。

1006 3
|
5月前
|
Ubuntu
|

Ubuntu20.04安装软件报错:The following packages have unmet dependencies - 蓝易云

请注意,替换上述命令中的 `<package-name>`为你实际要安装的软件包名。

773 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

1
今日
64075
内容
106
活动
438008
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务