|
8月前
|
分布式计算 并行计算 调度
|

基于HPC场景的集群任务调度系统LSF/SGE/Slurm/PBS

在HPC场景中,集群任务调度系统是资源管理和作业调度的核心工具。LSF、SGE、Slurm和PBS是主流调度系统。LSF适合大规模企业级集群,提供高可靠性和混合云支持;SGE为经典开源系统,适用于中小规模集群;Slurm成为HPC领域事实标准,支持多架构和容器化;PBS兼具商业和开源版本,擅长拓扑感知调度。选型建议:超大规模科研用Slurm,企业生产环境用LSF/PBS Pro,混合云需求选LSF/PBS Pro,传统小型集群用SGE/Slurm。当前趋势显示Slurm在TOP500系统中占比超60%,而商业系统在金融、制造等领域保持优势。

1532 32
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
|

很火的DeepSeek到底是什么

DeepSeek,全称杭州深度求索人工智能基础技术研究有限公司,成立于2023年。因推出开源 AI 模型 DeepSeek-R1 而引起了广泛关注。与ChatGPT相比,大幅降低了推理模型的成本。

3486 36
|
存储 C语言
|

C语言中a 和&a 有什么区别

在C语言中,"a" 是一个变量的名字,代表存储在内存中的某个值。而"&a" 则是获取该变量的内存地址,即变量a在计算机内存中的具体位置。这两者的主要区别在于:"a" 操作的是变量中的值,"&a" 操作的是变量的内存地址。

1763 23
|
自然语言处理 监控 并行计算
|

Qwen2大模型微调入门实战(完整代码)

该教程介绍了如何使用Qwen2,一个由阿里云通义实验室研发的开源大语言模型,进行指令微调以实现文本分类。微调是通过在(指令,输出)数据集上训练来改善LLMs理解人类指令的能力。教程中,使用Qwen2-1.5B-Instruct模型在zh_cls_fudan_news数据集上进行微调,并借助SwanLab进行监控和可视化。环境要求Python 3.8+和英伟达显卡。步骤包括安装所需库、准备数据、加载模型、配置训练可视化工具及运行完整代码。训练完成后,展示了一些示例以验证模型性能。相关资源链接也一并提供。

9787 5
|
存储 Ubuntu 关系型数据库
|

Ubuntu 20.04 卸载与安装 MySQL 5.7 详细教程

该文档提供了在Ubuntu上卸载和安装MySQL 5.7的步骤。首先,通过`apt`命令卸载所有MySQL相关软件包及配置。然后,下载特定版本(5.7.32)的MySQL安装包,解压并安装所需依赖。接着,按照特定顺序安装解压后的deb包,并在安装过程中设置root用户的密码。安装完成后,启动MySQL服务,连接数据库并验证。最后,提到了开启GTID和二进制日志的配置方法。

4124 5
|
存储 机器学习/深度学习 分布式计算
|

【DSW Gallery】COMMON_IO使用指南

COMMON_IO模块提供了TableReader和TableWriter两个接口,使用TableReader可以读取ODPS Table中的数据,使用TableWriter可以将数据写入ODPS Table。

4045 0
来自: 人工智能平台PAI  版块
|
存储 搜索推荐 算法
|

大数据的下一站是什么?服务/分析一体化(HSAP)

随着互联网的发展,数据量出现了指数型的增长,单机的数据库已经不能满足业务的需求。特别是在分析领域,一个查询就可能需要处理很大一部分甚至全量数据,海量数据带来的压力变得尤为迫切。分析不再是传统的 OLAP 系统或者大数据系统特有的能力,一个很自然的问题是:**既然 HTAP 有了分析的能力,它是不是将取代大数据系统呢?大数据的下一站是什么?

6221 0
来自: 实时数仓 Hologres  版块
|
1月前
|
存储 人工智能 监控
|

LangGraph实战:从零构建智能交易机器人,让多个AI智能体像投资团队一样协作

如今的量化交易已远超传统技术指标,迈向多智能体协作的新时代。本文介绍了一个基于 **LangGraph** 构建的多智能体交易系统,模拟真实投资机构的运作流程:数据分析师收集市场情报,研究员展开多空辩论,交易员制定策略,风险团队多角度评估,最终由投资组合经理做出决策。系统具备记忆学习能力,通过每次交易积累经验,持续优化决策质量。

402 8
|
数据采集 安全 API
|

数据治理:实现原始数据不出域,确保数据可用不可见的创新策略

在数字化时代,数据成为企业宝贵资产,驱动业务决策与创新。然而,数据量激增和流通频繁带来了安全和管理挑战。“原始数据不出域,数据可用不可见”的治理理念应运而生,通过数据脱敏、沙箱技术和安全多方计算等手段,确保数据安全共享与高效利用。这一理念已广泛应用于金融、医疗等行业,提升了数据价值和企业竞争力。

1963 0
|
机器学习/深度学习 人工智能 数据可视化
|

号称能打败MLP的KAN到底行不行?数学核心原理全面解析

Kolmogorov-Arnold Networks (KANs) 是一种新型神经网络架构,挑战了多层感知器(mlp)的基础,通过在权重而非节点上使用可学习的激活函数(如b样条),提高了准确性和可解释性。KANs利用Kolmogorov-Arnold表示定理,将复杂函数分解为简单函数的组合,简化了神经网络的近似过程。与mlp相比,KAN在参数量较少的情况下能达到类似或更好的性能,并能直观地可视化,增强了模型的可解释性。尽管仍需更多研究验证其优势,KAN为深度学习领域带来了新的思路。

5520 5
|
1月前
|
存储 编解码 监控
|

针对3-15分钟视频的抽帧策略:让Qwen2.5 VL 32B理解视频内容

针对3-15分钟视频,提出高效抽帧策略:通过每5-10秒定间隔或关键帧检测方法,提取30-100帧关键图像,结合时间均匀采样与运动变化捕捉,降低冗余,提升Qwen2.5 VL 32B对视频内容的理解效率与准确性。

420 2
|
2月前
|
安全
|

电脑进入bios关闭网卡的技巧

华硕电脑开机显示字符无法进入系统,提示“PXE-MOF:Exiting PXE ROM”,表明电脑正尝试从网卡启动。解决方法为进入BIOS关闭网卡启动功能。开机时连续按F2进入BIOS,切换至“Security”选项卡,找到“I/O Interface Security”设置,选择“LAN Network Interface”并设为“LOCKED”以禁用网卡启动,最后按F10保存退出即可。

325 0
|
4月前
|
定位技术
|

安徽京准分享:北斗RDSS授时和北斗授时RNSS的区别

安徽京准分享:北斗RDSS授时和北斗授时RNSS的区别

732 15
|
7月前
|
机器学习/深度学习 数据处理
|

大语言模型中的归一化技术:LayerNorm与RMSNorm的深入研究

本文分析了大规模Transformer架构(如LLama)中归一化技术的关键作用,重点探讨了LayerNorm被RMSNorm替代的原因。归一化通过调整数据量纲保持分布形态不变,提升计算稳定性和收敛速度。LayerNorm通过均值和方差归一化确保数值稳定,适用于序列模型;而RMSNorm仅使用均方根归一化,省略均值计算,降低计算成本并缓解梯度消失问题。RMSNorm在深层网络中表现出更高的训练稳定性和效率,为复杂模型性能提升做出重要贡献。

1538 14
|
2天前
|
存储 分布式计算 运维
|

云栖实录|驰骋在数据洪流上:Flink+Hologres驱动零跑科技实时计算的应用与实践

零跑科技基于Flink构建一体化实时计算平台,应对智能网联汽车海量数据挑战。从车机信号实时分析到故障诊断,实现分钟级向秒级跃迁,提升性能3-5倍,降低存储成本。通过Flink+Hologres+MaxCompute技术栈,打造高效、稳定、可扩展的实时数仓,支撑100万台量产车背后的数据驱动决策,并迈向流批一体与AI融合的未来架构。

64 2
来自: 实时计算 Flink  版块
|
3天前
|
存储 物联网 Serverless
|

理想汽车基于 Hologres + Flink 构建万亿级车联网信号实时分析平台

理想汽车携手阿里云Hologres+Flink,打造万亿级车联网实时分析平台。面对百万余辆智能车、每秒百万级信号上报的挑战,通过存算分离、冷热分层、流批一体等创新,实现写入性能提升200%、查询QPS超万、成本降低40%,支撑数字孪生、智能诊断等高实时业务,构建高可用、弹性伸缩、低成本的下一代数据底座。

64 4
|
编解码 自然语言处理 并行计算
|

【经典论文解读】YOLACT 实例分割(YOLOv5、YOLOv8实例分割的基础)

 YOLACT是经典的单阶段、实时、实例分割方法,在YOLOv5和YOLOv8中的实例分割,也是基于 YOLACT实现的,有必要理解一下它的模型结构和设计思路。

3624 0
|
11天前
|
JSON API 数据格式
|

小红书API接口文档:笔记详情数据开发手册

小红书笔记详情API可获取指定笔记的标题、正文、互动数据及多媒体资源,支持字段筛选与评论加载。通过note_id和access_token发起GET/POST请求,配合签名验证,广泛用于内容分析与营销优化。

135 3
|
6月前
|
机器学习/深度学习 存储 缓存
|

加速LLM大模型推理,KV缓存技术详解与PyTorch实现

大型语言模型(LLM)的推理效率是AI领域的重要挑战。本文聚焦KV缓存技术,通过存储复用注意力机制中的Key和Value张量,减少冗余计算,显著提升推理效率。文章从理论到实践,详细解析KV缓存原理、实现与性能优势,并提供PyTorch代码示例。实验表明,该技术在长序列生成中可将推理时间降低近60%,为大模型优化提供了有效方案。

1160 15
|
人工智能
|

初涉歌词创作:写歌词的技巧和方法你知道多少,妙笔生词智能写歌词软件

对于初涉歌词创作的人来说,掌握关键技巧和使用“妙笔生词智能写歌词软件”能大大提升创作效率。该软件提供AI智能写词、押韵优化、歌词续写等功能,帮助捕捉灵感,明确主题,优化结构,使语言表达更加简洁生动,助你创作出感人至深的作品。

756 1
|
机器学习/深度学习 人工智能 供应链
|

AI在各行业的具体应用与未来展望

人工智能(Artificial Intelligence, AI)作为一项颠覆性技术,正在逐步改变我们的生活和工作方式。从语音助手到自动驾驶汽车,AI的应用已经深入到各个领域。本文将详细探讨AI在不同行业中的具体应用,以及未来可能的发展方向。

3337 6
|
Docker 容器
|

docker保存镜像、打包tar、加载tar镜像

本文记录docker保存镜像、打包tar、加载tar镜像。

3526 0
|
3天前
|
机器学习/深度学习 算法 定位技术
|

多源数据融合中做决策不再靠直觉!层次分析法(AHP)帮你科学选方案

层次分析法(AHP)助力科学决策!将复杂问题分解为目标、准则、方案的多层结构,通过两两比较与权重计算,实现定性与定量结合的优选判断。适用于选校、购房、供应商评估等多场景,搭配一致性检验与CRITIC法更客观可靠,让决策不再靠直觉。

62 1
|
2月前
|
机器学习/深度学习 算法 数据可视化
|

近端策略优化算法PPO的核心概念和PyTorch实现详解

本文深入解析了近端策略优化(PPO)算法的核心原理,并基于PyTorch框架实现了完整的强化学习训练流程。通过Lunar Lander环境展示了算法的全过程,涵盖环境交互、优势函数计算、策略更新等关键模块。内容理论与实践结合,适合希望掌握PPO算法及其实现的读者。

438 2
|
7月前
|
存储 机器学习/深度学习 数据建模
|

数据建模入门指南:从懵懂小白到高手的第一步

数据建模入门指南:从懵懂小白到高手的第一步

1242 15
|
供应链 Shell Python
|

经济订货量(Economic Order Quantity,简称EOQ)

经济订货量(Economic Order Quantity,简称EOQ)

3759 1
|
机器学习/深度学习 开发工具 git
|

开发专题 | 1 :下载 huggingface 上模型的正确姿势

本文主要介绍如何以正确的方式下载 huggingface 上的模型

14046 4
|
人工智能 自然语言处理 算法
|

电商行业智能搜索技术原理全解析

对于电商平台来说,智能搜索功能是至关重要的。本文剖析电商行业的搜索专属特点和业务需求,并介绍开放搜索提供的【电商行业模板】智能搜索能力,希望带给企业更多提升业务转化的思路和解决方案~

5363 1
来自: 智能搜索推荐  版块
|
1月前
|
人工智能 数据可视化 数据处理
|

AI智能体框架怎么选?7个主流工具详细对比解析

大语言模型需借助AI智能体实现“理解”到“行动”的跨越。本文解析主流智能体框架,从RelevanceAI、smolagents到LangGraph,涵盖技术门槛、任务复杂度、社区生态等选型关键因素,助你根据项目需求选择最合适的开发工具,构建高效、可扩展的智能系统。

488 3
|
1月前
|
并行计算 数据格式 异构计算
|

完整教程:从0到1在Windows下训练YOLOv8模型

本文详细介绍在Windows系统下使用YOLOv8训练目标检测模型的完整步骤,涵盖环境配置、数据集准备、模型训练与测试、常见问题解决及GPU加速技巧。提供详细命令与代码示例,并推荐现成数据集与工具,助您高效完成模型训练。

875 13
|
4月前
|
机器学习/深度学习 数据采集 分布式计算
|

阿里云PAI AutoML实战:20分钟构建高精度电商销量预测模型

本文介绍了如何利用阿里云 PAI AutoML 平台,在20分钟内构建高精度的电商销量预测模型。内容涵盖项目背景、数据准备与预处理、模型训练与优化、部署应用及常见问题解决方案,助力企业实现数据驱动的精细化运营,提升市场竞争力。

793 0
|
7月前
|
数据采集 XML JavaScript
|

Python爬虫:从人民网提取视频链接的完整指南

Python爬虫:从人民网提取视频链接的完整指南

1096 2
|
10月前
|
Cloud Native Apache 流计算
|

资料合集|Flink Forward Asia 2024 上海站

Apache Flink 年度技术盛会聚焦“回顾过去,展望未来”,涵盖流式湖仓、流批一体、Data+AI 等八大核心议题,近百家厂商参与,深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ,可在线阅读和下载。

8608 18
来自: 实时计算 Flink  版块
|
机器学习/深度学习 自然语言处理 PyTorch
|

PyTorch 中的动态图与静态图:理解它们的区别及其应用场景

【8月更文第29天】深度学习框架中的计算图是构建和训练神经网络的基础。PyTorch 支持两种类型的计算图:动态图和静态图。本文旨在阐述这两种计算图的区别、各自的优缺点以及它们在不同场景下的应用。

3069 0
|
关系型数据库 API Apache
|

Flink CDC:基于 Apache Flink 的流式数据集成框架

本文整理自阿里云 Flink SQL 团队研发工程师于喜千(yux)在 SECon 全球软件工程技术大会中数据集成专场沙龙的分享。

20459 11
来自: 实时计算 Flink  版块
|
数据采集 人工智能 监控
|

阿里云百炼模型训练实战流程:从入门到实战应用

【7月更文第2天】阿里云百炼是AI大模型开发平台,提供一站式服务,涵盖模型训练到部署。用户从注册登录、创建应用开始,选择模型框架,配置资源。接着,进行数据准备、预处理,上传至阿里云OSS。模型训练涉及设置参数、启动训练及调优。训练后,模型导出并部署为API,集成到应用中。平台提供监控工具确保服务性能。通过百炼,开发者能高效地进行大模型实战,开启AI创新。

4167 2
|
5天前
|
机器学习/深度学习 大数据 关系型数据库
|

基于python大数据的台风灾害分析及预测系统

针对台风灾害预警滞后、精度不足等问题,本研究基于Python与大数据技术,构建多源数据融合的台风预测系统。利用机器学习提升路径与强度预测准确率,结合Django框架实现动态可视化与实时预警,为防灾决策提供科学支持,显著提高应急响应效率,具有重要社会经济价值。

60 3
|
7月前
|
存储 机器学习/深度学习 数据挖掘
|

数据湖 vs 数据仓库:你家到底该买冰箱还是建个地下室?

数据湖 vs 数据仓库:你家到底该买冰箱还是建个地下室?

1046 17
|
9月前
|
存储 监控 算法
|

Flink 四大基石之 Checkpoint 使用详解

Flink 的 Checkpoint 机制通过定期插入 Barrier 将数据流切分并进行快照,确保故障时能从最近的 Checkpoint 恢复,保障数据一致性。Checkpoint 分为精确一次和至少一次两种语义,前者确保每个数据仅处理一次,后者允许重复处理但不会丢失数据。此外,Flink 提供多种重启策略,如固定延迟、失败率和无重启策略,以应对不同场景。SavePoint 是手动触发的 Checkpoint,用于作业升级和迁移。Checkpoint 执行流程包括 Barrier 注入、算子状态快照、Barrier 对齐和完成 Checkpoint。

1821 20
来自: 实时计算 Flink  版块
|
机器学习/深度学习 算法
|

概率分布深度解析:PMF、PDF和CDF的技术指南

本文将深入探讨概率分布,详细阐述概率质量函数(PMF)、概率密度函数(PDF)和累积分布函数(CDF)这些核心概念,并通过实际示例进行说明。

1173 15
|
机器学习/深度学习 人工智能 算法
|

通义千问Qwen-72B-Chat大模型在PAI平台的微调实践

本文将以Qwen-72B-Chat为例,介绍如何在PAI平台的快速开始PAI-QuickStart和交互式建模工具PAI-DSW中高效微调千问大模型。

149850 88
来自: 人工智能平台PAI  版块
|
22天前
|
数据采集 机器学习/深度学习 人工智能
|

反爬虫机制深度解析:从基础防御到高级对抗的完整技术实战

本文系统阐述了反爬虫技术的演进与实践,涵盖基础IP限制、User-Agent检测,到验证码、行为分析及AI智能识别等多层防御体系,结合代码实例与架构图,全面解析爬虫攻防博弈,并展望智能化、合规化的发展趋势。

277 0
|
3月前
|
机器学习/深度学习 人工智能 API
|

AI 发展 && MCP

AI发展——计算机视觉、ChatGPT、Sora、DeepSeek、生成式AI。什么是MCP,Prompt、LLM、Function Call、Agent、MCP是什么,各自区别;MCP如何工作,MCP架构、MCP Server工作原理,Cursor如何使用MCP,自定义MCP Server

580 46
|
7月前
|
人工智能 运维 Kubernetes
|

2025 超详细!Lens Kubernetes IDE 多平台下载安装与集群管理教程

Lens 是一款企业级 Kubernetes 可视化操作平台,2025版实现了三大技术革新:AI智能运维(异常检测准确率98.7%)、多云联邦管理(支持50+集群)和实时3D拓扑展示。本文介绍其安装环境、配置流程、核心功能及高阶技巧,帮助用户快速上手并解决常见问题。适用于 Windows、macOS 和 Ubuntu 系统,需满足最低配置要求并前置依赖组件如 kubectl 和 Helm。通过 Global Cluster Hub 实现多集群管理,AI辅助故障诊断提升运维效率,自定义监控看板和插件生态扩展提供更多功能。

1174 2
|
8月前
|
SQL 存储 HIVE
|

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。

887 1
来自: 实时计算 Flink  版块

分享一些在 1688 上找一件代发商品的技巧

在1688上找一件代发商品需明确自身需求与定位,筛选可靠供应商,研究商品信息,利用精准搜索和平台推荐,关注活动,并与供应商充分沟通,确保合作顺畅。

1270 0
|
关系型数据库 MySQL 分布式数据库
|

DataX下载安装

DataX下载安装

1942 0
|
8天前
|
JSON 安全 API
|

亚马逊商品列表API秘籍!轻松获取商品列表数据

亚马逊商品列表API(SP-API)提供标准化接口,支持通过关键词、分类、价格等条件搜索商品,获取ASIN、价格、销量等信息。采用OAuth 2.0认证与AWS签名,保障安全。数据以JSON格式传输,便于开发者批量获取与分析。

75 1
|
5月前
|
缓存 并行计算 测试技术
|

阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试

阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试

1282 12
来自: 人工智能平台PAI  版块
|
7月前
|
编解码 人工智能 并行计算
|

基于 Megatron 的多模态大模型训练加速技术解析

Pai-Megatron-Patch 是一款由阿里云人工智能平台PAI 研发的围绕英伟达 Megatron 的大模型训练配套工具,旨在帮助开发者快速上手大模型,打通大模型相关的高效分布式训练、有监督指令微调、下游任务评估等大模型开发链路。本文以 Qwen2-VL 为例,从易用性和训练性能优化两个方面介绍基于 Megatron 构建的 Pai-Megatron-Patch 多模态大模型训练的关键技术

915 8
来自: 人工智能平台PAI  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

9
今日
67325
内容
127
活动
439331
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务