|
8月前
|
XML 算法 安全
|

详解RAG五种分块策略,技术原理、优劣对比与场景选型之道

RAG通过检索与生成结合,提升大模型在企业场景的准确性与安全性。分块策略是其核心,直接影响检索效果与答案质量。本文系统解析五种主流分块方法——固定大小、语义、递归、基于结构及LLM分块,对比优缺点与适用场景,助力构建高效、可靠的RAG系统。

558 0
|
8月前
|
机器学习/深度学习 数据采集 人工智能
|

构建AI智能体:七十二、交叉验证:从模型评估的基石到大模型时代的演进

交叉验证是机器学习中评估模型性能的核心方法,通过轮换数据划分实现稳健评估。文章系统解析了k折交叉验证的原理与实现,展示其在模型比较和超参数优化中的关键作用。随着大模型时代的到来,传统交叉验证面临计算成本挑战,但核心思想仍应用于下游任务。文章通过可视化案例完整呈现了从数据准备到最终评估的工作流程,强调交叉验证在有限数据场景下的不可替代性,同时指出需要根据任务规模灵活选择评估策略。理解交叉验证的原理与应用是AI从业者的必备能力。

790 16
|
8月前
|
机器学习/深度学习 人工智能 监控
|

构建AI智能体:六十五、模型智能训练控制:早停机制在深度学习中的应用解析

文章摘要:早停机制是深度学习中防止过拟合的关键技术,通过在验证集性能停止改善时终止训练,自动平衡模型复杂度和泛化能力。其核心价值包括自动防过拟合、提升训练效率(节省30-80%计算资源)、简化调参过程。关键参数设置涉及patience(容忍轮次)、min_delta(最小改善阈值)和restore_best_weights(恢复最佳权重)。实现流程包括训练轮次监控、验证集评估和性能改善判断,通过U型曲线分析可直观理解其工作原理。

878 20
|
8月前
|
安全 Cloud Native Serverless
|

2025数字员工技术选型白皮书:阿里云/亚马逊等5款产品云原生能力实测

本文深度评测阿里云、亚马逊、科大讯飞、玄晶引擎、安恒五款数字员工,围绕架构兼容性、开发友好度、性能稳定性三大维度,结合实测数据与企业案例,为开发者提供选型指南与避坑建议。

976 5
来自: 人工智能平台PAI  版块
|
9月前
|
存储 SQL 缓存
|

Delta Join:为超大规模流处理实现计算与历史数据解耦

Delta Join(FLIP-486)是Flink流式Join的范式革新,通过将历史数据存储与计算解耦,实现按需查询外部存储(如Fluss、Paimon),避免状态无限增长。它解决了传统Join在高基数场景下的状态爆炸问题,显著降低资源消耗:状态减少50TB,成本降10倍,Checkpoint从小时级缩短至秒级,恢复速度提升87%。兼容标准SQL,自动优化转换,适用于海量数据实时关联场景,推动流处理迈向高效、稳定、可扩展的新阶段。

909 1
来自: 实时计算 Flink  版块
|
9月前
|
SQL 数据可视化 大数据
|

我是谁?我从哪来?我要到哪去?——聊聊数据血缘分析的“前世今生”

我是谁?我从哪来?我要到哪去?——聊聊数据血缘分析的“前世今生”

631 11
|
10月前
|
机器学习/深度学习 人工智能 安全
|

当AI开始自己写AI:自主AI系统的时代正在到来

当AI开始自己写AI:自主AI系统的时代正在到来

894 92
|
10月前
|
安全 API
|

LlamaIndex检索调优实战:分块、HyDE、压缩等8个提效方法快速改善答案质量

本文总结提升RAG检索质量的八大实用技巧:语义分块、混合检索、重排序、HyDE查询生成、上下文压缩、元数据过滤、自适应k值等,结合LlamaIndex实践,有效解决幻觉、上下文错位等问题,显著提升准确率与可引用性。

956 8
|
10月前
|
人工智能 自然语言处理 安全
|

氛围编程陷阱:为什么AI生成代码正在制造大量"伪开发者"

AI兴起催生“氛围编程”——用自然语言生成代码,看似高效实则陷阱。它让人跳过编程基本功,沦为只会提示、不懂原理的“中间商”。真实案例显示,此类项目易崩溃、难维护,安全漏洞频出。AI是技能倍增器,非替代品;真正强大的开发者,永远是那些基础扎实、能独立解决问题的人。

1156 12
|
11月前
|
JavaScript 前端开发 安全
|

【逆向】Python 调用 JS 代码实战:使用 pyexecjs 与 Node.js 无缝衔接

本文介绍了如何使用 Python 的轻量级库 `pyexecjs` 调用 JavaScript 代码,并结合 Node.js 实现完整的执行流程。内容涵盖环境搭建、基本使用、常见问题解决方案及爬虫逆向分析中的实战技巧,帮助开发者在 Python 中高效处理 JS 逻辑。

1861 0
|
12月前
|
JSON API 数据格式
|

小红书商品列表API数据解析(附代码)

本内容介绍了小红书商品列表API的用途及调用方式,适用于电商分析与市场研究。接口支持HTTP GET请求,返回JSON格式商品信息,包含标题、价格、销量、商家名称等字段。文中提供了基于Python的完整请求示例,使用requests库实现,并包含请求头设置和参数传递方式,便于开发者快速集成与测试。

446 1
|
机器学习/深度学习 存储 分布式计算
|

Java 大视界 --Java 大数据机器学习模型在金融风险压力测试中的应用与验证(211)

本文探讨了Java大数据与机器学习模型在金融风险压力测试中的创新应用。通过多源数据采集、模型构建与优化,结合随机森林、LSTM等算法,实现信用风险动态评估、市场极端场景模拟与操作风险预警。案例分析展示了花旗银行与蚂蚁集团的智能风控实践,验证了技术在提升风险识别效率与降低金融风险损失方面的显著成效。

693 0
|
机器学习/深度学习 搜索推荐 算法
|

广告咋老是猜中我?原来是大数据盯上了我!

广告咋老是猜中我?原来是大数据盯上了我!

422 0
|
数据采集 Java 数据挖掘
|

采集像列车:任务如何不脱轨、数据如何不漏采

每天自动抓取中文新闻站点的实战经验分享,涵盖代理配置、并发处理与热点提取,实现稳定高效的信息采集与推送。

323 0
|
机器学习/深度学习 人工智能 算法
|

GSPO:Qwen让大模型强化学习训练告别崩溃,解决序列级强化学习中的稳定性问题

这是7月份的一篇论文,Qwen团队提出的群组序列策略优化算法及其在大规模语言模型强化学习训练中的技术突破

2069 0
|
机器学习/深度学习 人工智能 测试技术
|

【ICML2025】大模型后训练性能4倍提升!阿里云PAI团队研究成果ChunkFlow中选

阿里云 PAI 团队、通义实验室联合中国科学院大学在 ICML 2025 发表论文,提出 ChunkFlow 方案,实现变长及超长序列数据的高效训练。该方案显著提升 Qwen 模型训练性能,端到端性能最高提升 4.53 倍,大幅降低 GPU 成本。

639 0
|
人工智能 缓存 并行计算
|

《VGSP-C (Virtual GPU Scheduling Platform on CPU):基于CPU的虚拟GPU调度平台》

VGSP-C(基于CPU的虚拟GPU调度平台)提出通过“软仿真+并行调度+多机协同”三大路径,在普通CPU上模拟GPU并行计算行为。适用于资源受限或低成本场景,支持单机推理、分布式训练与极简CPU集群部署,提供统一编程接口与弹性扩展能力,助力AI普惠与算力再平衡。

597 0
|
机器学习/深度学习 存储 算法
|

强化学习算法基准测试:6种算法在多智能体环境中的表现实测

本文系统研究了多智能体强化学习的算法性能与评估框架,选用井字棋和连珠四子作为基准环境,对比分析Q-learning、蒙特卡洛、Sarsa等表格方法在对抗场景中的表现。实验表明,表格方法在小规模状态空间(如井字棋)中可有效学习策略,但在大规模状态空间(如连珠四子)中因泛化能力不足而失效,揭示了向函数逼近技术演进的必要性。研究构建了标准化评估流程,明确了不同算法的适用边界,为理解强化学习的可扩展性问题提供了实证支持与理论参考。

606 0
|
Cloud Native 中间件 调度
|

云原生信息提取系统:容器化流程与CI/CD集成实践

本文介绍如何通过工程化手段解决数据提取任务中的稳定性与部署难题。结合 Scrapy、Docker、代理中间件与 CI/CD 工具,构建可自动运行、持续迭代的云原生信息提取系统,实现结构化数据采集与标准化交付。

1392 1
|
人工智能 自然语言处理 搜索推荐
|

AI 搜索 MCP 最佳实践

本文介绍了如何通过 MCP 协议,快速调用阿里云 OpenSearch 、ElasticSearch 等工具,帮助企业快速集成工具链、降低开发复杂度、提升业务效率。

1328 29
|
Python
|

金融新闻分析笔记:基于文本理解的实时分析

本文介绍了一个自动化处理财经资讯文本的实践方案,包括网页数据提取、板块归类、文本情绪评估,并整理为结构化表格,形成预警机制工具。通过模拟信息处理者行为,实现实时决策支持,解决手动阅读资讯无法满足实时决策的问题。

361 1
|
人工智能 监控 测试技术
|

云上AI推理平台全掌握 (1):PAI-EAS LLM服务一键压测

在AI技术飞速发展的今天,大语言模型(LLM)、多模态模型等前沿技术正深刻改变行业格局。推理服务是大模型从“实验室突破”走向“产业级应用”的必要环节,需直面高并发流量洪峰、低延时响应诉求、异构硬件优化适配、成本精准控制等复杂挑战。 阿里云人工智能平台 PAI 致力于为用户提供全栈式、高可用的推理服务能力。在本系列技术专题中,我们将围绕分布式推理架构、Serverless 弹性资源全球调度、压测调优和服务可观测等关键技术方向,展现 PAI 平台在推理服务侧的产品能力,助力企业和开发者在 AI 时代抢占先机,让我们一起探索云上 AI 推理的无限可能,释放大模型的真正价值!

845 2
来自: 人工智能平台PAI  版块
|
存储 编解码 Prometheus
|

大模型推理加速实战:vLLM 部署 Llama3 的量化与批处理优化指南

本文详解如何通过量化与批处理优化,在vLLM中高效部署Llama3大模型。涵盖内存管理、推理加速及混合策略,提升吞吐量并降低延迟,适用于大规模语言模型部署实践。

2786 10
|
供应链 搜索推荐 前端开发
|

跨境卖家必看!2025年1688图片搜索相似商品新功能解锁全球供应链

1688图片搜索商品接口支持通过上传图片查找相似商品,适用于电商选品、竞品分析与供应链溯源。具备高精度匹配与灵活筛选功能,可识别多角度及局部特征,并支持结合类目、价格、起订量等参数过滤结果,提升选品效率与购物体验。

719 0
|
数据采集 存储 数据可视化
|

Python爬取招标信息并生成可视化分析报告

Python爬取招标信息并生成可视化分析报告

1442 0
|
JSON API 数据格式
|

深入研究:淘宝天猫关键词搜索接口详解

淘宝和天猫提供关键词搜索商品的API接口,支持开发者按关键词获取商品列表及相关数据。功能包括通过搜索关键词(q)返回商品基本信息,如ID、标题、价格、图片、销量等。支持排序(sort)、分页(page_no/page_size)、价格区间筛选(start_price/end_price)及分类搜索(cat)。返回JSON格式数据,含商品ID、标题、价格、图片链接、详情页链接和销量等字段。

637 0
|
人工智能 分布式计算 大数据
|

构建AI时代的大数据基础设施-MaxCompute多模态数据处理最佳实践

本文介绍了大数据与AI一体化架构的演进及其实现方法,重点探讨了Data+AI开发全生命周期的关键步骤。文章分析了大模型开发中的典型挑战,如数据管理混乱、开发效率低下和运维管理困难,并提出了解决方案。同时,详细描述了MaxCompute在构建AI时代数据基础设施中的作用,包括其强大的计算能力、调度能力和易用性特点。此外,还展示了MaxCompute在多模态数据处理中的应用实践以及具体客户案例,最后提供了体验MaxFrame解决方案的方式。

1435 2
来自: 大数据计算 MaxCompute  版块
|
消息中间件 缓存 小程序
|

婚恋交友相亲公众号app小程序系统源码「脱单神器」婚恋平台全套代码 - 支持快速二次开发

这是一套基于SpringBoot + Vue3开发的婚恋交友系统,支持微信公众号、Uniapp小程序和APP端。系统包含实名认证、智能匹配、视频相亲、会员体系等功能,适用于婚恋社交平台和相亲交友应用。后端采用SpringBoot 3.x与MyBatis-Plus,前端使用Vue3与Uniapp,支持快速部署和二次开发。适合技术团队或有经验的个人创业者使用。

988 8
|
数据管理 数据挖掘 API
|

深入研究:shopee商品列表API接口指南

Shopee 是东南亚和中国台湾地区的跨境电商平台,其开放平台(Shopee Open API)为开发者提供商品数据、店铺管理和订单处理等接口。商品列表 API 为核心功能之一,支持按店铺获取商品列表和搜索平台商品。通过 shop_id 等参数可获取指定店铺商品信息,支持分页与状态筛选;通过关键词、类目 ID 和价格范围等条件可搜索平台商品,适用于构建比价工具和选品分析系统。

899 2
|
人工智能 安全 Shell
|

Jupyter MCP服务器部署实战:AI模型与Python环境无缝集成教程

Jupyter MCP服务器基于模型上下文协议(MCP),实现大型语言模型与Jupyter环境的无缝集成。它通过标准化接口,让AI模型安全访问和操作Jupyter核心组件,如内核、文件系统和终端。本文深入解析其技术架构、功能特性及部署方法。MCP服务器解决了传统AI模型缺乏实时上下文感知的问题,支持代码执行、变量状态获取、文件管理等功能,提升编程效率。同时,严格的权限控制确保了安全性。作为智能化交互工具,Jupyter MCP为动态计算环境与AI模型之间搭建了高效桥梁。

890 2
|
Java 数据库 Docker
|

基于neo4j数据库和dify大模型框架的rag模型搭建

基于neo4j数据库和dify大模型框架的rag模型搭建

4054 35
|
SQL 关系型数据库 MySQL
|

Flink CDC 3.4 发布, 优化高频 DDL 处理,支持 Batch 模式,新增 Iceberg 支持

Apache Flink CDC 3.4.0 版本正式发布!经过4个月的开发,此版本强化了对高频表结构变更的支持,新增 batch 执行模式和 Apache Iceberg Sink 连接器,可将数据库数据全增量实时写入 Iceberg 数据湖。51位贡献者完成了259次代码提交,优化了 MySQL、MongoDB 等连接器,并修复多个缺陷。未来 3.5 版本将聚焦脏数据处理、数据限流等能力及 AI 生态对接。欢迎下载体验并提出反馈!

2089 1
来自: 实时计算 Flink  版块
|
人工智能 移动开发 搜索推荐
|

增强现实让广告“活”起来——AR 赋能营销的新玩法

增强现实让广告“活”起来——AR 赋能营销的新玩法

774 25
|
自然语言处理 前端开发 API
|

10个常用的无头CMS(Headless CMS)

无头CMS是一种内容管理系统,它将前端和后端分离,只关注内容的创建和管理,而不处理呈现内容的前端界面。传统的CMS通常将内容管理和展示耦合在一起,即内容的创建、编辑和展示都依赖于特定的前端界面和模板。而无头CMS则将内容与前端逻辑完全解耦,提供了一种更加灵活的方式来处理内容。

2601 5
|
存储 监控 安全
|

攻击者是如何利用安全支持提供程序(SSP)来转储凭据的

本文探讨了攻击者如何利用安全支持提供程序(SSP)动态链接库(DLL)窃取Windows系统中的登录凭据。通过修改注册表项或内存注入技术,攻击者可加载恶意SSP至本地安全机构(LSA)进程中,提取加密或明文密码。文章详细分析了两种方法:注册SSP DLL和内存中更新SSP,并展示了Mimikatz工具的应用。为防范此类攻击,建议使用监控解决方案检测域控制器上的异常修改,确保系统安全。

513 8
|
机器学习/深度学习 网络架构
|

PINN应用案例:神经网络求解热扩散方程高质量近似解

本文探讨了物理信息神经网络(PINN)在求解一维热扩散方程中的应用,对比分析了多层感知器(MLP)、残差网络(ResNet)和Wang2020架构的性能。PINN通过构建损失函数整合偏微分方程残差、边界条件和初始条件,实现对物理系统的近似求解。实验结果表明,传统架构如MLP和ResNet虽能大致还原解析解,但在部分区域存在显著偏差;而Wang2020架构因专门设计以应对PINN训练挑战,表现更为优越,与解析解高度一致。研究还揭示了PINN训练中“平台期后突变”的优化特性,并提出通过构造满足约束条件的网络架构以简化多目标优化问题,为未来研究提供了新方向。

1369 3
|
人工智能 自然语言处理 数据库
|

云上玩转Qwen3系列之二:PAI-LangStudio搭建联网搜索和RAG增强问答应用

本文详细介绍了如何使用 PAI-LangStudio 和 Qwen3 构建基于 RAG 和联网搜索 的 AI 智能问答应用。该应用通过将 RAG、web search 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中,为大模型提供了额外的联网搜索和特定领域知识库检索的能力,提升了智能回答的效果,减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。

1376 5
来自: 人工智能平台PAI  版块
|
JSON JavaScript API
|

MCP 实战:用配置与真实代码玩转 GitHub 集成

MCP 实战:用配置与真实代码玩转 GitHub 集成

2936 4
|
SQL 机器学习/深度学习 算法
|

【数分基本功】 两种不同的用户活跃度,留存率居然完全一致!

两种不同的用户活跃度,留存率居然完全一致。这究竟是为什么?欢迎阅读【数分基本功】系列的第 1 篇。该系列会讲一些数据分析的基本问题,必要时增加拓展和深入

581 21
|
并行计算 Python 容器
|

uv找不到Python头文件的解决方案

最近在微调LLM的时候,我发现使用uv构建的环境,有时候会找不到Python.h,导致一些库报错,如`fatal error: Python.h: No such file or directory`。通过设置`python-preference`可以解决。

1157 35
来自: 人工智能平台PAI  版块
|
存储 消息中间件 Java
|

抖音集团电商流量实时数仓建设实践

本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享,围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化,实现效率、质量、成本和稳定性全面提升,数据质量达99%以上,任务性能提升70%。未来将聚焦自动化、低代码化与成本优化,探索更高效的流批一体化方案。

919 12
来自: 实时计算 Flink  版块
|
前端开发 JavaScript 开发者
|

这个被忽略的CSS:hover隐藏用法,让交互设计师都跪了

本文详细介绍了CSS中的伪类选择器`:hover`及其应用。`:hover`用于定义鼠标悬停在元素上时的样式,常见于超链接、按钮等交互场景。文章通过多个实例演示了`:hover`不仅可控制当前元素,还能影响其子元素或后代元素,但通常不适用于兄弟元素。此外,还分享了如何避免`:hover`导致的布局抖动问题,如提前设置透明边框。最后,结合实际案例展示了如何利用`:hover`实现复杂的交互效果,例如三级菜单,帮助开发者更好地掌握这一实用技巧。

1089 1
|
机器学习/深度学习 搜索推荐 测试技术
|

ReSearch:基于强化学习的大语言模型推理搜索框架

ReSearch是一种创新框架,利用强化学习训练大语言模型执行“推理搜索”,无需监督数据。它将搜索操作融入推理链,通过文本推理决定搜索时机与方式,并用搜索结果引导后续推理。研究显示,ReSearch自然形成高级推理能力,如反思与自我纠正。技术上,采用特定标签封装搜索查询与结果,迭代生成响应。实验基于Qwen2.5等模型,使用MuSiQue数据集训练,在多跳问答任务中显著超越基线模型,展现出强大泛化能力。动态分析表明,模型逐渐学会通过迭代搜索解决复杂问题,奖励指标也呈现稳定增长趋势。

711 1
|
存储 人工智能 项目管理
|

2025年GitHub平台上的十大开源MCP服务器汇总分析

本文深入解析了GitHub上十个代表性MCP(Model Context Protocol)服务器项目,探讨其在连接AI与现实世界中的关键作用。这些服务器实现了AI模型与应用程序、数据库、云存储、项目管理等工具的无缝交互,扩展了AI的应用边界。文中涵盖Airbnb、Supabase、AWS-S3、Kubernetes等领域的MCP实现方案,展示了AI在旅行规划、数据处理、云存储、容器编排等场景中的深度应用。未来,MCP技术将向标准化、安全性及行业定制化方向发展,为AI系统集成提供更强大的支持。

3190 2
|
数据采集 前端开发 JavaScript
|

Scrapy结合Selenium实现搜索点击爬虫的最佳实践

Scrapy结合Selenium实现搜索点击爬虫的最佳实践

659 5
|
数据采集 JavaScript 前端开发
|

Pyppeteer实战:基于Python的无头浏览器控制新选择

本文详细讲解了如何使用 Pyppeteer 结合爬虫代理高效采集小红书热点推荐信息。通过设置代理 IP、Cookie 和自定义 User-Agent,突破目标网站的反爬机制,实现标题、内容和评论的数据提取。文章结合代码示例与技术关系图谱,清晰展示从数据采集到分析的全流程,为复杂网站的数据获取提供参考。读者可在此基础上优化异常处理、并发抓取等功能,提升爬虫性能。

1134 8
|
监控 数据挖掘 开发工具
|

淘宝天猫商品详情数据接口采集攻略

本文详细介绍如何通过淘宝天猫商品详情数据接口采集商品信息。首先概述了常用接口(如taobao.item.get、tmall.item.get)的功能,可获取商品基础信息、描述及评价等。接着说明接入准备,包括注册认证、创建应用与申请权限,以及开发环境配置。最后提供采集流程指引,如通过商品链接或搜索接口获取ID,并以Python示例展示接口调用方法,助力开发者高效挖掘电商数据价值。

1499 1
|
机器学习/深度学习 人工智能 算法
|

分位数回归+共形预测:Conformalized Quantile Regression实现更可靠的预测区间

预测不确定性量化在数据驱动决策中至关重要,分位数回归(QR)虽能生成自适应预测区间,但缺乏严格覆盖保证;共形预测(CP)则提供覆盖保证但缺乏强自适应性。Conformalized Quantile Regression (CQR)融合两者优势,通过校准分位数回归模型,生成既适应数据特性又具备统计保证的预测区间。本文深入探讨CQR理论、实现与应用,展示其在医疗、金融等领域提升预测可靠性的潜力,为高风险决策提供更精确和可信的支持。

901 0
|
监控 Linux iOS开发
|

告别数据丢失!跨平台同步工具FreeFileSync 14.2下载教程|手把手配置多设备备份

FreeFileSync 14.2 是一款开源跨平台文件同步工具,支持 Windows、macOS 和 Linux 系统。新增功能包括实时同步监控、云存储集成(Google Drive 和 Dropbox)、智能冲突解决及性能优化,适用于数据备份、服务器文件同步等场景。本文详细介绍其下载、安装、配置及高级使用技巧,并提供常见问题解答和延伸学习资源。

5222 8
|
网络安全
|

window系统下安装elk

本文介绍了Elasticsearch、Logstash和Kibana(统称ELK栈)8.17.3版本的安装与配置流程。主要内容包括: - **Elasticsearch**:详细描述了从下载到启动服务的步骤,以及`elasticsearch.yml`的关键配置项,并提供了Postman操作示例及常见问题解决方案。 - **Logstash**:涵盖了插件安装、配置文件`logstash.conf`编写及其启动命令。 - **Kibana**:讲解了下载、配置`kibana.yml`和启动过程,确保与Elasticsearch正确连接。

1086 16

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
70009
内容
128
活动
440132
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务