|
4月前
|
人工智能 分布式计算 大数据
|

MCP、MaxFrame与大数据技术全景解析

本文介绍了 MCP 协议、MaxFrame 分布式计算框架以及大数据基础设施建设的相关内容。MCP(Model Context Protocol)是一种开源协议,旨在解决 AI 大模型与外部数据源及工具的集成问题,被比喻为大模型的“USB 接口”,通过统一交互方式降低开发复杂度。其核心架构包括 Client、Server、Tool 和 Schema 四个关键概念,并在百炼平台中得到实践应用。MaxFrame 是基于 Python 的高性能分布式计算引擎,支持多模态数据处理与 AI 集成,结合 MaxCompute 提供端到端的数据处理能力。

354 5
来自: 大数据计算 MaxCompute  版块
|
4月前
|
数据采集 前端开发 JavaScript
|

Python爬虫如何应对网站的反爬加密策略?

Python爬虫如何应对网站的反爬加密策略?

232 11
|
5月前
|
人工智能 自然语言处理 搜索推荐
|

AI 搜索开放平台重磅发布:Qwen3 模型上线啦

阿里云AI搜索开放平台重磅发布最新Qwen3模型,为企业和开发者提供全栈智能搜索解决方案。Qwen3作为最新一代大模型,在推理、多语言支持和Agent能力上表现卓越。用户可通过三步快速体验Qwen3服务,助力业务在AI时代抢占先机。

569 13
来自: 智能搜索推荐  版块
|
5月前
|
存储 运维 Serverless
|

千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践

碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。

447 69
|
5月前
|
数据采集 Web App开发 iOS开发
|

Python 爬虫如何伪装 Referer?从随机生成到动态匹配

Python 爬虫如何伪装 Referer?从随机生成到动态匹配

402 2
|
5月前
|
数据采集 人工智能 JSON
|

Crawl4AI:为大语言模型打造的开源网页数据采集工具

随着大语言模型(LLMs)的快速发展,高质量数据成为智能系统的关键基础。**Crawl4AI**是一款专为LLMs设计的开源网页爬取工具,可高效提取并结构化处理网页数据,突破传统API限制,支持JSON、HTML或Markdown等格式输出。

440 3
|
5月前
|
数据采集 JavaScript 前端开发
|

Pyppeteer实战:基于Python的无头浏览器控制新选择

本文详细讲解了如何使用 Pyppeteer 结合爬虫代理高效采集小红书热点推荐信息。通过设置代理 IP、Cookie 和自定义 User-Agent,突破目标网站的反爬机制,实现标题、内容和评论的数据提取。文章结合代码示例与技术关系图谱,清晰展示从数据采集到分析的全流程,为复杂网站的数据获取提供参考。读者可在此基础上优化异常处理、并发抓取等功能,提升爬虫性能。

297 8
|
5月前
|
机器学习/深度学习 人工智能 算法
|

AI鱼类识别技术原理及示例代码

本文详细解析了AI鱼类识别的代码示例,涵盖深度学习框架选择、数据集处理、模型构建与训练优化全流程。内容包括技术选型对比(如TensorFlow、PyTorch、YOLO系列)、数据准备流程(开源数据集与标注规范)、完整代码示例(以PyTorch版ResNet50改进模型为例)以及模型优化策略(如量化压缩、知识蒸馏)。此外,还提供了典型应用场景(如渔业资源监测系统)、模型评估指标及开源项目推荐,并针对常见问题(小样本、水下模糊、类别不平衡等)提出解决方案。

352 5
|
6月前
|
机器学习/深度学习 JavaScript PyTorch
|

9个主流GAN损失函数的数学原理和Pytorch代码实现:从经典模型到现代变体

生成对抗网络(GAN)的训练效果高度依赖于损失函数的选择。本文介绍了经典GAN损失函数理论,并用PyTorch实现多种变体,包括原始GAN、LS-GAN、WGAN及WGAN-GP等。通过分析其原理与优劣,如LS-GAN提升训练稳定性、WGAN-GP改善图像质量,展示了不同场景下损失函数的设计思路。代码实现覆盖生成器与判别器的核心逻辑,为实际应用提供了重要参考。未来可探索组合优化与自适应设计以提升性能。

382 7
|
6月前
|
并行计算 算法 量子技术
|

量子计算在金融模型中的应用:未来金融的“黑科技”

量子计算在金融模型中的应用:未来金融的“黑科技”

268 1
|
7月前
|
人工智能 Java 程序员
|

一文彻底拿下,赶紧本地部署DeepSeek体验一下最牛的大模型

本文介绍如何本地化部署DeepSeek大模型(deepseek-r1)及open-webui的安装过程,包括命令行操作、版本兼容性处理等详细步骤。DeepSeek号称“国运级”大模型,性能媲美OpenAI,支持直接对话,降低使用门槛。通过本教程,读者可以快速上手体验这一强大的推理模型。

402 0
来自: 人工智能平台PAI  版块
|
7月前
|
人工智能 自然语言处理 搜索推荐
|

阿里云 AI 搜索开放平台集成 DeepSeek 模型

阿里云 AI 搜索开放平台最新上线 DeepSeek -R1系列模型。

341 2
|
7月前
|
并行计算 安全 算法
|

量子计算在密码学中的应用与挑战:解密未来的安全

量子计算在密码学中的应用与挑战:解密未来的安全

344 6
|
7月前
|
存储 数据采集 数据库
|

Python爬虫实战:股票分时数据抓取与存储

Python爬虫实战:股票分时数据抓取与存储

774 5
|
7月前
|
应用服务中间件 Linux nginx
|

部署使用 CHAT-NEXT-WEB 基于 Deepseek

本文介绍如何在阿里云轻量服务器上部署基于 `Deepseek` 的 `CHAT-NEXT-WEB` 项目。首先,准备一台 Linux 服务器并安装 Docker,确保防火墙允许特定端口访问。接着,通过阿里云容器镜像服务解决国内网络限制问题,将镜像推送到私有仓库并拉取到本地。配置并启动 `chat-next` 项目,使用 Deepseek API 进行优化。最后,安装 Nginx 和 Certbot 配置 HTTPS 访问,确保安全性和自动续签。整个过程需严格遵循官方文档,以避免因网络问题导致的安装失败。

1473 9
来自: 智能搜索推荐  版块
|
7月前
|
数据采集 Web App开发 监控
|

深度解析:使用ChromeDriver和webdriver_manager实现无头浏览器爬虫

在现代网络爬虫实践中,动态网页加载和反爬虫机制增加了数据采集的难度。采用无头浏览器技术(如Selenium与ChromeDriver)可有效模拟用户行为、执行JavaScript,获取动态内容。通过设置代理IP、伪装User-Agent和处理Cookies,提升爬虫隐蔽性和稳定性。该方案适用于电商价格监控、社交媒体数据采集和招聘信息抓取等场景,实现更高效的数据获取。

543 2
|
8月前
|
存储 人工智能 分布式计算
|

湖仓实时化升级 :Uniflow 构建流批一体实时湖仓

本文整理自阿里云产品经理李昊哲在Flink Forward Asia 2024流批一体专场的分享,涵盖实时湖仓发展趋势、基于Flink搭建流批一体实时湖仓及Materialized Table优化三方面。首先探讨了实时湖仓的发展趋势和背景,特别是阿里云在该领域的领导地位。接着介绍了Uniflow解决方案,通过Flink CDC、Paimon存储等技术实现低成本、高性能的流批一体处理。最后,重点讲解了Materialized Table如何简化用户操作,提升数据查询和补数体验,助力企业高效应对不同业务需求。

747 18
来自: 实时计算 Flink  版块
|
8月前
|
存储 算法 区块链
|

区块链:版权保护的新利器

区块链:版权保护的新利器

521 21
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
|

云上一键部署 DeepSeek-V3 模型,阿里云 PAI-Model Gallery 最佳实践

本文介绍了如何在阿里云 PAI 平台上一键部署 DeepSeek-V3 模型,通过这一过程,用户能够轻松地利用 DeepSeek-V3 模型进行实时交互和 API 推理,从而加速 AI 应用的开发和部署。

4993 32
来自: 人工智能平台PAI  版块
|
8月前
|
机器学习/深度学习 人工智能 算法
|

阿里云人工智能平台图像视频特征提取

本文介绍了图像与视频特征提取技术在人工智能和计算机视觉中的应用,涵盖图像质量评分、人脸属性分析、年龄分析、图像多标签打标、图文视频动态分类打标、视频质量评分及视频分类打标。通过深度学习模型如CNN和RNN,这些技术能从海量数据中挖掘有价值信息,为图像分类、目标检测、视频推荐等场景提供支持,提升分析精度与效率。

472 9
来自: 人工智能平台PAI  版块
|
9月前
|
存储 关系型数据库 BI
|

实时计算UniFlow:Flink+Paimon构建流批一体实时湖仓

实时计算架构中,传统湖仓架构在数据流量管控和应用场景支持上表现良好,但在实际运营中常忽略细节,导致新问题。为解决这些问题,提出了流批一体的实时计算湖仓架构——UniFlow。该架构通过统一的流批计算引擎、存储格式(如Paimon)和Flink CDC工具,简化开发流程,降低成本,并确保数据一致性和实时性。UniFlow还引入了Flink Materialized Table,实现了声明式ETL,优化了调度和执行模式,使用户能灵活调整新鲜度与成本。最终,UniFlow不仅提高了开发和运维效率,还提供了更实时的数据支持,满足业务决策需求。

521 7
|
9月前
|
SQL 人工智能 自然语言处理
|

DataWorks年度发布:智能化湖仓一体数据开发与治理平台的演进

阿里云在过去15年中持续为268集团提供数据服务,积累了丰富的实践经验,并连续三年在IDC中国数据治理市场份额中排名第一。新一代智能数据开发平台DateWorks推出了全新的DateStudio IDE,支持湖仓一体化开发,新增Flink计算引擎和全面适配locs,优化工作流程系统和数据目录管理。同时,阿里云正式推出个人开发环境模式和个人Notebook,提升开发者体验和效率。此外,DateWorks Copilot通过自然语言生成SQL、代码补全等功能,显著提升了数据开发与分析的效率,已累计帮助开发者生成超过3200万行代码。

474 6
|
9月前
|
存储 人工智能 算法
|

深度解读面向大模型开发和应用的数据处理套件

本文深入解读了大数据与AI联合场景下的技术,重点探讨了大语言模型、多模态模型训练及应用数据处理。文章首先分析了算法、算力和数据在大模型训练中的重要性,强调数据采集、标注和质量控制的关键作用。接着介绍了PAI平台上的端到端数据处理套件,涵盖预训练、有监督微调和偏好对齐的数据处理流程,以及数据合成和蒸馏技术的应用。最后展望了未来在多模态处理、性能优化和行业解决方案方面的扩展方向。

486 3
来自: 人工智能平台PAI  版块
|
9月前
|
人工智能 自然语言处理 搜索推荐
|

智能语音助手的发展与未来:开启人机交互的新篇章

智能语音助手的发展与未来:开启人机交互的新篇章

1529 28
|
9月前
|
IDE 测试技术 开发工具
|

10个必备Python调试技巧:从pdb到单元测试的开发效率提升指南

在Python开发中,调试是提升效率的关键技能。本文总结了10个实用的调试方法,涵盖内置调试器pdb、breakpoint()函数、断言机制、logging模块、列表推导式优化、IPython调试、警告机制、IDE调试工具、inspect模块和单元测试框架的应用。通过这些技巧,开发者可以更高效地定位和解决问题,提高代码质量。

942 8
|
9月前
|
Web App开发 数据采集 JavaScript
|

CDP与Selenium相结合——玩转网页端自动化数据采集/爬取程序

本文介绍了Selenium、Chrome DevTools及Chrome DevTools Protocol (CDP) 的基本功能与应用。Selenium是一款开源自动化测试工具,适用于网页端应用程序测试和数据采集,具备跨平台特性。Chrome DevTools内置浏览器中,提供调试、分析Web应用程序的功能,包括元素、控制台、源代码和网络选项卡等。CDP是一套用于与Chromium内核浏览器通信的API,支持自动化测试和性能分析。文中还展示了Selenium与CDP结合使用的示例,如捕获网络请求数据和打印网页内容,并推荐了相关书籍和资源以供深入学习。

1216 39
|
9月前
|
API 数据安全/隐私保护 开发者
|

商品订单接口获取及作用详解

在电商平台的后台管理中,订单接口至关重要。本文介绍了如何获取商品订单接口及其作用,包括注册开发者账号、创建应用、申请API权限和调用接口获取订单及物流信息的详细步骤,并提供了Python示例代码。同时,强调了遵守平台规则、数据安全和接口维护的重要性。

440 2
|
9月前
|
人工智能 搜索推荐 安全
|

智能家居:AI如何让我们的生活更便捷

智能家居:AI如何让我们的生活更便捷

468 7
|
9月前
|
算法
|

通过matlab分别对比PSO,反向学习PSO,多策略改进反向学习PSO三种优化算法

本项目使用MATLAB2022A版本,对比分析了PSO、反向学习PSO及多策略改进反向学习PSO三种优化算法的性能,主要通过优化收敛曲线进行直观展示。核心代码实现了标准PSO算法流程,加入反向学习机制及多种改进策略,以提升算法跳出局部最优的能力,增强全局搜索效率。

238 11

分享一些在 1688 上找一件代发商品的技巧

在1688上找一件代发商品需明确自身需求与定位,筛选可靠供应商,研究商品信息,利用精准搜索和平台推荐,关注活动,并与供应商充分沟通,确保合作顺畅。

996 0
|
10月前
|
Java 测试技术 API
|

拼多多 API 接口申请通过后如何进行测试?

拼多多 API 接口申请通过后,需按以下步骤测试:1. 仔细研读接口文档;2. 搭建测试环境,准备开发工具和模拟请求工具;3. 编写测试代码或使用测试工具;4. 设计测试用例,包括正常、异常和边界情况;5. 验证测试结果,检查返回值和错误处理;6. 记录和分析测试结果,确保 API 的稳定性和性能。

870 1
|
11月前
|
流计算 对象存储 关系型数据库
|

flink cdc paimon设置了file.format为parquet但生成的文件依然是orc

248 1
来自:实时计算 Flink 版块
|
11月前
|
机器学习/深度学习 存储 人工智能
|

梯度累积的隐藏陷阱:Transformer库中梯度累积机制的缺陷与修正

在本地微调大规模语言模型时,由于GPU显存限制,通常采用梯度累积技术来模拟大批次训练。然而,实际研究表明,梯度累积方法在主流深度学习框架中会导致模型性能显著下降,尤其是在多GPU环境中。本文详细探讨了梯度累积的基本原理、应用场景及存在的问题,并通过实验验证了修正方案的有效性。研究指出,该问题可能在过去多年中一直存在且未被发现,影响了模型的训练效果。

771 4
|
11月前
|
图形学 UED
|

DataV三维模型应用开发视频教程

DataV提供了一套完整的三维模型应用方案,包括低成本的模型托管和应用发布、完善的图表/表单开发配套和低代码交互开发环境,帮助用户快捷发布面向Web的三维应用。

5733 17
来自: 数据可视化DataV  版块
|
11月前
|
机器学习/深度学习 PyTorch 算法框架/工具
|

图像数据增强库综述:10个强大图像增强工具对比与分析

在深度学习和计算机视觉领域,数据增强是提升模型性能和泛化能力的关键技术。本文全面介绍了10个广泛使用的图像数据增强库,分析其特点和适用场景,帮助研究人员和开发者选择最适合需求的工具。这些库包括高性能的GPU加速解决方案(如Nvidia DALI)、灵活多功能的Albumentations和Imgaug,以及专注于特定框架的Kornia和Torchvision Transforms。通过详细比较各库的功能、特点和适用场景,本文为不同需求的用户提供丰富的选择,助力深度学习项目取得更好的效果。选择合适的数据增强库需考虑性能需求、任务类型、框架兼容性及易用性等因素。

1698 10
|
1月前
|
JSON API 数据格式
|

小红书笔记详情API响应数据解析

小红书笔记详情API可获取笔记核心数据,适用于内容分析与竞品监测。支持HTTP GET/POST请求,返回JSON格式数据,包含笔记标题、互动数据及作者信息。文档提供Python请求示例,建议添加异常重试机制,助力品牌营销与用户行为分析。

116 0
|
1月前
|
机器学习/深度学习 算法 测试技术
|

NSA稀疏注意力深度解析:DeepSeek如何将Transformer复杂度从O(N²)降至线性,实现9倍训练加速

本文将深入分析NSA的架构设计,通过详细的示例、可视化展示和数学推导,构建对其工作机制的全面理解,从高层策略到底层硬件实现均有涉及。

164 0
|
2月前
|
JSON 人工智能 数据挖掘
|

LLM开发者必备:掌握21种分块策略让RAG应用性能翻倍

本文将系统介绍21种文本分块策略,从基础方法到高级技术,并详细分析每种策略的适用场景,以帮助开发者构建更加可靠的RAG系统。

173 0
|
2月前
|
消息中间件 监控 Java
|

借助最新技术构建 Java 邮件发送功能的详细流程与核心要点分享 Java 邮件发送功能

本文介绍了如何使用Spring Boot 3、Jakarta Mail、MailHog及响应式编程技术构建高效的Java邮件发送系统,涵盖环境搭建、异步发送、模板渲染、测试与生产配置,以及性能优化方案,助你实现现代化邮件功能。

109 0
|
2月前
|
分布式计算 监控 大数据
|

大数据之路:阿里巴巴大数据实践——离线数据开发

该平台提供一站式大数据开发与治理服务,涵盖数据存储计算、任务调度、质量监控及安全管控。基于MaxCompute实现海量数据处理,结合D2与DataWorks进行任务开发与运维,通过SQLSCAN与DQC保障代码质量与数据准确性。任务调度系统支持定时、周期、手动运行等多种模式,确保高效稳定的数据生产流程。

108 0
|
2月前
|
编解码
|

【2025更新】视频压缩神器!视频体积瞬间缩小80%,可以指定大小压缩、批量压缩,超级良心免费使用!

Moo0视频压缩器是一款免费、高效的视频压缩工具,支持AVI、MP4等多种格式。可按文件大小、比例或屏幕尺寸智能压缩,兼顾画质与效率,操作简便,批量处理更省心,是2025年必备的视频压缩神器!

118 2
|
2月前
|
存储 并行计算 算法
|

CUDA性能优化实战:7个步骤让并行归约算法提升10倍效率

https://avoid.overfit.cn/post/af59d0a6ce474b8fa7a8eafb2117a404

128 1
|
3月前
|
JavaScript 前端开发 Java
|

垃圾分类管理系统基于 Spring Boot Vue 3 微服务架构实操指南

本文介绍了基于Java技术的垃圾分类管理系统开发方案与实施案例。系统采用前后端分离架构,后端使用Spring Boot框架搭配MySQL数据库,前端可选择Vue.js或Java Swing实现。核心功能模块包括垃圾分类查询、科普教育、回收预约等。文中提供了两个典型应用案例:彭湖花园小区使用的Swing桌面系统和基于Spring Boot+Vue的城市管理系统,分别满足不同场景需求。最新技术方案升级为微服务架构,整合Spring Cloud、Redis、Elasticsearch等技术,并采用Docker容器

166 0
|
3月前
|
数据采集 运维 BI
|

Python 文件操作进阶|使用 shutil 实现高效文件复制

在开发和运维中,处理大量文件是常见需求,如备份配置、归档日志或构建部署包。手动复制粘贴已无法满足高效需求!Python 的 `shutil` 模块提供了强大的文件操作功能,支持单文件复制、目录树迁移及自动化任务构建。本文详解 `shutil.copy()` 基础用法与进阶技巧,如批量复制、自动路径检测、时间戳命名备份等,助你实现高效自动化。结合实战案例(如自动备份系统),让你的代码更专业!学习后,欢迎交流心得,一起精进 Python 技能。关注我,获取更多编程技巧与源码分享!

175 0
|
3月前
|
人工智能 分布式计算 大数据
|

构建AI时代的大数据基础设施-MaxCompute多模态数据处理最佳实践

本文介绍了大数据与AI一体化架构的演进及其实现方法,重点探讨了Data+AI开发全生命周期的关键步骤。文章分析了大模型开发中的典型挑战,如数据管理混乱、开发效率低下和运维管理困难,并提出了解决方案。同时,详细描述了MaxCompute在构建AI时代数据基础设施中的作用,包括其强大的计算能力、调度能力和易用性特点。此外,还展示了MaxCompute在多模态数据处理中的应用实践以及具体客户案例,最后提供了体验MaxFrame解决方案的方式。

377 2
来自: 大数据计算 MaxCompute  版块
|
3月前
|
数据采集 机器学习/深度学习 Web App开发
|

Python爬虫如何应对贝壳网的IP封禁与人机验证?

Python爬虫如何应对贝壳网的IP封禁与人机验证?

214 5
|
4月前
|
SQL DataWorks 大数据
|

DataWorks x 婚礼纪:智能一站式数据开发治理平台让千万新人的幸福时刻“数智化”

婚礼纪是杭州火烧云科技推出的结婚服务平台,覆盖婚宴酒店、婚纱摄影等全产业链,年服务超2000万对新人。为应对海量数据处理挑战,婚礼纪选择阿里云DataWorks作为一站式大数据开发治理平台,解决数据血缘不清、指标口径混乱等问题。通过湖仓一体架构与全链路数据治理,实现多源异构数据高效整合,支撑精准营销、交易风控等核心场景。DataWorks新版数据开发Data Studio大幅提升开发效率,Copilot智能助手优化SQL代码生成与测试,助力婚礼纪构建数据驱动的结婚产业服务中枢。

268 6
|
4月前
|
存储 人工智能 自然语言处理
|

构建智能AI记忆系统:多智能体系统记忆机制的设计与技术实现

本文探讨了多智能体系统中记忆机制的设计与实现,提出构建精细化记忆体系以模拟人类认知过程。文章分析了上下文窗口限制的技术挑战,并介绍了四种记忆类型:即时工作记忆、情节记忆、程序性记忆和语义知识系统。通过基于文件的工作上下文记忆、模型上下文协议的数据库集成以及RAG系统等技术方案,满足不同记忆需求。此外,高级技术如动态示例选择、记忆蒸馏和冲突解决机制进一步提升系统智能化水平。总结指出,这些技术推动智能体向更接近人类认知的复杂记忆处理机制发展,为人工智能开辟新路径。

344 5
|
4月前
|
前端开发 开发者
|

HarmonyOS实战:自定义时间选择器

在鸿蒙开发中,官方提供的默认时间选择器可能无法满足特定需求。本文分享了自定义时间选择器的实现过程:通过 TextPicker 控件实现年月日及时分的选择,支持默认选中当前时间、精确到时分,并注意闰年计算与日期格式处理。代码中使用 Promise 处理耗时的日期计算,确保显示和逻辑正确。总结指出,尽管看似简单,但需关注时间计算、格式化等细节。快动手试试吧!

169 1
|
4月前
|
JSON API 数据格式
|

手把手教你抓取京东商品评论:API 接口解析与 Python 实战

京东商品评论蕴含用户对产品质量、体验和服务的真实反馈,分析这些数据有助于企业优化产品和满足用户需求。由于京东未提供官方API,需通过逆向工程获取评论数据。其主要接口为“商品评论列表接口”,支持按商品ID、评分、排序方式等参数获取评论,返回JSON格式数据,包含评论列表、摘要(如好评率)及热门标签等信息。

400 7