|
9月前
|
算法
|

MATLAB在风险管理中的应用:从VaR计算到压力测试

本文介绍如何使用MATLAB进行风险管理,涵盖风险度量(如VaR)、压力测试和风险分解。通过历史模拟法、参数法和蒙特卡洛模拟法计算VaR,评估投资组合在极端市场条件下的表现,并通过边际VaR和成分VaR识别风险来源。结合具体案例和代码实现,帮助读者掌握MATLAB在风险管理中的应用,确保投资组合的稳健性。

630 2
|
9月前
|
人工智能 自然语言处理 搜索推荐
|

阿里云 AI 搜索开放平台集成 DeepSeek 模型

阿里云 AI 搜索开放平台最新上线 DeepSeek -R1系列模型。

861 2
来自: 智能搜索推荐  版块
|
9月前
|
JSON API 开发者
|

小红书商品详情API接口(小红书API系列)

小红书商品详情API接口帮助开发者获取平台上特定商品的详细信息,包括标题、价格、图片、描述、评价数量等。支持HTTP GET/POST请求,返回JSON格式数据。通过传递商品ID及其他可选参数,开发者可以将小红书的商品信息整合到自己的应用中,提供更丰富的购物体验。Python示例代码展示了如何使用requests库发送GET请求并处理响应数据。实际使用需替换为真实接口地址和商品ID,并遵循平台认证要求。

454 6
|
9月前
|
XML JSON 算法
|

智能冰箱食材识别

本案例设计了一个囤菜系统原型,主要方法是利用冰箱内安装的摄像头,通过目标检测算法识别食材类别,判断存取动作,增加或者减少相应的食材的数量,并记录存取时间等相关数据,设计出了具备提示清理和补货等功能的智能化囤菜系统原型。

510 7
|
9月前
|
人工智能 DataWorks 大数据
|

大数据AI一体化开发再加速:DataWorks 支持GPU类型资源

大数据开发治理平台 DataWorks 的Serverless资源组支持GPU资源类型,以免运维、按需付费、弹性伸缩的Serverless架构,将大数据处理与AI开发能力无缝融合。面向大数据&AI协同开发场景,DataWorks提供了交互式开发和分析工具Notebook。开发者在创建个人开发环境时,可以选择GPU类型的资源作为Notebook运行环境,以支持进行高性能的计算工作。本教程将基于开源多模态大模型Qwen2-VL-2B-Instruct,介绍如何使用 DataWorks Notebook及LLaMA Factory训练框架完成文旅领域大模型的构建。

575 24
|
9月前
|
传感器 物联网 大数据
|

物联网与大数据:揭秘万物互联的新纪元

物联网与大数据:揭秘万物互联的新纪元

333 7
|
9月前
|
SQL 分布式计算 数据挖掘
|

阿里云 MaxCompute MaxQA 开启公测,公测可申请 100CU 计算资源解锁近实时高效查询体验

阿里云云原生大数据计算服务 MaxCompute 推出 MaxQA(原 MCQA2.0)查询加速功能,在独享的查询加速资源池的基础上,对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化,显著减少了查询响应时间,适用于 BI 场景、交互式分析以及近实时数仓等对延迟要求高且稳定的场景。现正式开启公测,公测期间可申请100CU(价值15000元)计算资源用于测试,欢迎广大开发者及企业用户参与,解锁高效查询体验!

250 3
来自: 大数据计算 MaxCompute  版块
|
9月前
|
存储 弹性计算 运维
|

海量日志接入 Elasticsearch Serverless 应用降本70%以上

本文将探讨在日志场景下,使用阿里云Elasticsearch Serverless相较于基于ECS自建Elasticsearch集群的成本与性能优势,展示如何通过Serverless架构实现高达 70%以上的成本节约。

474 0
|
9月前
|
数据采集 存储 前端开发
|

用Python抓取亚马逊动态加载数据,一文读懂

用Python抓取亚马逊动态加载数据,一文读懂

251 4
|
9月前
|
分布式计算 大数据 数据处理
|

从Excel到大数据:别让工具限制你的思维!

从Excel到大数据:别让工具限制你的思维!

333 85
|
9月前
|
供应链 搜索推荐 API
|

亚马逊商品列表数据接口(亚马逊 API 系列)

亚马逊的商品列表数据接口为电商从业者、数据分析人员和开发者提供了宝贵的市场洞察。通过该接口,用户可以批量获取商品的关键信息,包括基本信息、价格、销售排名和库存状态等,助力市场分析、竞品研究和商品推荐。开发者需在亚马逊开发者中心注册并申请API权限,使用安全凭证进行认证,支持HTTP/HTTPS协议的GET和POST请求。Python示例展示了如何调用接口获取商品列表,并解析响应数据。应用场景涵盖市场趋势分析、竞品对比、个性化推荐及库存管理,帮助商家优化策略,提升竞争力。

455 13
|
9月前
|
监控 供应链 搜索推荐
|

亚马逊商品详情接口(亚马逊 API 系列)

亚马逊作为全球最大的电商平台之一,提供了丰富的商品资源。开发者和电商从业者可通过亚马逊商品详情接口获取商品的描述、价格、评论、排名等数据,对市场分析、竞品研究、价格监控及业务优化具有重要价值。接口基于MWS服务,支持HTTP/HTTPS协议,需注册并获得API权限。Python示例展示了如何使用mws库调用接口获取商品详情。应用场景包括价格监控、市场调研、智能选品、用户推荐和库存管理等,助力电商运营和决策。

543 23
|
9月前
|
分布式计算 Spark
|

【赵渝强老师】Spark的容错机制:检查点

Spark通过Checkpoint机制将RDD状态持久化到磁盘,以支持容错。当任务执行出错时,可以从检查点位置重新计算,减少开销。Checkpoint目录可设置为本地文件夹或HDFS。建议生产系统使用高可靠的文件系统保存检查点。文中详细介绍了在本地和HDFS上设置检查点目录的步骤,并附有代码示例和视频讲解。

195 7
来自: 大数据计算 MaxCompute  版块
|
9月前
|
机器学习/深度学习 人工智能 并行计算
|

图机器学习调研洞察:PyG与DGL

图神经网络(GNN)是人工智能领域的研究热点,广泛应用于社交网络、电商推荐、欺诈检测等。主流开源图学习引擎如DGL、PyG、GraphScope等在性能和社区活跃度上各有优劣。基于ogbn-products数据集的测试显示,DGL性能最优、内存占用最低,PyG次之。在AI for Science领域,PyG应用更广泛,尤其在小分子和晶体结构预测中表现突出。DGL采用Graph Centric方式,保留图结构;PyG则采用Tensor Centric方式,适合小图场景。

346 1
|
9月前
|
存储 算法 数据挖掘
|

数据降维技术研究:Karhunen-Loève展开与快速傅里叶变换的理论基础及应用

本文探讨了Karhunen-Loève展开(KLE)和快速傅里叶变换(FFT)在数据降维与压缩中的应用。KLE通过最优正交基函数系统分解随机过程,适用于高维随机场的降维;FFT则将时域信号转换为频域表示,擅长处理周期性信号。两者结合可实现多尺度数据分析,在气象、工程等领域有广泛应用。

243 16
|
9月前
|
人工智能 算法 Cloud Native
|

华为、埃森哲都在用的培训法则:3大战场拆解与8家破局者图谱

但当企业竞争进入“深水区”,当AI技术以周为单位迭代时,堆砌知识量 → 标准化课件 → 单向灌输这套模式注定失效。真正的破局者在哪里?那些能将培训嵌入业务毛细血管,用真实项目倒逼能力跃迁,靠前沿技术直击行业痛点的机构,正在改写游戏规则。

239 40
|
10月前
|
机器学习/深度学习 存储 Python
|

深入剖析SVM核心机制:铰链损失函数的原理与代码实现

铰链损失(Hinge Loss)是支持向量机(SVM)中核心的损失函数,广泛应用于机器学习模型训练。其数学形式为 \( L(y, f(x)) = \max(0, 1 - y \cdot f(x)) \),其中 \( y \) 是真实标签,\( f(x) \) 是预测输出。铰链损失具有凸性、非光滑性和稀疏性等特性,能够最大化分类边际并产生稀疏的支持向量,提高模型泛化能力。它在正确分类、边际内分类和错误分类三种情况下有不同的损失值,适用于线性可分问题且对异常值不敏感。铰链损失通过严格的边际要求和连续梯度信息,提供了高效的优化目标,适合构建鲁棒的分类模型。

572 77
|
10月前
|
消息中间件 存储 缓存
|

kafka 的数据是放在磁盘上还是内存上,为什么速度会快?

Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。

598 4
|
10月前
|
数据可视化 数据挖掘 数据处理
|

B 端试用期考核指标

B端产品经理试用期考核指标涵盖了项目策划、用户需求理解、团队协作、技术能力、创新思维、项目管理、产品投放时间、产品质量、产品利润及基础服务接入等方面。这些指标通过自我评估和上级评估相结合的方式进行,分为优秀(5分)到不合格(1分)五个等级。具体内容包括制定合理项目计划、准确把握用户需求、有效沟通协调团队、掌握技术细节、提出创新方案等。实际案例展示了如何通过成功项目实施、解决业务痛点、优化产品功能等方式,全面评估产品经理的综合能力,确保其胜任后续工作任务。

415 0
|
10月前
|
搜索推荐 算法 大数据
|

大数据无处不在:揭秘日常生活中的大数据魔力

大数据无处不在:揭秘日常生活中的大数据魔力

441 10
|
10月前
|
SQL 人工智能 数据可视化
|

数据分析之年度总结分享

国内一家服装公司,年销售额达数千万元,覆盖七个区域。财年后需分析销售数据以指导下年度战略。传统工作流涉及业务人员与BI研发协作,但存在沟通、分析和制作困难。为解决这些问题,采用阿里云DataV Note进行智能数据分析。该工具支持多人协作、AI驱动的可视化分析,并能数字化沉淀成果,极大提升了效率和美观度。通过对比不同品类销售额、品牌占比及地区业绩等维度,最终生成专业报告,满足多样化汇报需求。总结来看,DataV Note提供了高效、智能的数据分析解决方案。

271 120
|
10月前
|
JSON 监控 API
|

京东商品列表 API 接口系列(京东 API)

本简介介绍了使用 Python 调用京东商品搜索和详情 API 的方法。首先需安装 `requests` 库,`hashlib` 和 `time` 为内置库无需安装。API 支持按关键词、类别等条件搜索商品,返回 JSON 格式的商品列表,包括 ID、名称、价格等信息。通过商品 ID 可获取详细信息如描述、规格等。示例代码展示了如何生成签名并发送请求。应用场景包括市场调研、竞品监测和价格预警等,为企业决策提供数据支持。

248 0
|
11月前
|
SQL 人工智能 自然语言处理
|

DataWorks年度发布:智能化湖仓一体数据开发与治理平台的演进

阿里云在过去15年中持续为268集团提供数据服务,积累了丰富的实践经验,并连续三年在IDC中国数据治理市场份额中排名第一。新一代智能数据开发平台DateWorks推出了全新的DateStudio IDE,支持湖仓一体化开发,新增Flink计算引擎和全面适配locs,优化工作流程系统和数据目录管理。同时,阿里云正式推出个人开发环境模式和个人Notebook,提升开发者体验和效率。此外,DateWorks Copilot通过自然语言生成SQL、代码补全等功能,显著提升了数据开发与分析的效率,已累计帮助开发者生成超过3200万行代码。

540 6
|
11月前
|
数据采集 机器学习/深度学习 存储
|

解锁unlist在网页爬取中的另类用法

本文介绍了一种结合unlist、代理IP和多线程技术的高效网页爬取方法,以今日头条为例,展示了如何采集新闻热点数据。通过使用unlist展平嵌套HTML结构,简化数据解析;利用代理IP规避IP限制,确保抓取安全;采用多线程提高效率。代码实现包括安装依赖库、配置代理、任务分发及数据解析,最终实现了高效的数据抓取与处理。

101 3
|
11月前
|
人工智能 分布式计算 数据处理
|

MaxCompute Data + AI:构建 Data + AI 的一体化数智融合

本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。

645 7
来自: 大数据计算 MaxCompute  版块
|
11月前
|
IDE 测试技术 开发工具
|

10个必备Python调试技巧:从pdb到单元测试的开发效率提升指南

在Python开发中,调试是提升效率的关键技能。本文总结了10个实用的调试方法,涵盖内置调试器pdb、breakpoint()函数、断言机制、logging模块、列表推导式优化、IPython调试、警告机制、IDE调试工具、inspect模块和单元测试框架的应用。通过这些技巧,开发者可以更高效地定位和解决问题,提高代码质量。

1045 8
|
11月前
|
人工智能 搜索推荐 数据库
|

主动式智能导购AI助手构建方案评测

阿里云推出的主动式智能导购AI助手方案,基于百炼大模型和Multi-Agent架构,通过多轮对话收集用户需求,实现精准商品推荐。其优势包括主动交互、灵活可扩展的架构、低代码开发及快速部署。商家可在10分钟内完成部署,并享受低成本试用。尽管技术细节尚需完善,该方案为电商提供了高效的客户服务工具,未来有望在个性化推荐和多模态交互方面取得突破。

341 3
来自: 智能搜索推荐  版块
|
11月前
|
机器学习/深度学习 人工智能 算法
|

【AI系统】AI 框架之争

本文介绍了AI框架在数学上对自动微分的表达和处理,以及其在多线程算子加速、GPU/NPU支持、代码编译优化等方面的技术挑战。文章详细梳理了AI框架的发展历程,从萌芽阶段到深化阶段,探讨了不同阶段的关键技术和代表性框架。同时,文章展望了AI框架的未来趋势,包括全场景支持、易用性提升、大规模分布式支持和科学计算融合。

318 0
|
11月前
|
数据采集 JSON API
|

淘宝商品数据采集API技术分享

在电商领域,数据采集和分析对提升业务效率、优化用户体验至关重要。淘宝作为国内最大电商平台之一,提供了丰富的商品数据。通过淘宝商品采集API,开发者可高效获取这些数据,支持决策。本文详细介绍了如何注册、申请权限、构建请求、处理响应及注意事项,助力商家和开发者利用API进行商品数据采集。

1522 4
|
11月前
|
XML JSON 缓存
|

阿里巴巴商品详情数据接口(alibaba.item_get) 丨阿里巴巴 API 实时接口指南

阿里巴巴商品详情数据接口(alibaba.item_get)允许商家通过API获取商品的详细信息,包括标题、描述、价格、销量、评价等。主要参数为商品ID(num_iid),支持多种返回数据格式,如json、xml等,便于开发者根据需求选择。使用前需注册并获得App Key与App Secret,注意遵守使用规范。

484 6
|
11月前
|
算法
|

基于GA遗传算法的PID控制器参数优化matlab建模与仿真

本项目基于遗传算法(GA)优化PID控制器参数,通过空间状态方程构建控制对象,自定义GA的选择、交叉、变异过程,以提高PID控制性能。与使用通用GA工具箱相比,此方法更灵活、针对性强。MATLAB2022A环境下测试,展示了GA优化前后PID控制效果的显著差异。核心代码实现了遗传算法的迭代优化过程,最终通过适应度函数评估并选择了最优PID参数,显著提升了系统响应速度和稳定性。

692 15
|
12月前
|
SQL 并行计算 数据挖掘
|

一份写给数据工程师的 Polars 迁移指南:将 Pandas 速度提升 20 倍代码重构实践

Polars作为现代化的数据处理框架,通过先进的工程实践和算法优化,为数据科学工作者提供了高效的数据处理工具。在从Pandas迁移时,理解这些核心概念和最佳实践将有助于充分发挥Polars的性能优势。

725 4
|
12月前
|
前端开发 Java 数据库连接
|

你不可不知道的JAVA EE 框架有哪些?

本文介绍了框架的基本概念及其在编程领域的应用,强调了软件框架作为通用、可复用的软件环境的重要性。文章分析了早期Java EE开发中使用JSP+Servlet技术的弊端,包括可维护性差和代码重用性低等问题,并阐述了使用框架的优势,如提高开发效率、增强代码规范性和可维护性及提升软件性能。最后,文中详细描述了几种主流的Java EE框架,包括Spring、Spring MVC、MyBatis、Hibernate和Struts 2,这些框架通过提供强大的功能和支持,显著提升了Java EE应用的开发效率和稳定性。

659 1
|
12月前
|
并行计算 监控 搜索推荐
|

使用 PyTorch-BigGraph 构建和部署大规模图嵌入的完整教程

当处理大规模图数据时,复杂性难以避免。PyTorch-BigGraph (PBG) 是一款专为此设计的工具,能够高效处理数十亿节点和边的图数据。PBG通过多GPU或节点无缝扩展,利用高效的分区技术,生成准确的嵌入表示,适用于社交网络、推荐系统和知识图谱等领域。本文详细介绍PBG的设置、训练和优化方法,涵盖环境配置、数据准备、模型训练、性能优化和实际应用案例,帮助读者高效处理大规模图数据。

249 5
|
12月前
|
存储 缓存 分布式计算
|

【赵渝强老师】基于RBF的HDFS联邦架构

最新版Hadoop实现了基于Router的联盟架构,增强了集群管理能力。Router将挂载表从客户端中分离,解决了ViewFS的问题。RBF架构包括Router和State Store两个模块,其中Router作为代理服务,负责解析ViewFS并转发请求至正确子集群,State Store则维护子集群的状态和挂载表信息。

284 0
|
12月前
|
SQL 数据采集 分布式计算
|

【赵渝强老师】基于大数据组件的平台架构

本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。

956 3
|
12月前
|
人工智能 架构师
|

活动火热报名中|阿里云&Elastic:AI Search Tech Day

2024年11月22日,阿里云与Elastic联合举办“AI Search Tech Day”技术思享会活动。

430 9
|
12月前
|
机器学习/深度学习 数据采集 数据库
|

使用Python实现智能食品营养分析的深度学习模型

使用Python实现智能食品营养分析的深度学习模型

460 6
|
13天前
|
人工智能 自然语言处理 前端开发
|

AI Agents 崛起:让 AI 自己“干活”的时代,终于来了!

AI Agents 崛起:让 AI 自己“干活”的时代,终于来了!

111 11
|
2月前
|
机器学习/深度学习 资源调度 自动驾驶
|

WorldSimBench: 迈向作为世界模拟器的视频生成模型——论文阅读

WorldSimBench提出了一种新框架,旨在将视频生成模型发展为具备物理理解与动作执行能力的世界模拟器。通过构建层次化评估体系(S0-S3)和HF-Embodied数据集,结合显式感知与隐式操作双重评估,推动具身智能体在Minecraft、自动驾驶和机器人等场景中的真实任务表现。

145 4
|
2月前
|
SQL Oracle 关系型数据库
|

19c多租户架构下的UNDO管理- Local Undo

Oracle 12c引入多租户架构,PDB共享CDB的UNDO表空间。19c新增Local Undo特性,支持各PDB独立管理UNDO,提升性能、隔离性与可管理性,且为热克隆、PDB迁移等高级功能的前提。建议19c环境启用Local Undo。

415 10
|
2月前
|
机器学习/深度学习 人工智能 算法
|

卷积神经网络深度解析:从基础原理到实战应用的完整指南

蒋星熠Jaxonic带你深入卷积神经网络(CNN)核心技术,从生物启发到数学原理,详解ResNet、注意力机制与模型优化,探索视觉智能的演进之路。

327 11
|
3月前
|
人工智能 自然语言处理 安全
|

多智能体协作为什么这么难:系统频繁失败的原因分析与解决思路

在AI智能体架构设计中,单智能体与多智能体路径之争愈演愈烈。实践表明,多智能体系统虽看似强大,却因协调复杂、容错差、信息丢失等问题而表现脆弱。相比之下,具备完整上下文的单智能体在一致性、稳定性与可维护性上更具优势。本文深入分析多智能体系统的失败案例与技术局限,提出优先发展高性能单智能体、聚焦上下文工程的实践路径,为AI系统设计提供清晰方向。

217 4
|
3月前
|
SQL 运维 监控
|

抖音基于Flink的DataOps能力实践

本文整理自抖音集团数据工程师黄鑫在Flink Forward Asia 2024的分享,围绕抖音实时数据研发的现状与挑战、DataOps能力建设及未来规划展开,涵盖需求管理、开发测试、发布运维等全流程实践,旨在提升数据质量与开发效率,实现高效稳定的数据交付。

226 18
来自: 实时计算 Flink  版块
|
3月前
|
JSON API 数据格式
|

小红书笔记详情API数据解析(附代码)

本内容介绍了小红书开放平台的笔记详情API接口功能,涵盖笔记标题、内容、互动数据及多媒体资源的获取方式。提供接口概述、请求方式及Python调用示例,适用于内容分析与营销策略优化,帮助开发者高效集成与使用。

409 4
|
3月前
|
运维 算法 5G
|

天上的“WiFi”:低轨卫星互联网正在改变全球通信格局

天上的“WiFi”:低轨卫星互联网正在改变全球通信格局

182 5
|
3月前
|
自然语言处理 5G 语音技术
|

5G加持下的实时翻译:从“卡顿”到“秒懂”的进化之路

5G加持下的实时翻译:从“卡顿”到“秒懂”的进化之路

110 1
|
3月前
|
存储 消息中间件 人工智能
|

Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台

本文整理自 Lazada Group EVP 及供应链技术负责人陈立群在 Flink Forward Asia 2025 新加坡实时分析专场的分享。作为东南亚领先的电商平台,Lazada 面临在六国管理数十亿商品 SKU 的挑战。为实现毫秒级数据驱动决策,Lazada 基于阿里云实时计算 Flink 和 Hologres 打造端到端实时商品选品平台,支撑日常运营与大促期间分钟级响应。本文深入解析该平台如何通过流式处理与实时分析技术重构电商数据架构,实现从“事后分析”到“事中调控”的跃迁。

368 55
来自: 实时计算 Flink  版块
|
3月前
|
存储 人工智能 5G
|

6G来了,智能设备会“脱胎换骨”吗?

6G来了,智能设备会“脱胎换骨”吗?

150 4
|
3月前
|
人工智能 测试技术 芯片
|

AMD Ryzen AI Max+ 395四机并联:大语言模型集群推理深度测试

本文介绍了使用四块Framework主板构建AI推理集群的过程,并基于AMD Ryzen AI Max+ 395处理器进行大语言模型推理性能测试,重点评估其并行推理能力及集群表现。

255 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
67388
内容
127
活动
439367
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 日志服务
  • 检索分析服务 Elasticsearch版