|
7月前
|
JavaScript 前端开发
|

Node.js 中实现多任务下载的并发控制策略

Node.js 中实现多任务下载的并发控制策略

151 15
|
7月前
|
存储 安全 算法
|

深入探讨区块链技术的安全性

深入探讨区块链技术的安全性

428 103
|
7月前
|
机器学习/深度学习 人工智能 数据挖掘
|

AI4Science之分子材料成像调研洞察

分子成像在材料科学中意义重大,通过位形空间、频率空间和光谱学等成像方法,揭示材料微观结构与动态变化。结合AI技术,可深入理解材料特性,解决能源、环境等问题。然而,该领域数据复杂,尚无统一的数据集和Benchmark,模型也处于初期阶段。本文从成像方法、任务类型、机器学习模型、数据集与Benchmark、Python工具包及通用模型等多个维度进行了调研,探讨了多模态数据利用、大规模数据集构建等关键问题,并列举了相关参考论文。

154 5
|
7月前
|
SQL 人工智能 关系型数据库
|

Flink CDC YAML:面向数据集成的 API 设计

本文整理自阿里云智能集团 Flink PMC Member & Committer 徐榜江(雪尽)在 FFA 2024 分论坛的分享,涵盖四大主题:Flink CDC、YAML API、Transform + AI 和 Community。文章详细介绍了 Flink CDC 的发展历程及其优势,特别是 YAML API 的设计与实现,以及如何通过 Transform 和 AI 模型集成提升数据处理能力。最后,分享了社区动态和未来规划,欢迎更多开发者加入开源社区,共同推动 Flink CDC 的发展。

630 12
来自: 实时计算 Flink  版块
|
7月前
|
搜索推荐 人机交互 UED
|

产品经理-交互设计 - AxureMost

交互设计(Interaction Design,简称IXD)专注于创建人与产品、系统或服务之间的互动过程。其核心是通过界面操作帮助用户高效达成目标,提升用户体验。交互设计需考虑最佳展现形式、交互轮廓、文化背景及用户习惯。设计流程包括需求分析、概念设计、信息架构、原型验证和数据分析。未来,交互设计将更注重多平台和服务设计,要求设计师具备产品思维和用户心理理解能力。

153 18
|
7月前
|
存储 算法 数据挖掘
|

数据降维技术研究:Karhunen-Loève展开与快速傅里叶变换的理论基础及应用

本文探讨了Karhunen-Loève展开(KLE)和快速傅里叶变换(FFT)在数据降维与压缩中的应用。KLE通过最优正交基函数系统分解随机过程,适用于高维随机场的降维;FFT则将时域信号转换为频域表示,擅长处理周期性信号。两者结合可实现多尺度数据分析,在气象、工程等领域有广泛应用。

198 16
|
7月前
|
开发者
|

移动端UI名词 - AxureMost

该文档介绍了多种UI组件的分类和功能,包括按钮、图标、宫格等基础组件,头像、徽标、轮播图等数据展示类组件,复选框、日期选择器、输入框等数据输入类组件,以及对话框、加载、消息通知等反馈类组件。此外,还涵盖了下拉菜单、导航栏、分页器等导航类组件。每个组件都有具体的应用场景和作用,帮助开发者快速构建界面。

177 28
|
7月前
|
机器学习/深度学习 数据可视化 算法
|

PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络

神经常微分方程(Neural ODEs)是深度学习领域的创新模型,将神经网络的离散变换扩展为连续时间动力系统。本文基于Torchdyn库介绍Neural ODE的实现与训练方法,涵盖数据集构建、模型构建、基于PyTorch Lightning的训练及实验结果可视化等内容。Torchdyn支持多种数值求解算法和高级特性,适用于生成模型、时间序列分析等领域。

346 77
|
7月前
|
机器学习/深度学习 Python
|

哪些特征导致过拟合?使用ParShap 方法精准定位导致模型泛化能力下降的关键特征

本文探讨了如何识别导致模型过拟合的特征,提出了一种基于SHAP值和偏相关性的新方法——ParShap。通过分析德国健康登记数据集,作者展示了传统特征重要性无法准确反映特征在新数据上的表现,而ParShap能有效识别出过拟合特征。实验表明,移除这些特征可以显著减少过拟合现象,验证了该方法的有效性。

265 79
|
8月前
|
分布式计算 大数据 流计算
|

玩转数据:初学者的大数据处理工具指南

玩转数据:初学者的大数据处理工具指南

219 14
|
8月前
|
存储 算法 物联网
|

区块链在能源交易中的应用:打造去中心化能源市场

区块链在能源交易中的应用:打造去中心化能源市场

414 22
|
8月前
|
机器学习/深度学习
|

知识蒸馏技术原理详解:从软标签到模型压缩的实现机制

**知识蒸馏**是一种通过性能与模型规模的权衡来实现模型压缩的技术。其核心思想是将较大规模模型(称为教师模型)中的知识迁移到规模较小的模型(称为学生模型)中。本文将深入探讨知识迁移的具体实现机制。

792 12
|
8月前
|
供应链 数据挖掘 API
|

1688app 商品详情接口系列(1688API)

1688作为国内知名批发采购平台,提供了一系列商品详情接口(API),助力企业和开发者获取商品基础、价格、库存及供应商信息。通过Python示例代码展示如何调用这些接口,应用场景涵盖采购决策辅助、数据分析与市场调研、电商平台整合及供应链管理系统的优化,为企业和采购商提供有力的数据支持,提升业务效率和竞争力。

277 15
|
8月前
|
数据采集 监控 定位技术
|

不同用户使用代理 IP,有效率千差万别的原因剖析

在信息化时代,网络成为生活不可或缺的一部分,代理IP的应用日益广泛。不同用户使用代理IP的有效率差异主要源于三个方面:代理服务器的性能与稳定性、IP资源质量;目标网站的防护策略和负载响应速度;以及用户的并发请求控制和网络环境。为提高效率,建议选择高质量代理、使用就近服务器、定期轮换IP并监控代理池。

200 38
来自: 大数据计算 MaxCompute  版块
|
8月前
|
SQL 人工智能 自然语言处理
|

DataV Note:让Jupyter Notebook绽放新活力

分享阿里云旗下的一款基于Jupyter底座的工具(DataV Note,智能分析文档)给大家。这是一款以Notebook文档形式为基础、由强大AI模型驱动的智能分析、允许多人协作的数据可视分析平台。

304 34
|
8月前
|
存储 安全 数据管理
|

区块链在医疗数据管理中的应用:安全与隐私的新纪元

区块链在医疗数据管理中的应用:安全与隐私的新纪元

622 16
|
8月前
|
机器学习/深度学习 PyTorch 测试技术
|

LossVal:一种集成于损失函数的高效数据价值评估方法

LossVal是一种创新的机器学习方法,通过在损失函数中引入实例级权重,直接在训练过程中评估数据点的重要性,避免了传统方法中反复重训练模型的高计算成本。该方法适用于回归和分类任务,利用最优传输距离优化权重,确保模型更多地从高质量数据中学习。实验表明,LossVal在噪声样本检测和高价值数据点移除等任务上表现优异,具有更低的时间复杂度和更稳定的性能。论文及代码已开源,为数据价值评估提供了高效的新途径。

174 13
|
8月前
|
SQL 监控 关系型数据库
|

用友畅捷通在Flink上构建实时数仓、挑战与最佳实践

本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享,介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长,公司面临数据库性能瓶颈及实时数据处理需求,通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题,并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。

635 25
来自: 实时计算 Flink  版块
|
8月前
|
JSON 监控 API
|

京东商品列表 API 接口系列(京东 API)

本简介介绍了使用 Python 调用京东商品搜索和详情 API 的方法。首先需安装 `requests` 库,`hashlib` 和 `time` 为内置库无需安装。API 支持按关键词、类别等条件搜索商品,返回 JSON 格式的商品列表,包括 ID、名称、价格等信息。通过商品 ID 可获取详细信息如描述、规格等。示例代码展示了如何生成签名并发送请求。应用场景包括市场调研、竞品监测和价格预警等,为企业决策提供数据支持。

190 0
|
8月前
|
机器学习/深度学习 人工智能 分布式计算
|

我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅

我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅

267 35
|
8月前
|
算法 决策智能
|

基于SA模拟退火优化算法的TSP问题求解matlab仿真,并对比ACO蚁群优化算法

本项目基于MATLAB2022A,使用模拟退火(SA)和蚁群优化(ACO)算法求解旅行商问题(TSP),对比两者的仿真时间、收敛曲线及最短路径长度。SA源于金属退火过程,允许暂时接受较差解以跳出局部最优;ACO模仿蚂蚁信息素机制,通过正反馈发现最优路径。结果显示SA全局探索能力强,ACO在路径优化类问题中表现优异。

242 4
|
8月前
|
流计算 关系型数据库 Oracle
|

flink cdc实时同步oracle数据库到kafka报错

229 2
来自:实时计算 Flink 版块
|
8月前
|
数据采集 JavaScript 前端开发
|

京东商品详情 API 接口指南(Python 篇)

本简介介绍如何使用Python抓取京东商品详情数据。首先,需搭建开发环境并安装必要的库(如requests、BeautifulSoup和lxml),了解京东反爬虫机制,确定商品ID获取方式。通过发送HTTP请求并解析HTML,可提取价格、优惠券、视频链接等信息。此方法适用于电商数据分析、竞品分析、购物助手及内容创作等场景,帮助用户做出更明智的购买决策,优化营销策略。

689 0
|
8月前
|
数据可视化 数据挖掘 atlas
|

地图不只是导航:DataV Atlas 揭示地理数据的深层价值

随着互联网场景的快速衍生,打车、外卖、智能驾驶等领域的空间数据爆发式增长,海量数据分析成为日常需求。然而,传统地图服务面临性能、安全和成本挑战。为此,我们推出「DataV Atlas 地理数据服务」,提供高效、安全、易用的地理数据解决方案。通过简单的 SQL 查询即可生成专业地理服务,支持多源数据整合、实时更新与分析,确保数据安全,并深度集成 DataV Board 数据看板,实现一键上屏和交互式分析。适用于大屏展示、城市规划等多种场景,助力企业轻松挖掘空间数据价值。

446 6
来自: 数据可视化DataV  版块
|
8月前
|
缓存 API 开发者
|

京东按图搜索商品(拍立淘)API接口系列(京东API)

京东按图搜索商品(拍立淘)API 接口(.jd.item_search_img)通过上传图片搜索京东平台上的相似商品,基于图像识别技术提供便捷的商品搜索方式。适用于电商平台展示、比价等场景。响应参数包括公共参数、商品信息及搜索结果相关参数,方便分页展示和了解整体搜索规模。Python 请求示例展示了如何使用该接口进行图片搜索。

343 15
|
8月前
|
人工智能 Kubernetes Cloud Native
|

跨越鸿沟:PAI-DSW 支持动态数据挂载新体验

本文讲述了如何在 PAI-DSW 中集成和利用 Fluid 框架,以及通过动态挂载技术实现 OSS 等存储介质上数据集的快速接入和管理。通过案例演示,进一步展示了动态挂载功能的实际应用效果和优势。

447 9
来自: 人工智能平台PAI  版块
|
8月前
|
数据采集 XML API
|

深入解析BeautifulSoup:从sohu.com视频页面提取关键信息的实战技巧

深入解析BeautifulSoup:从sohu.com视频页面提取关键信息的实战技巧

223 7
|
8月前
|
分布式计算 数据处理 MaxCompute
|

云产品评测|分布式Python计算服务MaxFrame

云产品评测|分布式Python计算服务MaxFrame

160 2
|
8月前
|
搜索推荐 API 开发者
|

京东商品视频数据接口(JD.item_video)丨京东 API 接口指南

京东商品视频数据接口(JD.item_video)是京东开放平台提供的API,开发者可通过指定商品ID(num_iid)获取商品视频资源,用于丰富电商平台展示、提升用户体验。该接口适用于电商平台建设、商品推荐系统、市场研究与竞品分析及价格监测平台等场景,帮助用户更直观了解商品,提高购买转化率。示例代码展示了如何使用Python调用此接口并解析返回的JSON数据。

402 16
|
8月前
|
存储 监控 关系型数据库
|

深入解析 Hologres Table Group 与 Shard Count

Hologres 是一款强大的实时数仓,支持海量数据的高效存储与快速查询。Table Group 和 Shard Count 是其核心概念,前者管理数据分片,后者指定分片数量。合理配置二者可显著提升性能。Table Group 实现资源共享与协同管理,Shard Count 根据数据量和读写模式优化分片,确保高效处理。结合业务需求进行动态调整,可充分发挥 Hologres 的潜力,助力企业数字化转型。

283 60
来自: 实时数仓 Hologres  版块
|
8月前
|
人工智能 弹性计算 数据可视化
|

通过ROS低代码CADT无代码和可视化能力管理云上基础设施

本次主题介绍通过ROS低代码CADT无代码和可视化能力管理云上基础设施。首先探讨了云上部署的挑战,如手动部署耗时、缺乏一致性等。接着介绍了阿里云资源编排(ROS)的核心能力,包括资源栈模板和Terraform托管,简化多地域、多账号的自动化部署。重点展示了ROS的可视化编译器,用户无需编写IaC模板,可通过拖拽资源、配置属性实现一键部署。最后讨论了如何利用生成式人工智能开发IaC模板,提升架构设计效率。通过这些工具,可以显著提高云上架构的构建和管理效率,降低学习成本,并确保一致性和标准化。

153 29
|
8月前
|
算法 5G
|

基于MSWA相继加权平均的交通流量分配算法matlab仿真

本项目基于MSWA(Modified Successive Weighted Averaging)相继加权平均算法,对包含6个节点、11个路段和9个OD对的交通网络进行流量分配仿真。通过MATLAB2022A实现,核心代码展示了迭代过程及路径收敛曲线。MSWA算法在经典的SUE模型基础上改进,引入动态权重策略,提高分配结果的稳定性和收敛效率。该项目旨在预测和分析城市路网中的交通流量分布,达到用户均衡状态,确保没有出行者能通过改变路径减少个人旅行成本。仿真结果显示了27条无折返有效路径的流量分配情况。

138 1
|
8月前
|
JSON API 开发者
|

京东JD.item_get接口详解与使用指南

京东JD.item_get接口是电商开发者获取商品详细信息的重要工具,支持获取商品的基本属性、价格、库存、评价等数据。使用该接口需先在京东开放平台注册并获取API权限和密钥,构建HTTP请求并发送,解析返回的JSON响应。本文详细介绍接口功能、使用流程、参数及Python示例代码,帮助开发者快速上手。

270 5
|
9月前
|
存储 物联网 大数据
|

探索阿里云 Flink 物化表:原理、优势与应用场景全解析

阿里云Flink的物化表是流批一体化平台中的关键特性,支持低延迟实时更新、灵活查询性能、无缝流批处理和高容错性。它广泛应用于电商、物联网和金融等领域,助力企业高效处理实时数据,提升业务决策能力。实践案例表明,物化表显著提高了交易欺诈损失率的控制和信贷审批效率,推动企业在数字化转型中取得竞争优势。

358 16
来自: 实时计算 Flink  版块
|
9月前
|
SQL 存储 缓存
|

EMR Serverless StarRocks 全面升级:重新定义实时湖仓分析

本文介绍了EMR Serverless StarRocks的发展路径及其架构演进。首先回顾了Serverless Spark在EMR中的发展,并指出2021年9月StarRocks开源后,OLAP引擎迅速向其靠拢。随后,EMR引入StarRocks并推出全托管产品,至2023年8月商业化,已有500家客户使用,覆盖20多个行业。 文章重点阐述了EMR Serverless StarRocks 1.0的存算一体架构,包括健康诊断、SQL调优和物化视图等核心功能。接着分析了存算一体架构的挑战,如湖访问不优雅、资源隔离不足及冷热数据分层困难等。

206 17
|
9月前
|
人工智能 运维 自然语言处理
|

AI for Network Ops

网络运维工作涵盖从规划设计到日常维护的多个方面,随着网络规模扩大,人工运维难以应对。自动化运维系统应运而生,通过批量配置变更和监控工具提升效率。大模型(LLM)具备推理、学习和泛化能力,可作为网工的智能助手,优化故障定位等任务。团队通过多轮信息摘要和微调模型,实现了高效准确的故障定位,单个故障定位耗时小于1.5分钟,准确率超过80%。未来,大模型还将应用于智能答疑机器人和意图驱动网络等领域,全面提升网络运维效率。

166 9
|
9月前
|
数据采集 数据挖掘 数据安全/隐私保护
|

4步教你用rvest抓取网页并保存为CSV文件

本文介绍如何使用R语言的`rvest`包抓取网页数据并保存为CSV文件,以界面新闻网站为例。通过设置代理IP(如亿牛云)、User-Agent和Cookie,增强访问稳定性和安全性。代码涵盖环境配置、数据抓取、解析及保存步骤,确保高效、稳定地获取网页数据。适用于数据分析和统计分析场景。

200 8
|
9月前
|
人工智能 数据可视化 数据挖掘
|

【产品】G 端产品经理

G端产品经理在政府数字化转型中扮演着关键角色,连接政府需求与技术实现。他们负责挖掘需求、规划方案、推动跨部门协作,并监督项目进展。具体职责包括需求调研、产品规划与设计、原型制作、文档撰写及交互与视觉设计等。面对复杂多变的需求、快速更新的技术和严格的项目验收,G端产品经理需不断提升专业技能,以适应挑战并推动政府治理体系现代化。

211 10
|
9月前
|
供应链 监控 API
|

1688.item_search_shop API:开启电商数据新纪元

1688.item_search_shop API是阿里巴巴1688平台提供的核心接口之一,支持根据关键词搜索指定店铺的商品,并获取商品详情、图片、价格等信息。该API允许设定搜索结果排序方式,如按销量或价格排序,满足不同需求。开发者可将其集成到电商应用中,提升用户体验;市场分析人员可利用其进行趋势和竞争对手分析;供应链管理人员则能监控库存,优化策略。示例代码展示了如何使用Python调用该API,帮助开发者快速上手。这一API的推出标志着B2B电商领域商品搜索技术的重要进步,推动行业向更高效、智能的方向发展。

214 1
|
9月前
|
JSON 搜索推荐 API
|

拍立淘API是基于图像识别技术的服务接口,支持淘宝、1688和义乌购平台。

拍立淘API是基于图像识别技术的服务接口,支持淘宝、1688和义乌购平台。用户上传图片后,系统能快速匹配相似商品,提供精准搜索结果,并根据用户历史推荐个性化商品,简化购物流程。开发者需注册账号并获取API Key,授权权限后调用接口,返回商品详细信息如ID、标题、价格等。使用时需遵守频率限制,确保图片质量,保障数据安全。

371 5
|
9月前
|
安全 API 数据安全/隐私保护
|

速卖通AliExpress商品详情API接口深度解析与实战应用

速卖通(AliExpress)作为全球化电商的重要平台,提供了丰富的商品资源和便捷的购物体验。为了提升用户体验和优化商品管理,速卖通开放了API接口,其中商品详情API尤为关键。本文介绍如何获取API密钥、调用商品详情API接口,并处理API响应数据,帮助开发者和商家高效利用这些工具。通过合理规划API调用策略和确保合法合规使用,开发者可以更好地获取商品信息,优化管理和营销策略。

415 2
|
9月前
|
安全 架构师 大数据
|

DataWorks 安全中心

DataWorks的安全中心,作为云上大数据体系的安全门户,致力于向您提供面向数据安全生命周期全过程的安全能力,同时在符合安全规范要求的前提下,提供各类安全诊断的最佳实践。帮助您快速构建平台的数据内容、个人隐私等相关的安全能力,满足企业面向高风险场景的各类安全要求。

173 0
|
9月前
|
SQL 架构师 数据管理
|

DataWorks 数据集成

DataWorks 数据集成是一个稳定高效、弹性伸缩的数据同步平台,致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。

193 0
|
9月前
|
SQL 数据可视化 架构师
|

DataWorks Notebook

DataWorks的Notebook提供了一个交互式、灵活且可复用的数据处理和分析环境,增强了直观性、模块化和交互性,帮助您更轻松地进行数据处理、探索、可视化和模型构建。

170 0
|
9月前
|
人工智能 Serverless API
|

aliyun解决方案评测|主动式智能导购AI助手构建

《主动式智能导购AI助手构建》方案结合百炼大模型与函数计算,提供高效智能导购服务。然而,实际体验中发现官方教程的说明顺序有待优化,特别是关于百炼大模型服务开通及API-key的使用指引不够清晰,导致初次使用者需查阅额外资料。此外,架构设计和实践原理在部署过程中逐步展现,有助于理解,但针对生产环境的具体指导还需进一步完善以满足实际需求。为优化用户体验,建议调整文档中的步骤顺序,确保新手能更顺畅地完成部署和测试。

315 27
|
9月前
|
存储 监控 搜索推荐
|

tibble 和传统数据框:哪个更适合网页爬取的数据存储

本文探讨了R语言中传统数据框与tibble在网页爬取数据存储中的表现,并通过采集百度搜索前十关键词链接的实例进行对比。tibble在性能、灵活性和易用性方面优于传统数据框,尤其适合大规模数据处理。代码示例展示了如何结合代理IP和多线程技术高效爬取百度搜索结果并存储为tibble格式。总结指出,tibble更适合大型项目,而传统数据框适用于简单任务。

107 0
|
9月前
|
机器学习/深度学习 人工智能 搜索推荐
|

AI在电子商务中的个性化推荐系统:驱动用户体验升级

AI在电子商务中的个性化推荐系统:驱动用户体验升级

1132 17
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
|

LEC: 基于Transformer中间层隐藏状态的高效特征提取与内容安全分类方法

通过利用Transformer中间层的隐藏状态,研究提出了层增强分类(LEC)技术,该技术能够以极少的训练样本和参数实现高效的内容安全和提示注入攻击分类,显著提升了模型的性能,并验证了其跨架构和领域的泛化能力。

313 11