|
SQL 存储 数据处理
|

别让你的CPU打盹儿:Apache Doris并行执行原理大揭秘!

别让你的CPU打盹儿:Apache Doris并行执行原理大揭秘!

570 1
|
人工智能 搜索推荐 数据库
|

主动式智能导购AI助手构建方案评测

阿里云推出的主动式智能导购AI助手方案,基于百炼大模型和Multi-Agent架构,通过多轮对话收集用户需求,实现精准商品推荐。其优势包括主动交互、灵活可扩展的架构、低代码开发及快速部署。商家可在10分钟内完成部署,并享受低成本试用。尽管技术细节尚需完善,该方案为电商提供了高效的客户服务工具,未来有望在个性化推荐和多模态交互方面取得突破。

515 3
来自: 智能搜索推荐  版块
|
SQL DataWorks 数据可视化
|

阿里云DataWorks评测:大数据开发治理平台的卓越表现

阿里云DataWorks是一款集数据集成、开发、分析与管理于一体的大数据平台,支持多种数据源无缝整合,提供可视化ETL工具和灵活的任务调度机制。其内置的安全体系和丰富的插件生态,确保了数据处理的高效性和安全性。通过实际测试,DataWorks展现了强大的计算能力和稳定性,适用于中小企业快速搭建稳定高效的BI系统。未来,DataWorks将继续优化功能,降低使用门槛,并推出更多灵活的定价方案,助力企业实现数据价值最大化。

637 4
|
弹性计算 运维 Serverless
|

超值选择:阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性

本文介绍了阿里云Elasticsearch Serverless服务的高性价比与高度弹性灵活性。

579 8
|
存储 JSON API
|

淘宝直播间弹幕API接口(taobao.item_video_barrage)

淘宝直播间弹幕 API(`taobao.item_video_barrage`)用于获取直播间的弹幕数据。通过指定直播间 ID 和模式参数(如 `start` 建立连接、`refresh` 获取弹幕),可以获取弹幕消息列表、直播间信息等。响应数据为 JSON 格式,包含状态码、直播间 ID、连接状态和弹幕详情。使用时需注意权限限制、接口稳定性和数据处理。

1141 7
|
存储 人工智能 大数据
|

The Past, Present and Future of Apache Flink

本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。

879 33
来自: 实时计算 Flink  版块
|
搜索推荐 数据挖掘 API
|

淘宝天猫商品评论数据接口丨淘宝 API 实时接口指南

淘宝天猫商品评论数据接口(Taobao.item_review)提供全面的评论信息,包括文字、图片、视频评论、评分、追评等,支持实时更新和高效筛选。用户可基于此接口进行数据分析,支持情感分析、用户画像构建等,同时确保数据使用的合规性和安全性。使用步骤包括注册开发者账号、创建应用获取 API 密钥、发送 API 请求并解析返回数据。适用于电商商家、市场分析人员和消费者。

1263 3
|
安全
|

静态IP代理的最佳实践如何选择合适的方法

在信息化时代,网络成为生活的重要部分,为保护个人信息安全,使用静态IP代理变得越来越普遍。本文介绍了五种实现静态IP代理的方法:租用服务、自建服务器、云服务、ISP提供及转发代理,帮助用户根据需求选择最合适的方式。

572 2
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 算法 安全
|

从方向导数到梯度:深度学习中的关键数学概念详解

方向导数衡量函数在特定方向上的变化率,其值可通过梯度与方向向量的点积或构造辅助函数求得。梯度则是由偏导数组成的向量,指向函数值增长最快的方向,其模长等于最速上升方向上的方向导数。这两者的关系在多维函数分析中至关重要,广泛应用于优化算法等领域。

1200 36
|
机器学习/深度学习 人工智能 算法
|

深入解析图神经网络:Graph Transformer的算法基础与工程实践

Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。

1845 30
|
编解码 前端开发 搜索推荐
|

如何建立自己的体育直播平台-源码搭建全流程

随着在线观看体育赛事用户的爆发式增长,搭建专业体育直播应用成为趋势。利用如熊猫比分的全链路解决方案,创业者可快速启动平台。主要步骤包括前期技术准备(赛事API接口、服务器配置、域名选择、短信服务、云直播服务)、定制化(LOGO标识、功能测试与优化)及正式上线与运营(推广、持续更新、主播入驻)。此方案使创业者能高效进入体育市场,抓住机遇。

661 6
|
算法 数据可视化 PyTorch
|

IoU已经out了,试试这几个变体:GIoU、DIoU和CIoU介绍与对比分析

本文探讨了目标检测中常用的交并比(IoU)及其变体,包括广义交并比(GIoU)、距离交并比(DIoU)和完全交并比(CIoU)。这些指标不仅提高了模型在处理不重叠、距离较远或形状差异大的边界框时的表现,还为模型的学习过程提供了更深入的洞察。文章详细解释了各指标的计算方法及应用场景,并提供了相应的代码示例,帮助读者更好地理解和应用这些先进的评估指标。

1173 7
|
JSON 缓存 API
|

1688 商品详情数据接口(1688.item_get)

1688商品详情数据接口(1688.item_get)由阿里巴巴提供,旨在帮助开发者获取1688网站上的商品详细信息。开发者需先注册并创建应用获取API凭证,随后申请调用权限。接口通过必填与可选参数组合使用,如app_key、timestamp、fields等,以JSON格式返回商品详情,包括ID、名称、价格、库存等信息。

711 0
|
SQL 流计算 关系型数据库
|

基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析

阿里云OpenLake解决方案建立在开放可控的OpenLake湖仓之上,提供大数据搜索与AI一体化服务。通过元数据管理平台DLF管理结构化、半结构化和非结构化数据,提供湖仓数据表和文件的安全访问及IO加速,并支持大数据、搜索和AI多引擎对接。本文为您介绍以Flink作为Openlake方案的核心计算引擎,通过流式数据湖仓Paimon(使用DLF 2.0存储)和EMR StarRocks搭建流式湖仓。

1174 5
|
资源调度 分布式计算 调度
|

【赵渝强老师】Yarn的资源调度策略

Yarn作为资源和任务调度平台,支持多个应用程序同时运行,如MapReduce、Spark和Flink等。Yarn的资源调度方式主要包括FIFO Scheduler(先来先服务)、Capacity Scheduler(容量调度)和Fair Scheduler(公平调度)。FIFO Scheduler按任务提交顺序调度;Capacity Scheduler通过队列管理资源,支持多租户共享;Fair Scheduler则根据任务权重动态分配资源,确保公平性。

881 8
|
SQL 数据采集 分布式计算
|

【赵渝强老师】基于大数据组件的平台架构

本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。

1268 3

分享一些在 1688 上找一件代发商品的技巧

在1688上找一件代发商品需明确自身需求与定位,筛选可靠供应商,研究商品信息,利用精准搜索和平台推荐,关注活动,并与供应商充分沟通,确保合作顺畅。

1757 0
|
网络协议 程序员 数据库
|

什么是公网IP和内网IP

【10月更文挑战第27天】公网IP与内网IP是网络通信中的两个重要概念。公网IP是互联网上的唯一标识,而内网IP仅在局域网内部有效,用于局域网内的设备通信。由于IPv4地址资源有限,通常一个公司或家庭只有一个公网IP,内部设备通过NAT(网络地址转换)技术共享该公网IP访问互联网。这样不仅节省了IP资源,还提高了网络安全性和稳定性。

1340 0
|
搜索推荐 安全
|

如果您干不动跨境外贸独立站,可以来看看反向海淘代购模式

反向海淘代购模式是指海外消费者通过国内电商平台购买中国商品,再由代购方负责采购、质检、包装和国际运输。该模式商品丰富、价格竞争力强,能满足个性化需求,但也面临物流成本高、海关政策复杂等挑战。

879 2
|
机器学习/深度学习 弹性计算 人工智能
|

大模型进阶微调篇(三):微调GPT2大模型实战

本文详细介绍了如何在普通个人电脑上微调GPT2大模型,包括环境配置、代码实现和技术要点。通过合理设置训练参数和优化代码,即使在无独显的设备上也能完成微调,耗时约14小时。文章还涵盖了GPT-2的简介、数据集处理、自定义进度条回调等内容,适合初学者参考。

2791 6
来自: 人工智能平台PAI  版块

淘宝API接口( item_detail - 淘宝商品详情查询)

淘宝商品详情查询 API(item_detail)用于获取淘宝商品的详细信息。请求参数包括商品唯一 ID(num_iid)和是否获取促销价(is_promotion)。响应参数包含商品标题、价格、库存、图片链接、品牌等详细信息。

782 2
|
编译器 API 定位技术
|

API和SDK的区别

API(应用程序编程接口)和SDK(软件开发工具包)的主要区别在于范围、内容、抽象程度及使用方式。API定义了软件组件间的交互规则,范围较窄,更抽象;而SDK提供了一整套开发工具,包括API、编译器、调试器等,范围广泛,具体且实用,有助于提高开发效率。

2527 0
|
JavaScript 前端开发 测试技术
|

精通Selenium:从基础到高级的网页自动化测试策略

【10月更文挑战第6天】随着Web应用变得越来越复杂,手动进行功能和兼容性测试变得既耗时又容易出错。自动化测试因此成为了现代软件开发不可或缺的一部分。Selenium是一个强大的工具集,它支持多种编程语言(包括Python),允许开发者编写脚本来模拟用户与Web页面的交互。本文将带领读者从Selenium的基础知识出发,逐步深入到高级的应用场景,通过丰富的代码示例来展示如何高效地进行网页自动化测试。

2189 5
|
机器学习/深度学习 自然语言处理 JavaScript
|

信息论、机器学习的核心概念:熵、KL散度、JS散度和Renyi散度的深度解析及应用

在信息论、机器学习和统计学领域中,KL散度(Kullback-Leibler散度)是量化概率分布差异的关键概念。本文深入探讨了KL散度及其相关概念,包括Jensen-Shannon散度和Renyi散度。KL散度用于衡量两个概率分布之间的差异,而Jensen-Shannon散度则提供了一种对称的度量方式。Renyi散度通过可调参数α,提供了更灵活的散度度量。这些概念不仅在理论研究中至关重要,在实际应用中也广泛用于数据压缩、变分自编码器、强化学习等领域。通过分析电子商务中的数据漂移实例,展示了这些散度指标在捕捉数据分布变化方面的独特优势,为企业提供了数据驱动的决策支持。

1802 2
|
机器学习/深度学习 自然语言处理 数据建模
|

三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力

本文深入探讨了Transformer模型中的三种关键注意力机制:自注意力、交叉注意力和因果自注意力,这些机制是GPT-4、Llama等大型语言模型的核心。文章不仅讲解了理论概念,还通过Python和PyTorch从零开始实现这些机制,帮助读者深入理解其内部工作原理。自注意力机制通过整合上下文信息增强了输入嵌入,多头注意力则通过多个并行的注意力头捕捉不同类型的依赖关系。交叉注意力则允许模型在两个不同输入序列间传递信息,适用于机器翻译和图像描述等任务。因果自注意力确保模型在生成文本时仅考虑先前的上下文,适用于解码器风格的模型。通过本文的详细解析和代码实现,读者可以全面掌握这些机制的应用潜力。

1141 3
|
BI Linux API
|

掌握 SkiaSharp 轻松实现 .NET 跨平台绘图

.NET 框架的发展,我们越来越多地寻求能够在多个平台上无缝运行的应用解决方案。

2297 2
|
机器学习/深度学习 PyTorch 算法框架/工具
|

图像数据增强库综述:10个强大图像增强工具对比与分析

在深度学习和计算机视觉领域,数据增强是提升模型性能和泛化能力的关键技术。本文全面介绍了10个广泛使用的图像数据增强库,分析其特点和适用场景,帮助研究人员和开发者选择最适合需求的工具。这些库包括高性能的GPU加速解决方案(如Nvidia DALI)、灵活多功能的Albumentations和Imgaug,以及专注于特定框架的Kornia和Torchvision Transforms。通过详细比较各库的功能、特点和适用场景,本文为不同需求的用户提供丰富的选择,助力深度学习项目取得更好的效果。选择合适的数据增强库需考虑性能需求、任务类型、框架兼容性及易用性等因素。

2094 10
|
算法 数据可视化
|

基于SSA奇异谱分析算法的时间序列趋势线提取matlab仿真

奇异谱分析(SSA)是一种基于奇异值分解(SVD)和轨迹矩阵的非线性、非参数时间序列分析方法,适用于提取趋势、周期性和噪声成分。本项目使用MATLAB 2022a版本实现从强干扰序列中提取趋势线,并通过可视化展示了原时间序列与提取的趋势分量。代码实现了滑动窗口下的奇异值分解和分组重构,适用于非线性和非平稳时间序列分析。此方法在气候变化、金融市场和生物医学信号处理等领域有广泛应用。

760 19
|
存储 分布式计算 Hadoop
|

ChunkServer 原理与架构详解

【8月更文第30天】在分布式文件系统中,ChunkServer 是一个重要的组件,负责存储文件系统中的数据块(chunks)。ChunkServer 的设计和实现对于确保数据的高可用性、一致性和持久性至关重要。本文将深入探讨 ChunkServer 的核心原理和内部架构设计,并通过代码示例来说明其实现细节。

727 1
|
机器学习/深度学习 存储 人工智能
|

ONNX 与安全:保护模型免受攻击

【8月更文第27天】随着人工智能和机器学习模型的应用越来越广泛,模型的安全性也成为了人们关注的重点。Open Neural Network Exchange (ONNX) 作为一种开放的标准格式,不仅可以促进不同框架之间的模型共享,还面临着如何保护模型不被恶意攻击的风险。本文将探讨 ONNX 在模型安全方面的考虑,以及如何利用 ONNX 和其他技术来保护模型免受攻击。

1012 4
|
存储 机器学习/深度学习 PyTorch
|

深入理解GPU内存分配:机器学习工程师的实用指南与实验

给定一个模型架构、数据类型、输入形状和优化器,你能否计算出前向传播和反向传播所需的GPU内存量?

380 0
|
人工智能 开发者
|

黑神话:悟空中的AI行为树设计

【8月更文第26天】在《黑神话:悟空》这款游戏中,NPC(非玩家角色)的智能行为对于创造一个富有沉浸感的游戏世界至关重要。为了实现复杂的敌人行为模式,游戏开发团队采用了行为树作为NPC决策的核心架构。本文将详细介绍《黑神话:悟空》中NPC AI的设计原理,特别关注行为树的设计与实现。

904 0
|
分布式计算 Serverless 数据处理
|

EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务

Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有效地管理数据处理任务。

541 0

Unity精华☀️一、从旋转到万向锁之:Unity的旋转

Unity精华☀️一、从旋转到万向锁之:Unity的旋转

1198 3
|
数据采集 JavaScript 数据挖掘
|

如何使用 PHP Simple HTML DOM Parser 轻松获取网页中的特定数据

本文介绍了使用PHP Simple HTML DOM Parser进行网页数据抓取的方法,尤其适用于从懂车帝二手车网站提取汽车品牌、价格和里程等关键信息。首先,安装并配置所需库,使用代理IP和设置cookie与useragent来模拟用户行为,避免被封。然后,通过编写PHP脚本,利用cURL获取网页内容,解析HTML并提取所需数据,最终将数据保存至CSV文件。文章强调了正确配置代理和用户代理的重要性,并提供了完整的PHP代码示例,以帮助读者理解和应用网页抓取技术。

346 0
|
机器学习/深度学习 人工智能 自然语言处理
|

AI基础科普:揭开人工智能的神秘面纱

人工智能(Artificial Intelligence, AI)已经成为现代科技的热门话题,影响着我们的生活方方面面。从语音助手到自动驾驶汽车,AI正在以惊人的速度改变着世界。然而,对于许多人来说,AI仍然是一个模糊的概念。本文将通过通俗易懂的语言和丰富的图文,全面介绍AI的基础知识,帮助读者更好地理解这个激动人心的领域。

1502 0
|
存储 SQL OLAP
|

分析性能提升40%,阿里云Hologres流量场景最佳实践

分析性能提升40%,阿里云Hologres流量场景最佳实践

25467 22
来自: 实时数仓 Hologres  版块
|
存储 人工智能 自然语言处理
|

多模态RAG:三步构建图文并茂的智能问答、电商导购助手

本文介绍了如何使用OpenSearch LLM智能问答版,三步搭建一站式多模态RAG系统。

2194 9
来自: 智能搜索推荐  版块
|
Web App开发 数据采集 开发者
|

如何解决ChromeDriver 126找不到chromedriver.exe问题

当使用Selenium与ChromeDriver 126时,遇到`chromedriver.exe`找不到的错误,可能是因为版本不匹配、文件路径错误或系统设置不当。解决方法包括:匹配Chrome浏览器版本下载ChromeDriver,确保文件在正确路径且有执行权限,以及调整系统设置允许执行。示例代码展示了如何设置代理IP、user-agent和cookie来运行Selenium爬虫。通过这些步骤,可以确保爬虫程序顺利运行。

1252 2
|
分布式计算 大数据 BI
|

MaxCompute操作报错合集之返回错误代码ODPS-0110999,是什么原因

MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

392 1
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 算法 开发工具
|

大语言模型的直接偏好优化(DPO)对齐在PAI-QuickStart实践

阿里云的人工智能平台PAI,作为一站式的机器学习和深度学习平台,对DPO算法提供了全面的技术支持。无论是开发者还是企业客户,都可以通过PAI-QuickStart轻松实现大语言模型的DPO对齐微调。本文以阿里云最近推出的开源大型语言模型Qwen2(通义千问2)系列为例,介绍如何在PAI-QuickStart实现Qwen2的DPO算法对齐微调。

35782 2
来自: 人工智能平台PAI  版块
|
数据采集 机器学习/深度学习 数据挖掘
|

Python基于波动率模型(ARCH和GARCH)进行股票数据分析项目实战

Python基于波动率模型(ARCH和GARCH)进行股票数据分析项目实战

1202 4
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 数据采集 运维
|

Python基于孤立森林算法(IsolationForest)实现数据异常值检测项目实战

Python基于孤立森林算法(IsolationForest)实现数据异常值检测项目实战

1712 0
来自: 人工智能平台PAI  版块
|
数据采集 机器学习/深度学习 数据挖掘
|

基于Python实现时间序列分析建模(ARIMA模型)项目实战

基于Python实现时间序列分析建模(ARIMA模型)项目实战

1114 0
来自: 人工智能平台PAI  版块
|
数据采集 机器学习/深度学习 大数据
|

基于Python实现xgboost回归模型(XGBRegressor)项目实战

基于Python实现xgboost回归模型(XGBRegressor)项目实战

1769 1
来自: 人工智能平台PAI  版块
|
数据采集 自然语言处理 搜索推荐
|

Python实现基于LDA主题模型进行电商产品评论数据情感分析

Python实现基于LDA主题模型进行电商产品评论数据情感分析

1988 0
来自: 人工智能平台PAI  版块
|
数据采集 JSON API
|

淘宝商品评论数据采集教程丨淘宝商品评论数据接口Taobao.item_review

`淘宝开放平台的Taobao.item_review API让开发者能获取商品评论。步骤包括注册开发者账号,创建应用获取API密钥,理解和使用请求参数,签名验证并发送HTTP请求。返回的JSON数据包含评论详情,需解析并清洗后分析。注意频率限制和用户隐私保护。此接口助力商家分析用户反馈,优化经营策略。`

815 4
|
安全 网络安全 数据安全/隐私保护
|

非对称加密的日常实践应用:以RSA加密为例

**RSA加密简介与Python实现** RSA,一种非对称加密技术,基于大数因子分解,用于数据加密和完整性保护。本文介绍了RSA基本原理,包括密钥生成(选取大质数p和q,计算n和φ(n),选择公钥指数e和私钥指数d),并展示了使用Python `cryptography` 库生成密钥对、加密和解密消息的代码示例。通过这些步骤,读者可理解RSA在网络安全中的应用,如HTTPS和数字签名。

1237 3
|
存储 安全 算法
|

三种常见的加密算法:MD5、对称加密与非对称加密的比较与应用

网络安全聚焦加密算法:MD5用于数据完整性校验,易受碰撞攻击;对称加密如AES快速高效,密钥管理关键;非对称加密如RSA提供身份验证,速度慢但安全。三种算法各有所长,适用场景各异,安全与效率需权衡。【6月更文挑战第17天】

3340 2
|
搜索推荐 程序员 开发工具
|

Emacs Verilog mode 简单使用指南

【6月更文挑战第17天】Emacs Verilog mode 提升Verilog编程体验,提供语法高亮、代码补全、自动缩进等功能。安装可通过`M-x package-install RET verilog-mode`。常见问题包括补全不生效、高亮不准确,可通过调整配置解决。支持模板插入、代码折叠、错误高亮、代码跳转。通过个性化配置、整合Git、集成其他工具和社区资源,实现高效Verilog开发。Emacs学习曲线虽陡,但效能提升显著。

639 4

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

26
今日
68997
内容
128
活动
439674
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务