|
安全 API 数据安全/隐私保护
|

淘宝店铺所有商品数据接口(Taobao.item_search_shop)

淘宝开放平台提供的 `Taobao.item_search_shop` 接口用于获取指定淘宝店铺的所有商品数据。请求参数包括 `seller_id`(必需)、`page`(可选,默认为1)和 `sort`(可选,排序方式如新品、价格、销量)。响应参数包括商品的唯一标识符、主图URL、标题、价格、销量等。使用步骤包括注册账号、创建应用、获取权限、构建请求、分页获取商品列表和获取商品详细信息。注意遵守调用频率限制和相关法律法规。

1062 5
|
机器学习/深度学习 数据采集 运维
|

数据分布检验利器:通过Q-Q图进行可视化分布诊断、异常检测与预处理优化

Q-Q图(Quantile-Quantile Plot)是一种强大的可视化工具,用于验证数据是否符合特定分布(如正态分布)。通过比较数据和理论分布的分位数,Q-Q图能直观展示两者之间的差异,帮助选择合适的统计方法和机器学习模型。本文介绍了Q-Q图的工作原理、基础代码实现及其在数据预处理、模型验证和金融数据分析中的应用。

2422 11
|
机器学习/深度学习 人工智能 PyTorch
|

Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers

本文探讨了Transformer模型中变长输入序列的优化策略,旨在解决深度学习中常见的计算效率问题。文章首先介绍了批处理变长输入的技术挑战,特别是填充方法导致的资源浪费。随后,提出了多种优化技术,包括动态填充、PyTorch NestedTensors、FlashAttention2和XFormers的memory_efficient_attention。这些技术通过减少冗余计算、优化内存管理和改进计算模式,显著提升了模型的性能。实验结果显示,使用FlashAttention2和无填充策略的组合可以将步骤时间减少至323毫秒,相比未优化版本提升了约2.5倍。

1072 3
|
机器学习/深度学习 分布式计算 算法
|

【大数据分析&机器学习】分布式机器学习

本文主要介绍分布式机器学习基础知识,并介绍主流的分布式机器学习框架,结合实例介绍一些机器学习算法。

2116 6
|
SQL 存储 Oracle
|

【赵渝强老师】Hive的分区表

Hive的分区表与Oracle、MySQL类似,通过分区条件将数据分隔存储,提高查询效率。本文介绍了静态分区表和动态分区表的创建与使用方法,包括具体SQL语句和执行计划分析,附带视频讲解。静态分区表需显式指定分区条件,而动态分区表则根据插入数据自动创建分区。

1875 1
|
缓存 监控 Linux
|

linux进程管理万字详解!!!

本文档介绍了Linux系统中进程管理、系统负载监控、内存监控和磁盘监控的基本概念和常用命令。主要内容包括: 1. **进程管理**: - **进程介绍**:程序与进程的关系、进程的生命周期、查看进程号和父进程号的方法。 - **进程监控命令**:`ps`、`pstree`、`pidof`、`top`、`htop`、`lsof`等命令的使用方法和案例。 - **进程管理命令**:控制信号、`kill`、`pkill`、`killall`、前台和后台运行、`screen`、`nohup`等命令的使用方法和案例。

1392 4
|
网络协议 程序员 数据库
|

什么是公网IP和内网IP

【10月更文挑战第27天】公网IP与内网IP是网络通信中的两个重要概念。公网IP是互联网上的唯一标识,而内网IP仅在局域网内部有效,用于局域网内的设备通信。由于IPv4地址资源有限,通常一个公司或家庭只有一个公网IP,内部设备通过NAT(网络地址转换)技术共享该公网IP访问互联网。这样不仅节省了IP资源,还提高了网络安全性和稳定性。

1884 0
|
人工智能
|

探秘写歌词的技巧和方法:让你的文字唱出旋律,妙笔生词AI智能写歌词软件

在音乐世界里,歌词是触动人心的灵魂。本文介绍如何掌握写歌词的技巧,包括灵感捕捉、结构布局、语言运用等,并推荐《妙笔生词智能写歌词软件》作为创作助手,助你轻松创作动人心弦的歌词。

2073 0
|
编解码 监控 API
|

直播源怎么调用api接口

调用直播源的API接口涉及开通服务、添加域名、获取API密钥、调用API接口、生成推流和拉流地址、配置直播源、开始直播、监控管理及停止直播等步骤。不同云服务平台的具体操作略有差异,但整体流程简单易懂。

1222 2
|
机器学习/深度学习 存储 人工智能
|

梯度累积的隐藏陷阱:Transformer库中梯度累积机制的缺陷与修正

在本地微调大规模语言模型时,由于GPU显存限制,通常采用梯度累积技术来模拟大批次训练。然而,实际研究表明,梯度累积方法在主流深度学习框架中会导致模型性能显著下降,尤其是在多GPU环境中。本文详细探讨了梯度累积的基本原理、应用场景及存在的问题,并通过实验验证了修正方案的有效性。研究指出,该问题可能在过去多年中一直存在且未被发现,影响了模型的训练效果。

1381 4
|
机器学习/深度学习 数据可视化 自动驾驶
|

YOLO11-seg分割如何训练自己的数据集(道路缺陷)

本文介绍了如何使用自己的道路缺陷数据集训练YOLOv11-seg模型,涵盖数据集准备、模型配置、训练过程及结果可视化。数据集包含4029张图像,分为训练、验证和测试集。训练后,模型在Mask mAP50指标上达到0.673,展示了良好的分割性能。

7070 4
|
测试技术
|

软件复杂度量化:McCabe度量法及其环路复杂度的计算方法

McCabe度量法(McCabe's Cyclomatic Complexity)是一种经典的方法,用于度量软件程序的复杂度。通过计算程序中独立路径的数量,帮助开发人员评估代码的维护难度和测试覆盖率。本文详细介绍了McCabe度量法的原理、计算方法及其在实际应用中的作用。

3505 0
|
IDE 开发工具 iOS开发
|

【10月更文挑战第3天】「Mac上学Python 3」入门篇3 - 安装Python与开发环境配置

本篇将详细介绍如何在Mac系统上安装Python,并配置Python开发环境。内容涵盖Python的安装、pip包管理工具的配置与国内镜像源替换、安装与配置PyCharm开发工具,以及通过PyCharm编写并运行第一个Python程序。通过本篇的学习,用户将完成Python开发环境的搭建,为后续的Python编程工作打下基础。

1545 2
|
BI Linux API
|

掌握 SkiaSharp 轻松实现 .NET 跨平台绘图

.NET 框架的发展,我们越来越多地寻求能够在多个平台上无缝运行的应用解决方案。

2641 2
|
机器学习/深度学习 数据采集 算法
|

【大语言模型】-最新研究进展-2024-10-11

【大语言模型】-最新研究进展-2024-10-11,最新的5篇论文速读。

1007 0
|
机器学习/深度学习 运维 分布式计算
|

大数据技术专业就业前景

大数据技术专业就业前景广阔,广泛应用于互联网、金融、医疗等众多行业,助力企业数字化转型。岗位涵盖大数据开发、分析、运维及管理,如大数据工程师、分析师和系统运维工程师等。这些岗位因专业性和稀缺性而享有优厚薪资,尤其在一线城市可达20万至50万年薪。随着技术进步和经验积累,从业者可晋升为高级职位或投身数据咨询、创业等领域,发展空间巨大。

1968 6
|
存储 并行计算 数据处理
|

使用GPU 加速 Polars:高效解决大规模数据问题

Polars 最新开发了 GPU 加速执行引擎,支持对超过 100GB 的数据进行交互式操作。本文详细介绍了 Polars 中 DataFrame(DF)的概念及其操作,包括筛选、数学运算和聚合函数等。Polars 提供了“急切”和“惰性”两种执行模式,后者通过延迟计算实现性能优化。启用 GPU 加速后,只需指定 GPU 作为执行引擎即可大幅提升处理速度。实验表明,GPU 加速比 CPU 上的懒惰执行快 74.78%,比急切执行快 77.38%。Polars 的查询优化器智能管理 CPU 和 GPU 之间的数据传输,简化了 GPU 数据处理。这一技术为大规模数据集处理带来了显著的性能提升。

1085 4
|
存储 SQL 大数据
|

用实时计算释放当下企业大数据潜能

本文整理自阿里云高级产品解决方案架构师王启华(敖北)老师在 Flink Forward Asia 2023 中闭门会的分享。

1190 8
来自: 实时计算 Flink  版块
|
机器学习/深度学习 PyTorch API
|

ONNX 与实时应用:延迟敏感场景下的部署策略

【8月更文第27天】在实时应用中,如自动驾驶汽车、视频分析系统等,快速响应和高吞吐量是至关重要的。Open Neural Network Exchange (ONNX) 提供了一种标准化的方法来部署机器学习模型,使其能够在不同的硬件和平台上高效运行。本文将探讨如何利用 ONNX 在延迟敏感的应用场景中部署模型,并提供一些策略和示例代码来确保低延迟和高吞吐量。

2003 4
|
网络协议 网络架构
|

《黑神话:悟空》的网络架构与多人游戏实现

【8月更文第26天】《黑神话:悟空》作为一款备受期待的动作冒险游戏,其网络架构对于支持多人在线游戏体验至关重要。本文将详细介绍游戏在网络架构方面的设计思路,以及如何实现稳定且高效的多人游戏体验。

767 0
|
测试技术 程序员 C#
|

《黑神话:悟空》:从Unity到UE4 —— 游戏引擎迁移的挑战与机遇

【8月更文第26天】近年来,游戏行业的发展突飞猛进,特别是在图形表现力和技术实现上。《黑神话:悟空》是一款备受期待的动作角色扮演游戏,该游戏在早期开发阶段使用了Unity引擎,但为了追求更高的视觉质量和更强大的技术能力,开发团队决定将其迁移到Unreal Engine 4 (UE4)。本文将探讨这一迁移过程中的技术挑战与机遇。

1560 1
|
数据采集 监控 数据安全/隐私保护
|

掌握Selenium爬虫的日志管理:调整–log-level选项的用法

在Selenium Web数据采集时,日志管理至关重要。通过调整`–log-level`参数可优化日志详细度,如设置为`INFO`记录一般操作信息。结合代理IP、Cookie及user-agent配置,不仅能提高采集成功率,还能规避反爬机制。合理选择日志级别有助于调试与性能平衡,在复杂的数据采集任务中保持程序稳定与可控。

609 1
|
搜索推荐 API 定位技术
|

解锁携程美食与景点数据接口:打造个性化旅行体验的秘密武器

携程API助您探索旅游信息,虽无专门“美食列表”接口,但可通过景点详情接口获取周边美食推荐。结合地图或餐饮API,丰富美食数据一手掌握。景点列表接口帮助搜索景点详情,包括名称、位置等。使用流程包括注册账号、获取密钥、构造请求及解析响应数据。记得查阅最新文档,确保合规使用。体验API:[链接]。

1016 0
|
人工智能 运维 Cloud Native
|

全新启航!阿里云向量检索服务Milvus版正式上线!

由阿里云与 Zilliz 联合推出的业内领先的云原生向量检索引擎 - 阿里云向量检索服务 Milvus 版在杭州、上海、北京、深圳四大 region 正式可用并开放公测!

1288 6
|
应用服务中间件 Shell 网络安全
|

nginx安装提示 libssl.so.3: cannot open shared object file: No

【8月更文挑战第1天】### 原因 未将安装的ssl中的`libssl.so.3`链接到`/usr/lib`导致缺失。 ### 解决方案 1. 检查openssl是否已安装,若为低版本则需重装。 ```sh whereis openssl

7571 6
|
数据采集 人工智能 安全
|

阿里云Elasticsearch 企业级AI搜索方案发布

本文从AI搜索落地的挑战、阿里云在RAG场景的实践、效果提升三个方面,深度解读阿里云Elasticsearch 企业级AI搜索方案。

1644 8
|
机器学习/深度学习 人工智能 自然语言处理
|

人工智能(AI)技术的发展史

人工智能 (AI) 的发展历程从20世纪50年代起步,历经初始探索、早期发展、专家系统兴起、机器学习崛起直至深度学习革命。1950年图灵测试提出,1956年达特茅斯会议标志着AI研究开端。60-70年代AI虽取得初步成果但仍遭遇困境。80年代专家系统如MYCIN展现AI应用潜力。90年代机器学习突飞猛进,1997年深蓝战胜国际象棋冠军。21世纪以来,深度学习技术革新了AI,在图像、语音识别等领域取得重大成就。尽管AI已广泛应用,但仍面临数据隐私、伦理等挑战。未来AI将加强人机协作、增强学习与情感智能,并在医疗、教育等领域发挥更大作用。

6178 0
来自: 人工智能平台PAI  版块
|
搜索推荐
|

想要刻录蓝光光盘吗? 快来了解最好的蓝光刻录软件!

在数字娱乐蓬勃发展的今天,追求高清震撼的视听体验已成为趋势。面对众多高清视频制作工具的选择难题,DVDFab Blu-ray Creator脱颖而出,被誉为最佳蓝光刻录软件。它不仅支持多种视频格式输入(如MP4, MKV)及高清1080p输出,还能制作个性化菜单,兼容不同输出介质(BD-R, BD-RE等)。只需几步即可完成从视频导入到成品输出的全过程,无论是家庭回忆还是专业项目都能完美呈现。

2678 0
|
Shell iOS开发 MacOS
|

入职必会-开发环境搭建04-IDEA激活

本方法是市面上最简单、方便的JetBrains全家桶激活方法,包含IDEA、PyCharm、CLion、DataGrip、GoLand、PhpStorm、WebStorm均可激活并且支持最新的2023版本。

775 0
|
供应链 Python
|

供需匹配(Demand-Supply Matching)的详细解释与Python代码示例

供需匹配(Demand-Supply Matching)的详细解释与Python代码示例

3263 2
|
机器学习/深度学习 数据采集 算法
|

Python实现GBDT(梯度提升树)分类模型(GradientBoostingClassifier算法)并应用网格搜索算法寻找最优参数项目实战

Python实现GBDT(梯度提升树)分类模型(GradientBoostingClassifier算法)并应用网格搜索算法寻找最优参数项目实战

1214 3
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 数据采集 算法
|

Python实现人工神经网络回归模型(MLPRegressor算法)并基于网格搜索(GridSearchCV)进行优化项目实战

Python实现人工神经网络回归模型(MLPRegressor算法)并基于网格搜索(GridSearchCV)进行优化项目实战

910 0
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 数据可视化 测试技术
|

统计学入门:时间序列分析基础知识详解

本文探讨了时间序列分析的核心概念,包括自协方差、自相关和平稳性。通过Python实现和图形化展示了这些概念,以增进理解。时间序列涉及观察随时间变化的数据,如心率或温度。自协方差和自相关衡量数据点之间的关系,滞后表示时间间隔。弱平稳性意味着均值、方差和协方差不随时间变化。文章介绍了自回归(AR)、移动平均(MA)、ARMA和ARIMA模型,用于描述不同类型的序列行为。统计检验如ADF和Durbin-Watson用于检测平稳性和残差自相关。ARIMA模型特别适用于非平稳数据,通过差分实现平稳化。文章还提供了代码示例和可视化来辅助学习。

1224 4
|
数据采集 机器学习/深度学习 数据挖掘
|

Python基于波动率模型(ARCH和GARCH)进行股票数据分析项目实战

Python基于波动率模型(ARCH和GARCH)进行股票数据分析项目实战

1463 4
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 人工智能 算法
|

「AI工程师」算法研发与优化-工作指导

**工作指导书摘要:** 设计与优化算法,提升性能效率;负责模型训练及测试,确保准确稳定;跟踪业界最新技术并应用;提供内部技术支持,解决使用问题。要求扎实的数学和机器学习基础,熟悉深度学习框架,具备良好编程及数据分析能力,注重团队协作。遵循代码、文档和测试规范,持续学习创新,优化算法以支持业务发展。

869 0
|
人工智能 安全 物联网
|

2024年6月后2周重要的大语言模型论文总结:LLM进展、微调、推理和对齐

本文总结了2024年6月后两周发表的一些最重要的大语言模型论文。这些论文涵盖了塑造下一代语言模型的各种主题,从模型优化和缩放到推理、基准测试和增强性能。

922 0
|
自然语言处理 算法 搜索推荐
|

字符串相似度算法完全指南:编辑、令牌与序列三类算法的全面解析与深入分析

在自然语言处理领域,人们经常需要比较字符串,这些字符串可能是单词、句子、段落甚至是整个文档。如何快速判断两个单词或句子是否相似,或者相似度是好还是差。这类似于我们使用手机打错一个词,但手机会建议正确的词来修正它,那么这种如何判断字符串相似度呢?本文将详细介绍这个问题。

1385 1
|
数据采集 API 开发者
|

爬虫:闲鱼商品详情数据接口(goodfish.item_get)

闲鱼的`goodfish.item_get`非官方API,其数据接口多为私有,适用于授权合作伙伴。获取商品详情数据可考虑官方合作、网络爬虫(需遵守反爬政策)、第三方API服务或直接联系闲鱼官方。合法合规使用数据至关重要。

2047 0
|
机器学习/深度学习 算法 搜索推荐
|

通过元学习优化增益模型的性能:基础到高级应用总结

在当今数据驱动的决策过程中,因果推断和增益模型扮演了至关重要的角色。因果推断帮助我们理解不同变量间的因果关系,而增益模型则专注于评估干预措施对个体的影响,从而优化策略和行动。然而,要提高这些模型的精确度和适应性,引入元学习器成为了一个创新的解决方案。元学习器通过将估计任务分解并应用不同的机器学习技术,能够有效增强模型的表现。接下来,我们将详细探讨如何利用元学习优化增益模型的性能,特别是通过S-Learner、T-Learner和X-Learner这几种估计器。

577 1
|
机器学习/深度学习
|

函数求导

本文概述了高等数学中函数求导的基本规则,包括常数、幂函数、求和、乘积、商、复合函数、指数函数及三角函数的导数。这些规则是微积分的基础,用于求解各种函数的导数。例如,常数的导数是0,$(x^n)' = n \cdot x^{n-1}$,$(e^x)' = e^x$,$\frac{d}{dx}\sin(x) = \cos(x)$。更复杂的函数可能需要使用隐函数或参数方程求导等高级技术。

1963 1
|
SQL 关系型数据库 HIVE
|

【Hive SQL 每日一题】统计最近1天/7天/30天商品的销量

这段内容是关于SQL查询的示例,目标是统计`sales`表中最近1天、7天和30天的商品销量和销售次数。表结构包含`id`、`product_id`、`quantity`和`sale_date`字段。初始查询方法通过三个独立的子查询完成,但效率较低。优化后的查询使用了`lateral view explode`将数据炸裂,通过一次查询同时获取所有所需时间段的数据,提高了效率。示例中展示了优化前后的SQL代码及结果对比。

1130 0
|
缓存 网络协议 算法
|

Linux内核必读五本书籍(强烈推荐)

Linux内核必读五本书籍(强烈推荐)

2925 0
|
自然语言处理 搜索推荐 机器人
|

阿里巴巴的通义千问大模型

阿里巴巴通义千问是基于Transformer的大型语言模型,预训练于多样化数据集,支持18亿至720亿参数规模。在多模态英文任务中表现出色,且具备多语言对话及图片文本识别能力。可应用于搜索引擎、问答系统和对话交互,提供智能体验。然而,模型在逻辑题和指令理解上存在不足,需在特定领域进行优化。

6133 1
|
SQL HIVE
|

Hive 行列转换

使用`lateral view + explode`或`inline`可将列转换为行,实现数据降维。例如,`explode(array|map)`用于单列转多行,`inline(array_struct)`将结构体数组拆分成多行。同样,通过条件聚合可实现行转列,常用于多行数据聚合到单行中,如示例所示的按月统计订单金额。

1020 1
|
SQL 数据采集 存储
|

Hive实战 —— 电商数据分析(全流程详解 真实数据)

关于基于小型数据的Hive数仓构建实战,目的是通过分析某零售企业的门店数据来进行业务洞察。内容涵盖了数据清洗、数据分析和Hive表的创建。项目需求包括客户画像、消费统计、资源利用率、特征人群定位和数据可视化。数据源包括Customer、Transaction、Store和Review四张表,涉及多个维度的聚合和分析,如按性别、国家统计客户、按时间段计算总收入等。项目执行需先下载数据和配置Zeppelin环境,然后通过Hive进行数据清洗、建表和分析。在建表过程中,涉及ODS、DWD、DWT、DWS和DM五层,每层都有其特定的任务和粒度。最后,通过Hive SQL进行各种业务指标的计算和分析。

3617 1
|
前端开发 测试技术 C++
|

Python自动化测试面试:unittest、pytest与Selenium详解

【4月更文挑战第19天】本文聚焦Python自动化测试面试,重点讨论unittest、pytest和Selenium三大框架。unittest涉及断言、TestSuite和覆盖率报告;易错点包括测试代码冗余和异常处理。pytest涵盖fixtures、参数化测试和插件系统,要注意避免过度依赖unittest特性。Selenium的核心是WebDriver操作、等待策略和测试报告生成,强调智能等待和元素定位策略。掌握这些关键点将有助于提升面试表现。

1285 0
|
中间件 数据库连接 API
|

Python面试:FastAPI框架原理与实战

【4月更文挑战第18天】FastAPI是受欢迎的高性能Python Web框架,以其简洁的API设计、强大的类型提示和优秀的文档生成能力著称。本文将探讨FastAPI面试中的常见问题,包括路由、响应对象、Pydantic模型、数据库操作、中间件和错误处理。同时,还会指出一些易错点,如类型提示不准确、依赖注入误解,并提供实战代码示例。通过理解和实践FastAPI,可以在面试中展示出色的Web开发技能。

1064 1

ChatGPT4最新大招!DALL·E 图片可以编辑了!

本教程详细介绍了如何使用 DALL·E 编辑功能来修改图片。它覆盖了从基本的图片选择和编辑到更高级的操作,如添加、移除或更新图片中的元素。教程还解释了如何通过对话框直接输入编辑需求,以及如何在 ChatGPT 手机应用上使用这些工具。

590 1
|
编解码 自然语言处理 数据挖掘
|

Nomic Embed:能够复现的SOTA开源嵌入模型

Nomic-embed-text是2月份刚发布的,并且是一个完全开源的英文文本嵌入模型,上下文长度为8192。它在处理短文和长文本任务方面都超越了现有的模型,如OpenAI的Ada-002和text-embedding-3-small。该模型有137M个参数在现在可以算是非常小的模型了。

1525 1
|
SQL 关系型数据库 MySQL
|

MYSQL数字函数实操宝典:场景化SQL语句一网打尽

本文作为MYSQL数字函数实操宝典,通过丰富的场景化SQL语句实例,一网打尽了MYSQL中常用的数字函数。我们深入探讨了ROUND函数在金额四舍五入、评分计算等场景的应用,展现了其在确保数据准确性和展示规范性方面的重要性。同时,FLOOR函数在分页处理、价格计算等实际案例中的灵活运用,也体现了其在向下取整方面的优势。此外,CEIL函数在分页处理、费用计算等方面的应用案例,充分展示了其向上取整的功能特点。这些实用案例不仅有助于读者更好地理解MYSQL数字函数的工作原理,更为开发者在实际开发中提供了有价值的参考

446 8

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
70009
内容
128
活动
440132
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务