|
存储 JSON API
|

淘宝直播间弹幕API接口(taobao.item_video_barrage)

淘宝直播间弹幕 API(`taobao.item_video_barrage`)用于获取直播间的弹幕数据。通过指定直播间 ID 和模式参数(如 `start` 建立连接、`refresh` 获取弹幕),可以获取弹幕消息列表、直播间信息等。响应数据为 JSON 格式,包含状态码、直播间 ID、连接状态和弹幕详情。使用时需注意权限限制、接口稳定性和数据处理。

1425 7
|
数据采集 存储 数据处理
|

从网络请求到Excel:自动化数据抓取和保存的完整指南

本文介绍了如何使用Python自动化采集东方财富股吧的发帖信息,并将其保存到Excel中。通过代理IP、多线程和网页解析技术,规避反爬虫机制,高效抓取帖子标题和发帖时间,帮助投资者获取市场情绪和热点数据。

605 0
|
UED
|

如何申请国际网络专线?

【10月更文挑战第9天】如何申请国际网络专线?

1425 2
|
存储 人工智能 网络安全
|

科技云报到:云服务的中场战事,从AI应用开始

从去年的大模型之战,到今年的AI应用之争,云服务正在迈入全新的发展阶段。AI这个杠杆将各家厂商的竞争策略更向前推进了一步。

605 0
|
SQL 分布式计算 Serverless
|

阿里云 EMR Serverless Spark 版正式开启商业化

阿里云 EMR Serverless Spark 版正式开启商业化,内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验!

1005 3
|
算法 数据可视化
|

基于SSA奇异谱分析算法的时间序列趋势线提取matlab仿真

奇异谱分析(SSA)是一种基于奇异值分解(SVD)和轨迹矩阵的非线性、非参数时间序列分析方法,适用于提取趋势、周期性和噪声成分。本项目使用MATLAB 2022a版本实现从强干扰序列中提取趋势线,并通过可视化展示了原时间序列与提取的趋势分量。代码实现了滑动窗口下的奇异值分解和分组重构,适用于非线性和非平稳时间序列分析。此方法在气候变化、金融市场和生物医学信号处理等领域有广泛应用。

1161 19
|
Ubuntu Linux
|

linux怎么查看自己的ip地址

在Linux系统中,有多种方法可以查看自己的IP地址。

2121 2
来自: 智能搜索推荐  版块
|
人工智能 算法 开发工具
|

通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践

Qwen1.5(通义千问1.5)是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版,该模型推出了多个规模,从0.5B到72B,满足不同的计算需求。此外,该系列模型还包括了Base和Chat等多个版本的开源模型,为全球的开发者社区提供了空前的便捷性。阿里云的人工智能平台PAI,作为一站式的机器学习和深度学习平台,对Qwen1.5模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过PAI-QuickStart轻松实现Qwen1.5系列模型的微调和快速部署。

179562 9
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 人工智能 算法
|

通义千问Qwen-72B-Chat大模型在PAI平台的微调实践

本文将以Qwen-72B-Chat为例,介绍如何在PAI平台的快速开始PAI-QuickStart和交互式建模工具PAI-DSW中高效微调千问大模型。

151034 88
来自: 人工智能平台PAI  版块
|
自然语言处理 机器人 人机交互
|

智能语音交互概述(一)

智能语音交互概述(一)

2005 0
|
机器学习/深度学习 自动驾驶 数据处理
|

数据标注(一)

数据标注(一)

3809 1
|
Linux Shell
|

umount卸载根目录,xfs_repair修复根分区

umount卸载根目录,xfs_repair修复根分区

3876 0
来自: 人工智能平台PAI  版块
|
流计算 SQL HIVE
|

小红书如何实现高效推荐?解密背后的大数据计算平台架构

小红书作为生活分享类社区,目前有8500万用户,年同比增长为300%,大约每天有30亿条笔记在发现首页进行展示。推荐是小红书非常核心且重要的场景之一,本文主要分享在推荐业务场景中小红书的实时计算应用。

9862 0
来自: 实时计算 Flink  版块
|
新零售 搜索推荐 调度
|

通过Flink实时构建搜索引擎的索引

1.背景介绍 搜索引擎的出现大大降低了人们寻找信息的难度,已经深入到生活与工作的方方面面,简单列举几个应用如下: 互联网搜索,如谷歌,百度等; 垂直搜索,如淘宝、天猫的商品搜索; 站内搜索,各个内容网站提供的站内搜索服务; 企业内部搜索,员工查询企业内部信息; 广告投放,根据投放上下文检索出对应的广告主和广告内容; 搜索引擎的关键是让用户找到其所需信息,其整体架构如下: 从图示可知,一个搜索引擎从大的方面来看主要包括两部分,一部分是提供在线的搜索服务,一部分要把原始数据已离线的方式建立索引,建立索引是信息可搜索的前提。

18567 160
来自: 实时计算 Flink  版块
|
算法 搜索推荐 前端开发
|

搜索双链路实时计算体系@双11实战

该文章来自阿里巴巴技术协会(ATA)精选集  0. 前言 何为双链路实时计算体系?微观实时计算链路 a) 最细粒度商品/店铺/用户数据的实时 b) 底层模型的实时宏观实时计算链路 相比微观实时,宏观实时的对象粒度更粗,更上层 a) 以实时效果为目标,基于bandit learning的实

16433 2
来自: 智能搜索推荐  版块
|
18天前
|
SQL 人工智能 监控
|

五年数据开发复盘:从数仓建设到 AI 产品化的阶段性思考

五年数据开发复盘:从数仓建设到AI产品化。作者深耕BI、SaaS数仓、数据血缘与建模,提出“以数仓为根基、实体建模为核心、工程稳定性为底座”,强调业务理解重于工具使用。面对AI浪潮,主张聚焦提示词工程、RAG、实体识别等AI工程化落地,而非算法底层——数据开发正演进为连接业务、数据、工程与AI的复合型角色。

134 3
|
1月前
|
数据采集 人工智能 监控
|

京东商品详情API数据解析

本方案提供京东商品详情API(jd.item_get)完整解析,涵盖标准返回、关键字段及避坑指南;结合AI实现数据清洗、情感分析与爆款预测,支持智能选品、竞品监控、动态定价等场景,助力中小卖家高效落地电商智能决策。

178 4
|
2月前
|
数据采集 JSON 供应链
|

1688商品详情数据一键获取,item_get API接口讲解

本文分享1688商品详情API(offerDetail.get)实战经验:摒弃爬虫,依托官方接口实现合规、稳定、高效的数据采集。涵盖接入流程、关键参数、返回字段解析及避坑要点,助力企业快速落地电商供应链数据建设。(239字)

527 2
|
2月前
|
监控 数据挖掘 API
|

从踩坑到高效落地:淘宝商品详情API的实操心得

淘宝商品详情API提供全维度商品数据,含基础信息、详情页HTML、SKU、价格、销量等,支持比价、代购、数据分析及内容电商等场景,涵盖item.get、item.get_pro等核心接口,接入便捷高效。

364 4
|
3月前
|
存储 分布式计算 OLAP
|

数仓-湖仓-湖流,人力家基于阿里云OpenLake架构演进与思考

人力家资深数据工程师石玉阳(Thorne),Flink-CDC Contributor,分享其公司湖仓一体实践:以Paimon为数据基座、StarRocks为OLAP引擎、Flink+Fluss实现湖流融合,打通离线/实时/增量计算,支持多模态与DATA+AI演进,构建开放、统一、可持续的大数据架构。(239字)

350 2
|
3月前
|
数据库 C++
|

向量维度、距离函数,如何影响召回结果

本文揭示向量检索效果不佳的根源常被误判:问题不在embedding模型本身,而在于被忽视的底层选择——向量维度与距离函数。二者共同定义了“相似性”的本质,而非仅调节精度。维度决定语义表达自由度与错误类型,距离函数(L2/Cosine/Dot)则确立“何为相近”的世界观。二者强耦合,直接塑造召回空间。调参前,先问:你更怕漏召,还是误召?

240 6
|
3月前
|
数据采集 XML 前端开发
|

BeautifulSoup:Python网页解析的优雅利器

BeautifulSoup是Python最易用的HTML/XML解析库,以超强容错性与人性化API著称。它能将混乱网页转为结构化树,支持CSS选择器、多种解析器(推荐lxml),无需正则即可快速提取数据,是中小型爬虫、教学及原型开发首选工具。(239字)

313 1
|
3月前
|
数据可视化 数据挖掘 API
|

Matplotlib 入门指南:让数据"开口说话"的魔法库

本教程系统讲解Matplotlib数据可视化:从环境搭建、核心概念(Figure/Axes/Artist)到实战分析电影评分趋势;涵盖中文字体配置、常见陷阱规避及最佳实践,并指引Seaborn、Plotly等进阶方向,助你高效掌握Python可视化核心技能。(239字)

503 9
|
4月前
|
存储 安全 API
|

隐私合规红线不能碰:大模型微调3大重灾区防护手册

本文聚焦大模型微调中训练数据、中间产物与部署链路三大隐私泄露重灾区,剖析90%开发者易踩的技术陷阱,从分层脱敏、差分隐私到权限管控,提供全链路可落地的防护方案,并结合性能与安全双重验证,助力企业实现合规与效能双赢。

494 0
|
4月前
|
数据采集 自然语言处理 搜索推荐
|

大模型从“瞎聊”到“干活”:指令微调核心逻辑全拆解

本文深入浅出解析大模型指令微调核心技术,从“能聊”到“会干”的关键跃迁。通过“教小孩做事”类比,拆解指令微调原理,详解数据格式、质量与策略三要素,提供16G显卡可跑的四步实操流程,并结合效果评估与未来趋势,助力新手快速掌握让大模型精准执行任务的核心方法。

506 3
|
4月前
|
JSON 监控 API
|

京东API:通过商品ID获取京东商品详情数据指南

京东商品详情API(JD.item_get)支持通过商品ID获取标题、价格、库存、品牌、分类、销量等核心信息,广泛用于电商分析、比价工具与监控系统。需传入app_key、item_id、timestamp等参数并生成签名,返回JSON格式数据,助力高效对接京东商品数据。

533 2
|
4月前
|
JSON 安全 JavaScript
|

闲鱼商品列表API接口指南

本指南基于逆向分析,提供闲鱼商品列表数据获取的技术方案,适用于关键词、地区、价格等条件筛选。支持网页端GET与移动端POST请求,返回HTML或JSON格式数据,需注意登录态与参数编码,仅用于学习研究。

540 2
|
5月前
|
JSON 前端开发 Java
|

第六章 SpringMVC框架

Spring MVC核心组件包括DispatcherServlet、HandlerMapping、HandlerAdapter、Handler和ViewResolver,协同完成请求分发、处理与响应。其流程为:请求经DispatcherServlet分发,通过HandlerMapping定位处理器,由HandlerAdapter执行Handler,再经ViewResolver解析视图并渲染返回。此外,可通过拦截器实现登录校验等操作,结合@RestControllerAdvice和@ExceptionHandler统一处理异常,并使用@RequestMapping等注解简化开发。

323 0
|
5月前
|
监控 Java 测试技术
|

OOM排查之路:一次曲折的线上故障复盘

本文记录了一次Paimon数据湖与RocksDB集成服务中反复出现的内存溢出(OOM)问题排查全过程。通过MAT、NMT、async-profiler等工具,结合监控分析与专家协作,最终定位到RocksDB通过JNI申请的堆外内存未释放是根因,并分享了转向Flink写入Paimon的解决方案及排查思路,为类似技术栈提供借鉴。(239字)

402 1
|
5月前
|
存储 JSON 自然语言处理
|

DSL语法、搜索结果处理

本节深入探讨Elasticsearch的搜索功能,涵盖DSL与RestClient实现方式。重点解析全文检索(match、multi_match)、精确查询(term、range)、地理坐标查询(geo_distance、geo_bounding_box)及复合查询,结合实例演示语法与应用场景,提升数据检索效率。

236 0
|
5月前
|
存储 缓存 算法
|

零拷贝

实现文件传输时,传统方式因频繁的上下文切换和内存拷贝导致性能低下。零拷贝技术通过减少系统调用和内存复制,提升传输效率,尤其适用于小文件;而大文件则推荐使用异步IO结合直接IO,避免PageCache负面影响,从而优化高并发场景下的性能表现。

395 0
|
5月前
|
Java 大数据
|

ArrayList扩容机制

本文深入解析ArrayList的add及扩容机制。通过源码分析,揭示其首次添加元素时默认扩容至10,后续每次扩容为原容量1.5倍的核心逻辑,并详解grow()方法如何通过位运算高效实现动态扩容,同时澄清length、length()、size()等易混淆概念。

326 0
|
5月前
|
机器学习/深度学习 存储 自然语言处理
|

大模型基础概念术语解释

大语言模型(LLM)基于Transformer架构,通过海量文本训练,实现强大语言理解与生成。其核心为自注意力机制,结合Token化、位置编码与嵌入层,支持万亿级参数规模。参数增长带来涌现能力,如复杂推理与泛化性能。混合专家模型(MoE)提升效率,推动模型持续扩展。

782 0
|
5月前
|
数据采集 数据挖掘 API
|

1688店铺所有商品API使用指南

本文详解1688店铺商品API的使用,涵盖接口摘要、概述、Python请求示例及注意事项。通过该API可获取商品列表、详情等核心数据,适用于店铺管理、ERP系统与数据分析。结合代码演示,助开发者快速完成对接,实现高效数据采集与应用。(239字)

319 4
|
6月前
|
存储 SQL 缓存
|

Delta Join:为超大规模流处理实现计算与历史数据解耦

Delta Join(FLIP-486)是Flink流式Join的范式革新,通过将历史数据存储与计算解耦,实现按需查询外部存储(如Fluss、Paimon),避免状态无限增长。它解决了传统Join在高基数场景下的状态爆炸问题,显著降低资源消耗:状态减少50TB,成本降10倍,Checkpoint从小时级缩短至秒级,恢复速度提升87%。兼容标准SQL,自动优化转换,适用于海量数据实时关联场景,推动流处理迈向高效、稳定、可扩展的新阶段。

741 1
来自: 实时计算 Flink  版块
|
6月前
|
人工智能 分布式计算 运维
|

阿里云携手 MiniMax 构建云原生数仓最佳实践:大模型时代的 Data + AI 数据处理平台

MiniMax 是全球领先的通用人工智能公司,致力于推动AGI发展。依托自研多模态大模型,服务超200国1.57亿用户及5万企业客户。携手阿里云构建云原生数仓与Data+AI平台,实现数据高效处理、成本大幅降低,支撑全球业务高速迭代与AI创新落地。

1322 107
|
6月前
|
JSON API 数据格式
|

小红书笔记详情API秘籍!轻松获取笔记数据

小红书笔记详情API是开放平台核心接口,用于获取指定笔记的标题、正文、互动数据及多媒体资源,支持内容分析与营销优化。2025年6月起启用v4版,新增视频解析与实时数据推送。需note_id和access_token参数,返回JSON格式数据。

753 5
|
7月前
|
机器学习/深度学习 传感器 算法
|

基于yolo8的深度学习室内火灾监测识别系统

本研究基于YOLO8算法构建室内火灾监测系统,利用计算机视觉技术实现火焰与烟雾的实时识别。相比传统传感器,该系统响应更快、精度更高,可有效提升火灾初期预警能力,保障生命财产安全,具有重要的应用价值与推广前景。

840 10
|
9月前
|
存储 缓存 Apache
|

StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询

A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。

1300 1
|
9月前
|
消息中间件 Java 数据库
|

Java 基于 DDD 分层架构实战从基础到精通最新实操全流程指南

本文详解基于Java的领域驱动设计(DDD)分层架构实战,结合Spring Boot 3.x、Spring Data JPA 3.x等最新技术栈,通过电商订单系统案例展示如何构建清晰、可维护的微服务架构。内容涵盖项目结构设计、各层实现细节及关键技术点,助力开发者掌握DDD在复杂业务系统中的应用。

1769 0
|
10月前
|
存储 人工智能 自然语言处理
|

AI代理内存消耗过大?9种优化策略对比分析

在AI代理系统中,多代理协作虽能提升整体准确性,但真正决定性能的关键因素之一是**内存管理**。随着对话深度和长度的增加,内存消耗呈指数级增长,主要源于历史上下文、工具调用记录、数据库查询结果等组件的持续积累。本文深入探讨了从基础到高级的九种内存优化技术,涵盖顺序存储、滑动窗口、摘要型内存、基于检索的系统、内存增强变换器、分层优化、图形化记忆网络、压缩整合策略以及类操作系统内存管理。通过统一框架下的代码实现与性能评估,分析了每种技术的适用场景与局限性,为构建高效、可扩展的AI代理系统提供了系统性的优化路径和技术参考。

727 4
|
11月前
|
数据采集 机器学习/深度学习 Web App开发
|

Python爬虫如何应对贝壳网的IP封禁与人机验证?

Python爬虫如何应对贝壳网的IP封禁与人机验证?

1338 5
|
12月前
|
人工智能 自然语言处理 算法
|

DistilQwen-ThoughtX:变长思维链推理模型,能力超越DeepSeek蒸馏模型

阿里云PAI团队开发的 OmniThought 数据集,其中包含200万思维链,并标注了推理冗余度(RV)和认知难度(CD)分数。基于此数据集,我们还推出了 DistilQwen-ThoughtX 系列模型,可以通过RV和CD分数对思维链进行筛选,训练得到的模型获得根据问题和本身的认知能力,生成变长思维链的能力。同时在 EasyDistill 框架中开源了 OmniThought 数据集和 DistilQwen-ThoughtX 模型的全部权重。这些模型在性能上超过了 DeepSeek-R1-Distill 系列。

1307 9
来自: 人工智能平台PAI  版块
|
12月前
|
存储 消息中间件 OLAP
|

基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路

本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。

1936 3
来自: 实时计算 Flink  版块
|
机器学习/深度学习 人工智能 编译器
|

本地化部署DeepSeek-R1蒸馏大模型:基于飞桨PaddleNLP 3.0的实战指南

本文基于飞桨框架3.0,详细介绍了在Docker环境下部署DeepSeek-R1-Distill-Llama-8B蒸馏模型的全流程。飞桨3.0通过动静统一自动并行、训推一体设计等特性,显著优化大模型的推理性能与资源利用效率。实战中,借助INT8量化和自动化工具,模型在8卡A100上仅需60GB显存即可运行,推理耗时约2.8-3.2秒,吞吐率达10-12 tokens/s。本文为国产大模型的高效本地部署提供了工程参考,适配多场景需求。

801 2
|
自然语言处理 数据挖掘 API
|

淘宝直播间弹幕 API 接口(淘宝 API 系列)

淘宝直播间弹幕API助力电商直播数据分析与优化。通过实时获取弹幕信息(昵称、内容、时间、类型),商家可精准把握消费者需求,优化直播内容;开发者可构建数据分析工具和智能客服系统。接口采用WebSocket协议,支持全双工通信,确保数据实时性。请求需包含直播间ID(room_id),并遵循平台使用规范。示例代码展示了Python调用方法,需安装`websocket-client`库并处理重连与异常。

1103 6
|
网络安全 数据安全/隐私保护 网络架构
|

为何使用长效静态IP会出现高延迟现象?

在使用长效静态IP时,出现高延迟的原因主要包括:1. 网络距离远、网络拥堵和网络质量差等环境因素;2. 服务器负载高、性能低等服务器相关问题;3. 代理协议加密、网络配置不当等配置因素;4. 目标服务器响应慢。这些因素都会影响数据传输速度,导致延迟增加。希望以上分析能帮助解决您的问题。

742 8
来自: 大数据计算 MaxCompute  版块
|
自然语言处理 Kubernetes 异构计算
|

推理降本与提升资源效率的实践

本课程从业务角度探讨大模型推理部署及资源利用率提升。首先分析大模型与GPU发展趋势,包括模型开源、规模增长及多模态能力增强;其次介绍高效部署大模型推理业务的步骤,涵盖业务场景选择、架构优化及显存规划;接着讲解如何通过DeepCPU-LLM框架和DeepNCCL通讯库优化推理效率;最后探讨通过KuberGPU实现细粒度GPU资源管理,提升整体资源利用率,降低推理成本。

1233 11
|
JSON 搜索推荐 API
|

拍立淘API是基于图像识别技术的服务接口,支持淘宝、1688和义乌购平台。

拍立淘API是基于图像识别技术的服务接口,支持淘宝、1688和义乌购平台。用户上传图片后,系统能快速匹配相似商品,提供精准搜索结果,并根据用户历史推荐个性化商品,简化购物流程。开发者需注册账号并获取API Key,授权权限后调用接口,返回商品详细信息如ID、标题、价格等。使用时需遵守频率限制,确保图片质量,保障数据安全。

842 5
|
人工智能 自然语言处理 搜索推荐
|

AI在教育中的潜力与挑战:开启智慧教育的新时代

AI在教育中的潜力与挑战:开启智慧教育的新时代

1556 19

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69522
内容
128
活动
439956
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务