|
数据采集 Web App开发 数据处理
|

一步步教你用Python Selenium抓取动态网页任意行数据

使用Python Selenium爬取动态网页,结合代理IP提升抓取效率。安装Selenium,配置代理(如亿牛云),设置User-Agent和Cookies以模拟用户行为。示例代码展示如何使用XPath提取表格数据,处理异常,并通过隐式等待确保页面加载完成。代理、模拟浏览器行为和正确配置增强爬虫性能和成功率。

2557 3
|
SQL 数据采集 存储
|

Hive实战 —— 电商数据分析(全流程详解 真实数据)

关于基于小型数据的Hive数仓构建实战,目的是通过分析某零售企业的门店数据来进行业务洞察。内容涵盖了数据清洗、数据分析和Hive表的创建。项目需求包括客户画像、消费统计、资源利用率、特征人群定位和数据可视化。数据源包括Customer、Transaction、Store和Review四张表,涉及多个维度的聚合和分析,如按性别、国家统计客户、按时间段计算总收入等。项目执行需先下载数据和配置Zeppelin环境,然后通过Hive进行数据清洗、建表和分析。在建表过程中,涉及ODS、DWD、DWT、DWS和DM五层,每层都有其特定的任务和粒度。最后,通过Hive SQL进行各种业务指标的计算和分析。

3340 1
|
机器学习/深度学习 人工智能 数据可视化
|

号称能打败MLP的KAN到底行不行?数学核心原理全面解析

Kolmogorov-Arnold Networks (KANs) 是一种新型神经网络架构,挑战了多层感知器(mlp)的基础,通过在权重而非节点上使用可学习的激活函数(如b样条),提高了准确性和可解释性。KANs利用Kolmogorov-Arnold表示定理,将复杂函数分解为简单函数的组合,简化了神经网络的近似过程。与mlp相比,KAN在参数量较少的情况下能达到类似或更好的性能,并能直观地可视化,增强了模型的可解释性。尽管仍需更多研究验证其优势,KAN为深度学习领域带来了新的思路。

7252 5

Trying to access array offset on value of type null

你就可以避免在null值上尝试访问数组偏移量的错误。 总的来说,当你遇到这个错误时,你应该回顾你的代码,确保在尝试访问数组偏移量之前,相关的变量已经被正确地初始化为一个数组,并且不是null。

3764 4
|
人工智能 编解码 对象存储
|

一键生成视频,用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

本教程将带领大家免费领取阿里云PAI-EAS的免费试用资源,并且带领大家在 ComfyUI 环境下使用 SVD的模型,根据任何图片生成一个小短视频。

146178 185
来自: 人工智能平台PAI  版块
|
SQL HIVE
|

Hive中日期处理函数的使用(date_format、date_add、date_sub、next_day)

Hive中日期处理函数的使用(date_format、date_add、date_sub、next_day)

4843 3
|
存储 算法 机器人
|

卡尔曼滤波 KF | 扩展卡尔曼滤波 EKF (思路流程和计算公式)

本文分析卡尔曼滤波和扩展卡尔曼滤波,包括:思路流程、计算公式、简单案例等。滤波算法,在很多场景都有应用,感觉理解其思路和计算过程比较重要。

4753 0
|
2月前
|
人工智能 自然语言处理 供应链
|

AI 大模型时代:淘宝京东商品数据 API 如何重构电商智能决策

AI大模型正将传统API从“数据搬运工”升级为“智能决策中枢”,打通“数据→信息→知识→行动”全链路。通过融合电商API与大模型能力,在智能选品、竞品预警、内容生成、运营闭环四大场景实现从人工到自治的跃迁。(239字)

369 3
|
2月前
|
数据采集 JSON 供应链
|

1688商品详情数据一键获取,item_get API接口讲解

本文分享1688商品详情API(offerDetail.get)实战经验:摒弃爬虫,依托官方接口实现合规、稳定、高效的数据采集。涵盖接入流程、关键参数、返回字段解析及避坑要点,助力企业快速落地电商供应链数据建设。(239字)

530 2
|
3月前
|
存储 人工智能 数据可视化
|

大模型应用:向量与元数据联动:解锁向量数据库复合查询的核心能力.30

本文深入解析向量数据库中“向量+元数据”复合查询技术:通过融合语义相似性与结构化过滤(如时间、标签、权限等),显著提升RAG等场景的检索精度、效率与业务适配性,并结合Chroma实战演示三种查询路径及多行业应用。

403 9
|
3月前
|
数据库 C++
|

向量维度、距离函数,如何影响召回结果

本文揭示向量检索效果不佳的根源常被误判:问题不在embedding模型本身,而在于被忽视的底层选择——向量维度与距离函数。二者共同定义了“相似性”的本质,而非仅调节精度。维度决定语义表达自由度与错误类型,距离函数(L2/Cosine/Dot)则确立“何为相近”的世界观。二者强耦合,直接塑造召回空间。调参前,先问:你更怕漏召,还是误召?

243 6
|
3月前
|
数据采集 人工智能 监控
|

别让大模型“学废了”!从数据清洗到参数调优,一次讲透微调实战

本文深入浅出讲解大模型微调(Fine-tuning):为何需要“岗前培训”,如何通过数据准备、参数调优(如LoRA)、训练监控与效果评估,让通用模型精准适配专业场景。强调“数据质量>数量”“监控胜过猜测”,助力开发者高效落地AI定制化应用。(239字)

973 4
|
3月前
|
JSON API 网络安全
|

Requests库入门指南

Requests是Python最流行的HTTP客户端库,以“为人类设计”为核心理念,封装HTTP复杂细节,提供简洁API。支持GET/POST等方法、会话管理、自动解码、SSL验证等,月下载超10亿次,广泛用于API调用、爬虫与微服务开发。(239字)

725 3
|
4月前
|
SQL 人工智能 安全
|

手把手教你调出“懂你”的AI:大模型微调实战与资源管理

本文深入浅出讲解大模型微调核心知识:用生活化比喻解析学习率、训练轮数、批量大小、截断长度和LoRA秩五大关键参数;提供适配不同显存的实操配置表;分享Liger Kernel、DeepSpeed等省显存技巧;并强调定量、定性与效率三维评估。零基础也能快速上手定制专属AI。

527 11
|
4月前
|
机器学习/深度学习 人工智能 算法
|

告别关键词搜索:手把手教你用向量数据库,解锁大模型的“最新”知识

本文用通俗语言详解向量数据库原理与实践:它通过“语义向量化”实现按意思而非关键词检索,是RAG系统中连接大模型与私有数据的核心“外挂大脑”。附Faiss+Sentence-Transformers实战Demo,10分钟搭建可运行的语义检索系统。(239字)

712 0
|
4月前
|
数据采集 监控 API
|

1688商品列表API接口快速上手指南

本文介绍如何通过1688开放平台官方API,合规高效地获取店铺商品列表数据。以`item_search_shop`接口为例,详解请求参数、签名生成规则与调用限制,结合Python实战实现稳定采集。强调签名安全、频率控制与数据合规使用,助力B2B电商分析、选品监控等场景高效落地。(238字)

410 1
|
4月前
|
编解码 JSON 监控
|

淘宝图片搜索API接口指南

淘宝图片搜索API(拍立淘)支持通过图片或URL检索淘宝/天猫同款商品,适用于比价、内容带货、运营监控等场景。需申请接口权限,上传符合要求的图片,返回相似商品信息,包括标题、价格、主图及相似度得分。

631 0
|
5月前
|
监控 Java 测试技术
|

OOM排查之路:一次曲折的线上故障复盘

本文记录了一次Paimon数据湖与RocksDB集成服务中反复出现的内存溢出(OOM)问题排查全过程。通过MAT、NMT、async-profiler等工具,结合监控分析与专家协作,最终定位到RocksDB通过JNI申请的堆外内存未释放是根因,并分享了转向Flink写入Paimon的解决方案及排查思路,为类似技术栈提供借鉴。(239字)

404 1
|
5月前
|
安全 Java 数据安全/隐私保护
|

2.OAuth2.0实战案例

本文介绍基于Spring Boot与Spring Cloud的OAuth2安全认证实现,涵盖父工程搭建、资源服务与授权服务配置,并演示授权码、简化、密码及客户端四种模式的全流程测试,实现安全的分布式系统权限控制。

449 0
|
6月前
|
新能源 5G 芯片
|

Ansys Electronics 全流程电磁仿真降本增效,附安装包

Ansys Electronics Suite是Ansys推出的电磁仿真与电子系统设计平台,覆盖芯片、组件到系统级的电磁、热、电路及多物理场耦合仿真,广泛应用于5G、汽车、航天等领域,助力工程师优化设计、提升性能,缩短研发周期,降低开发成本。

568 2
|
6月前
|
人工智能 小程序 定位技术
|

别让客人“刷”不到你:本地生活GEO布局的4个土办法

别让客人“刷”不到你!本地生活商家必须掌握的GEO四步土办法:画清3公里人群圈、结构化信息让AI秒懂、用顾客原话做内容、每月删旧更新。精准触达AI推荐,把客流引到店门口。(238字)

550 0
来自: 智能搜索推荐  版块
|
6月前
|
JSON 供应链 API
|

1688商品列表API全攻略

1688商品列表API是阿里巴巴B2B平台核心接口,支持关键词、类目、价格等多维度检索,分页获取商品ID、标题、价格等50+字段,适用于电商整合、供应链管理与市场分析。

376 2
|
8月前
|
存储 机器学习/深度学习 人工智能
|

RAG系统嵌入模型怎么选?选型策略和踩坑指南

嵌入是RAG系统的核心,直接影响检索质量。本文详解嵌入原理,解析稠密/稀疏、长上下文、多向量等类型,梳理选型关键:领域匹配、上下文长度、维度与成本,并结合MTEB基准给出实用建议,助你为业务挑选高效稳健的嵌入方案。

1045 2
|
8月前
|
JSON API 数据安全/隐私保护
|

天猫商品详情API 数据解析(附代码)

天猫商品详情API(tmall.item_get)通过商品ID获取标题、价格、库存、图片、SKU等信息,支持高并发,适用于电商数据分析与价格策略优化。接口采用HTTP请求与JSON返回,需AppKey+签名认证。附Python请求示例,含签名验证与异常处理。前往体验:c0b.cc/R4rbK2

407 1
|
9月前
|
存储 缓存 Apache
|

StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询

A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。

1303 1
|
10月前
|
机器学习/深度学习 自然语言处理 搜索推荐
|

搜索结果太乱?5种重排序模型让你的搜索系统准确率提升40%

本文将系统性地分析重排序模型的技术原理,深入探讨从传统学习排序方法到基于Transformer架构的前沿解决方案。

1191 0
|
10月前
|
分布式计算 Java 流计算
|

Fluss on 鲲鹏 openEuler 大数据实战

本文介绍了基于华为鲲鹏ARM架构服务器与openEuler操作系统,构建包含HDFS、ZooKeeper、Flink、Fluss及Paimon的实时大数据环境的完整实战过程。涵盖了软硬件配置、组件部署、集群规划、环境变量设置、安全认证及启停脚本编写等内容,适用于企业级实时数据平台搭建与运维场景。

1424 0
来自: 实时计算 Flink  版块
|
12月前
|
人工智能 自然语言处理 算法
|

DistilQwen-ThoughtX:变长思维链推理模型,能力超越DeepSeek蒸馏模型

阿里云PAI团队开发的 OmniThought 数据集,其中包含200万思维链,并标注了推理冗余度(RV)和认知难度(CD)分数。基于此数据集,我们还推出了 DistilQwen-ThoughtX 系列模型,可以通过RV和CD分数对思维链进行筛选,训练得到的模型获得根据问题和本身的认知能力,生成变长思维链的能力。同时在 EasyDistill 框架中开源了 OmniThought 数据集和 DistilQwen-ThoughtX 模型的全部权重。这些模型在性能上超过了 DeepSeek-R1-Distill 系列。

1310 9
来自: 人工智能平台PAI  版块
|
12月前
|
存储 消息中间件 OLAP
|

基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路

本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。

1939 3
来自: 实时计算 Flink  版块
|
12月前
|
存储 机器学习/深度学习 人工智能
|

多模态RAG实战指南:完整Python代码实现AI同时理解图片、表格和文本

本文探讨了多模态RAG系统的最优实现方案,通过模态特定处理与后期融合技术,在性能、准确性和复杂度间达成平衡。系统包含文档分割、内容提取、HTML转换、语义分块及向量化存储五大模块,有效保留结构和关系信息。相比传统方法,该方案显著提升了复杂查询的检索精度(+23%),并支持灵活升级。文章还介绍了查询处理机制与优势对比,为构建高效多模态RAG系统提供了实践指导。

2779 0
|
SQL 人工智能 数据挖掘
|

quickbi使用总结以及问题反馈

本文总结了使用QuickBI高级版及电子表格的功能体验与改进建议。内容涵盖具体报表使用(如趋势分析表、多维趋势表)、函数及其他模块(如LOD函数、自助取数)、AI智能问数模块以及数据集使用的优缺点。指出趋势分析表在复合指标处理上的不足,多维趋势表对比周期限制,以及1万条明细数据限制对年同比的影响等问题。同时提出未来期望,希望建立结合企业知识库的大模型,优化数据分析与建议能力。

1090 46
来自: 数据可视化DataV  版块
|
人工智能 自然语言处理 物联网
|

阿里万相重磅开源,人工智能平台PAI一键部署教程来啦

阿里云视频生成大模型万相2.1(Wan)重磅开源!Wan2.1 在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面具有显著的优势,轻松实现高质量的视频生成。同时,万相还支持业内领先的中英文文字特效生成,满足广告、短视频等领域的创意需求。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署阿里万相重磅开源的4个模型,可获得您的专属阿里万相服务。

2006 13
来自: 人工智能平台PAI  版块
|
人工智能 自然语言处理 小程序
|

让小程序拥有“视觉之眼“:DeepSeek图像识别实战指南

本文介绍如何通过DeepSeek计算机视觉技术,赋予小程序“看懂世界”的能力。从构建视觉感知系统、训练专属视觉词典到创造会思考的界面,详细讲解了实现智能相册、植物识别器和老旧照片修复等功能的步骤。最后探讨性能优化与安全合规要点,展望未来视觉智能应用的无限可能。

2457 2
|
自然语言处理 监控 安全
|

SmolLM2:多阶段训练策略优化和高质量数据集,小型语言模型同样可以实现卓越的性能表现

SmolLM2 通过创新的多阶段训练策略、高质量数据集的构建与优化,以及精细的模型后训练调优,在 1.7B 参数规模下实现了卓越的性能表现,并在多个基准测试中超越了同等规模甚至更大规模的语言模型。

905 73
|
机器学习/深度学习 监控 Linux
|

ollama+openwebui本地部署deepseek 7b

Ollama是一个开源平台,用于本地部署和管理大型语言模型(LLMs),简化了模型的训练、部署与监控过程,并支持多种机器学习框架。用户可以通过简单的命令行操作完成模型的安装与运行,如下载指定模型并启动交互式会话。对于环境配置,Ollama提供了灵活的环境变量设置,以适应不同的服务器需求。结合Open WebUI,一个自托管且功能丰富的Web界面,用户可以更便捷地管理和使用这些大模型,即使在完全离线的环境中也能顺利操作。此外,通过配置特定环境变量,解决了国内访问限制的问题,例如使用镜像站来替代无法直接访问的服务。

3079 9
|
存储 人工智能 芯片
|

面向AI的服务器计算互连的创新探索

面向AI的服务器计算互连创新探索主要涵盖三个方向:Scale UP互连、AI高性能网卡及CIPU技术。Scale UP互连通过ALink系统实现极致性能,支持大规模模型训练,满足智算集群需求。AI高性能网卡针对大规模GPU通信和存储挑战,自研EIC网卡提供400G带宽和RDMA卸载加速,优化网络传输。CIPU作为云基础设施核心,支持虚拟化、存储与网络资源池化,提升资源利用率和稳定性,未来将扩展至2*800G带宽,全面覆盖阿里云业务需求。这些技术共同推动了AI计算的高效互联与性能突破。

1790 3
|
Web App开发 数据采集 JavaScript
|

CDP与Selenium相结合——玩转网页端自动化数据采集/爬取程序

本文介绍了Selenium、Chrome DevTools及Chrome DevTools Protocol (CDP) 的基本功能与应用。Selenium是一款开源自动化测试工具,适用于网页端应用程序测试和数据采集,具备跨平台特性。Chrome DevTools内置浏览器中,提供调试、分析Web应用程序的功能,包括元素、控制台、源代码和网络选项卡等。CDP是一套用于与Chromium内核浏览器通信的API,支持自动化测试和性能分析。文中还展示了Selenium与CDP结合使用的示例,如捕获网络请求数据和打印网页内容,并推荐了相关书籍和资源以供深入学习。

2125 39
|
存储 SQL 缓存
|

Flink 2.0 存算分离状态存储 — ForSt DB 

本文整理自阿里云技术专家兰兆千在Flink Forward Asia 2024上的分享,主要介绍Flink 2.0的存算分离架构、全新状态存储内核ForSt DB及工作进展与未来展望。Flink 2.0通过存算分离解决了本地磁盘瓶颈、检查点资源尖峰和作业恢复速度慢等问题,提升了云原生部署能力。ForSt DB作为嵌入式Key-value存储内核,支持远端读写、批量并发优化和快速检查点等功能。性能测试表明,ForSt在异步访问和本地缓存支持下表现卓越。未来,Flink将继续完善SQL Operator的异步优化,并引入更多流特性支持。

1610 88
来自: 实时计算 Flink  版块
|
安全 API 数据安全/隐私保护
|

淘宝店铺所有商品数据接口(Taobao.item_search_shop)

淘宝开放平台提供的 `Taobao.item_search_shop` 接口用于获取指定淘宝店铺的所有商品数据。请求参数包括 `seller_id`(必需)、`page`(可选,默认为1)和 `sort`(可选,排序方式如新品、价格、销量)。响应参数包括商品的唯一标识符、主图URL、标题、价格、销量等。使用步骤包括注册账号、创建应用、获取权限、构建请求、分页获取商品列表和获取商品详细信息。注意遵守调用频率限制和相关法律法规。

881 5
|
人工智能 自然语言处理 算法
|

AI时代的企业内训全景图:从案例到实战

作为一名扎根在HR培训领域多年的“老兵”,我越来越清晰地感受到,企业内训的本质其实是为企业持续“造血”。无论是基础岗的新人培训、技能岗的操作规范培训,还是面向技术中坚力量的高阶技术研讨,抑或是管理层的战略思维提升课,内训的价值都是在帮助企业内部提升能力水平,进而提高组织生产力,减少对外部资源的依赖。更为重要的是,在当前AI、大模型、Embodied Intelligence等新兴技术快速迭代的背景下,企业必须不断为人才升级赋能,才能在市场竞争中保持领先。

2011 13
来自: 人工智能平台PAI  版块
|
自然语言处理 资源调度 并行计算
|

从本地部署到企业级服务:十种主流LLM推理框架的技术介绍与对比

本文深入探讨了十种主流的大语言模型(LLM)服务引擎和工具,涵盖从轻量级本地部署到高性能企业级解决方案,详细分析了它们的技术特点、优势及局限性,旨在为研究人员和工程团队提供适合不同应用场景的技术方案。内容涉及WebLLM、LM Studio、Ollama、vLLM、LightLLM、OpenLLM、HuggingFace TGI、GPT4ALL、llama.cpp及Triton Inference Server与TensorRT-LLM等。

2400 7
|
UED
|

如何申请国际网络专线?

【10月更文挑战第9天】如何申请国际网络专线?

1427 2
|
机器学习/深度学习 数据采集 算法
|

时间序列结构变化分析:Python实现时间序列变化点检测

在时间序列分析和预测中,准确检测结构变化至关重要。新出现的分布模式往往会导致历史数据失去代表性,进而影响基于这些数据训练的模型的有效性。

1962 1

Fama-French模型,特别是三因子模型(Fama-French Three-Factor Model)

Fama-French模型,特别是三因子模型(Fama-French Three-Factor Model)

2569 1
|
存储 分布式计算 大数据
|

「大数据」Lambda架构

**Lambda架构**是Nathan Marz提出的用于大数据处理的模型,包括**批处理层**(预计算准确性)、**速度处理层**(实时低延迟)和**服务层**(合并结果响应查询)。它强调**容错性**、**低延迟**和**可扩展性**,并结合实时与批量处理。然而,它也面临数据口径不一致、计算窗口限制及开发复杂性等挑战。常用技术栈涉及Apache Hadoop/Spark、Storm/Flink、NoSQL数据库、Elasticsearch及消息队列。虽然有缺点,Lambda架构仍是大数据处理的重要框架。

817 0
|
自然语言处理 监控 并行计算
|

Qwen2大模型微调入门实战(完整代码)

该教程介绍了如何使用Qwen2,一个由阿里云通义实验室研发的开源大语言模型,进行指令微调以实现文本分类。微调是通过在(指令,输出)数据集上训练来改善LLMs理解人类指令的能力。教程中,使用Qwen2-1.5B-Instruct模型在zh_cls_fudan_news数据集上进行微调,并借助SwanLab进行监控和可视化。环境要求Python 3.8+和英伟达显卡。步骤包括安装所需库、准备数据、加载模型、配置训练可视化工具及运行完整代码。训练完成后,展示了一些示例以验证模型性能。相关资源链接也一并提供。

11177 5
|
消息中间件 关系型数据库 MySQL
|

Maxwell 概述、安装、数据同步【一篇搞定】!

Maxwell 是一个由 Zendesk 开源的用于 MySQL 数据库实时数据捕获和同步的工具,支持多种数据库系统,以 JSON 格式输出变更数据。它实时监控数据库中的更新,将变化传递给其他系统,常用于实时数据管道、数据仓库和事件驱动架构。Maxwell 具有实时性、可配置性和高性能等特点。其工作流程包括 Binlog 解析、数据解析、重构、发布到消息队列(如 Kafka)以及事件处理。安装时需注意 JDK 版本,并配置 MySQL、Zookeeper 和 Kafka。此外,Maxwell 支持定向监听特定库表,并能进行历史和增量数据同步。

3378 1
|
运维 监控 安全
|

什么是NetDevOps

总之,NetDevOps是一种综合性的方法,旨在将DevOps原则引入网络运维领域,通过自动化、持续交付、基础设施即代码等实践,

971 1
|
Ubuntu Linux
|

linux怎么查看自己的ip地址

在Linux系统中,有多种方法可以查看自己的IP地址。

2122 2
来自: 智能搜索推荐  版块
|
人工智能 JSON 运维
|

AI大模型运维开发探索第三篇:深入浅出运维智能体

大模型出现伊始,我们就在SREWorks开源社区征集相关的实验案例。玦离同学提供了面向大数据HDFS集群的智能体案例,非常好地完成了运维诊断的目标。于是基于这一系列的实验和探索。本文详细介绍智能体在运维诊断中的应用探索。

4858 3
来自: 大数据运维SREWorks  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

1
今日
69523
内容
128
活动
439957
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务