|
5月前
|
算法 搜索推荐 大数据
|

数据驱动增长:大数据与营销自动化的结合之道

数据驱动增长:大数据与营销自动化的结合之道

115 3
|
5月前
|
机器学习/深度学习 搜索推荐 测试技术
|

ReSearch:基于强化学习的大语言模型推理搜索框架

ReSearch是一种创新框架,利用强化学习训练大语言模型执行“推理搜索”,无需监督数据。它将搜索操作融入推理链,通过文本推理决定搜索时机与方式,并用搜索结果引导后续推理。研究显示,ReSearch自然形成高级推理能力,如反思与自我纠正。技术上,采用特定标签封装搜索查询与结果,迭代生成响应。实验基于Qwen2.5等模型,使用MuSiQue数据集训练,在多跳问答任务中显著超越基线模型,展现出强大泛化能力。动态分析表明,模型逐渐学会通过迭代搜索解决复杂问题,奖励指标也呈现稳定增长趋势。

175 1
|
5月前
|
Web App开发 前端开发 JavaScript
|

如何模拟浏览器行为获取网页中的隐藏表单数据?

如何模拟浏览器行为获取网页中的隐藏表单数据?

124 5
|
5月前
|
关系型数据库 MySQL 数据安全/隐私保护
|

大数据新视界--大数据大厂之MySQL 数据库课程设计:数据安全深度剖析与未来展望

本文深入探讨数据库课程设计 MySQL 的数据安全。以医疗、电商、企业案例,详述用户管理、数据加密、备份恢复及网络安全等措施,结合数据安全技术发展趋势,与《大数据新视界 -- 大数据大厂之 MySQL 数据库课程设计》紧密关联,为 MySQL 数据安全提供全面指南。

139 11
|
5月前
|
数据采集 消息中间件 Kubernetes
|

容器化爬虫部署:基于K8s的任务调度与自动扩缩容设计

随着业务复杂度提升,传统定时任务和手工扩缩容难以满足高并发与实时性需求。本文对比两种基于 Kubernetes 的爬虫调度与扩缩容方案:CronJob+HPA 和 KEDA。从调度灵活性、扩缩容粒度、实现难度等维度分析,并提供 YAML+Python 示例。方案 A(CronJob+HPA)适合固定定时任务,配置简单;方案 B(KEDA)支持事件驱动,适合高并发与异步触发场景。根据实际需求可混合使用,优化资源利用与效率。

166 4
|
5月前
|
传感器 物联网 机器人
|

5G 让物联网更“丝滑”——万物互联时代的新引擎

5G 让物联网更“丝滑”——万物互联时代的新引擎

123 14
|
5月前
|
存储 数据采集 分布式计算
|

别光堆数据,架构才是大数据的灵魂!

别光堆数据,架构才是大数据的灵魂!

203 13
|
5月前
|
Python 语音技术
|

paraformer问题

465 1
|
5月前
|
JSON API 开发者
|

深入研究:1688 拍立淘图片搜索 API 详解

本文介绍了 1688 拍立淘图片搜索 API 的功能与使用方法。该 API 支持开发者通过上传图片,在 1688 平台上搜索相似商品,返回商品标题、价格、销量等信息,适用于电商数据分析和商品推荐等场景。文章详细说明了接口的请求方式(HTTP POST)、参数(如 app_key、timestamp、sign 和 image)及 JSON 响应格式。此外,提供了 Python 请求示例代码,涵盖图片 Base64 编码、签名生成、发送请求及响应处理等步骤,帮助开发者快速集成与调试。

175 1
|
5月前
|
JSON 搜索推荐 API
|

深入研究:京东商品视频 API 详解

京东商品视频API简介:该API可基于京东商品ID获取商品视频信息,包括标题、描述、播放地址、缩略图及视频时长等,助力开发者和商家实现个性化展示与智能推荐。接口采用HTTP GET方式请求,返回JSON格式数据。示例代码展示了通过Python的requests库调用API并生成签名的过程,确保请求安全可靠。此API有助于提升电商应用的用户体验与竞争力。

172 5
|
5月前
|
消息中间件 存储 监控
|

Lalamove基于Flink实时湖仓演进之路

本文由货拉拉国际化技术部资深数据仓库工程师林海亮撰写,围绕Flink在实时数仓中的应用展开。文章首先介绍了Lalamove业务背景,随后分析了Flink在实时看板、数据服务API、数据监控及数据分析中的应用与挑战,如多数据中心、时区差异、上游改造频繁及高成本问题。接着阐述了实时数仓架构从无分层到引入Paimon湖仓的演进过程,解决了数据延迟、兼容性及资源消耗等问题。最后展望未来,提出基于Fluss+Paimon优化架构的方向,进一步提升性能与降低成本。

220 11
来自: 实时计算 Flink  版块
|
5月前
|
机器学习/深度学习 数据采集 算法
|

如何用大数据与机器学习挖掘瞪羚企业认定标准

本文探讨如何利用大数据与机器学习技术挖掘瞪羚企业认定标准。通过阿里云的大数据平台和政策宝资源整合能力,结合机器学习算法分析政策文本,提取关键信息,助力企业精准理解认定标准。文章对比了传统获取方式的局限性与新技术的优势,并以案例说明政策宝在申报中的作用,强调数据整合、模型选择及数据安全的重要性,为企业提供发展方向和政策支持。

118 1
|
5月前
|
人工智能 物联网 Apache
|

Flink Forward Asia 2025 新加坡站议题征集开启|The future of AI is Real-Time

Flink Forward Asia 2025 将于7月3日在新加坡盛大召开!作为Apache Flink社区顶级会议,大会聚焦实时AI、实时湖仓、实时分析等前沿方向,汇聚全球顶尖技术实践。即日起开放议题征集,诚邀开发者与数据专家分享创新经验。席位有限,立即行动!扫码或访问官网报名参与这场年度技术盛宴,共话实时计算未来。

419 17
来自: 实时计算 Flink  版块
|
5月前
|
存储 JSON API
|

深入研究:淘宝天猫商品详情查询API详解

淘宝开放平台提供一系列API接口,帮助开发者获取淘宝商品的详细信息并集成到自有应用中。主要功能包括:获取单个商品详情(item_get)、评论信息(item_review)、快递费用(item_fee)、等。此外,还支持搜索商品(item_search)、按图搜索(item_search_img)、优惠券查询(item_search_coupon)、类目信息(item_cat_get)等功能。返回数据通常为JSON格式,包含商品标题、价格、库存、主图链接等基本信息,以及HTML格式的详细描述内容,方便开发者解析与展示。

164 5
|
5月前
|
人工智能 数据可视化 前端开发
|

自学软硬件工程师776天精简版github项目同步推送步骤

注意 这篇文章不是水内容的,虽然我之前也写过 github推送同步的内容。

114 0
|
5月前
|
机器学习/深度学习 人工智能 运维
|

智能可穿戴设备如何革新职业健康管理?

智能可穿戴设备如何革新职业健康管理?

140 6
|
5月前
|
数据可视化 Python
|

【负荷预测】基于变分模态分解(VMD-CNN-LSTM)的短期电力负荷预测【Python】

本项目实现了一种基于变分模态分解(VMD)的短期电力负荷预测模型——VMD-CNN-LSTM。通过VMD技术将原始电力负荷数据分解为多个平稳子序列,结合温度和时间等特征构建矩阵,输入CNN-LSTM模型训练,最终叠加重构得到预测结果。此方法有效应对非线性和非平稳性引起的误差,精度高且稳定性强。程序采用Python编写,注释清晰,运行稳定,并提供直观的可视化结果。附带部分代码及详细运行结果展示,下载链接已提供。

310 15
|
5月前
|
传感器 数据采集 人工智能
|

可穿戴设备中的生物识别技术:连接人体与数据的桥梁

可穿戴设备中的生物识别技术:连接人体与数据的桥梁

109 7
|
5月前
|
数据采集 算法 大数据
|

揭秘大数据:洞察客户行为,发掘营销真机

揭秘大数据:洞察客户行为,发掘营销真机

126 6
|
5月前
|
JSON API 开发者
|

京东API最新指南:商品视频接口接入与应用

在电商领域,商品视频能有效提升销售业绩。京东商品视频接口助力开发者获取商品视频信息(播放链接、时长、格式、封面图等),通过 HTTP GET/POST 请求返回 JSON 数据,便于集成到各类应用中,优化展示效果与用户体验。本指南详解接口接入与使用方法。

203 6
|
6月前
|
Linux
|

linux常用命令详细说明以及案例

本文介绍了Linux中几个常用的命令及其用法,包括:`ls`(列出目录内容)、`cd`(切换目录)、`mkdir`(创建目录)、`rm -p`(删除目录及内容)和`mv`(移动或重命名文件/目录)。每个命令都配有详细说明、语法格式、常见选项及实用案例,帮助用户更好地理解和使用这些基础命令。内容源自[linux常用命令详细说明以及案例](https://linux.ciilii.com/show/news-285.html)。

148 7
来自: 智能搜索推荐  版块
|
6月前
|
机器学习/深度学习 算法 调度
|

【强化学习】基于深度强化学习的微能源网能量管理与优化策略研究【Python】

本项目基于深度Q网络(DQN)算法,通过学习预测负荷、可再生能源输出及分时电价等信息,实现微能源网的能量管理与优化。程序以能量总线模型为基础,结合强化学习理论,采用Python编写,注释清晰,复现效果佳。内容涵盖微能源网系统组成、Q学习算法原理及其实现,并提供训练奖励曲线、发电单元功率、电网交互功率和蓄电池调度等运行结果图表,便于对照文献学习与应用。

219 6
|
6月前
|
存储 定位技术 数据处理
|

隐私失窃背后的设备“告密者”:可穿戴设备的隐私保护之道

隐私失窃背后的设备“告密者”:可穿戴设备的隐私保护之道

192 11
|
6月前
|
人工智能 Python
|

2025自学编程实操指南第一课面向AI编程

2025自学编程实操指南第一课面向AI编程,第一个实践案例:贪吃蛇游戏

237 78
|
6月前
|
数据采集 JavaScript Python
|

如何根据目标网站调整Python爬虫的延迟时间?

如何根据目标网站调整Python爬虫的延迟时间?

106 3
|
6月前
|
JSON 数据挖掘 数据格式
|

一文读懂!微店商品列表数据接口全指南

微店作为电商热门平台,其商品列表数据接口为店铺运营提供了强大支持。通过该接口,开发者可高效获取商品关键数据,助力决策与业务拓展。接口通常采用 GET 或 POST 请求方式,需提供店铺 ID 等参数,返回 JSON 格式数据,包含商品名称、价格、库存等信息。示例代码展示了如何用 Python 调用接口并解析响应数据,帮助用户快速上手。

130 0
|
6月前
|
搜索推荐 Android开发 UED
|

信息检索系统评估指标的层级分析:从单点精确度到整体性能度量

本文深入探讨了信息检索系统(如搜索引擎)的评估机制,从用户行为特征出发,设计了一系列量化指标以衡量搜索结果的相关性和有效性。核心内容包括精确度(Precision)、Precision@K(聚焦前K个结果)、Average Precision@K(考虑位置权重)以及MAP@K(系统整体性能评估)。通过实际案例分析,展示了如何用这些指标评估搜索系统的质量,并强调高质量系统需在多维度上表现优异,以契合用户真实需求和行为模式。文章为优化信息检索系统提供了科学指导框架。

252 7
|
6月前
|
存储 人工智能 自然语言处理
|

基于QwQ-32B+Hologres+PAI搭建 RAG 检索增强对话系统

本文介绍如何使用PAI-EAS部署基于QwQ大模型的RAG服务,并关联Hologres引擎实例。Hologres与达摩院自研高性能向量计算软件库Proxima深度整合,支持高性能、低延时、简单易用的向量计算能力。通过PAI-EAS,用户可以一键部署集成大语言模型(LLM)和检索增强生成(RAG)技术的对话系统服务,显著缩短部署时间并提升问答质量。具体步骤包括准备Hologres向量检索库、部署RAG服务、通过WebUI页面进行模型推理验证及API调用验证。Hologres支持高性能向量计算,适用于复杂任务的动态决策,帮助克服大模型在领域知识局限、信息更新滞后和误导性输出等方面的挑战。

384 1
来自: 实时数仓 Hologres  版块
|
6月前
|
人工智能 自然语言处理 物联网
|

S3FT选择性自监督微调:通过智能选择训练样本提升大模型整体表现

选择性自我监督微调(S3FT)是一种创新的大语言模型微调方法,通过语义等价性判断器识别模型生成的正确响应,并结合标准答案优化模型。相比传统监督微调,S3FT在特定任务上表现更优,显著提升跨域泛化能力,有效缓解灾难性遗忘问题。实验结果显示,S3FT在多个基准测试中表现出色,尤其在阅读理解和领域外任务上优势明显。

183 70
|
6月前
|
存储 JSON API
|

Python测试淘宝店铺所有商品接口的详细指南

本文详细介绍如何使用Python测试淘宝店铺商品接口,涵盖环境搭建、API接入、签名生成、请求发送、数据解析与存储、异常处理等步骤。通过具体代码示例,帮助开发者轻松获取和分析淘宝店铺商品数据,适用于电商运营、市场分析等场景。遵守法规、注意调用频率限制及数据安全,确保应用的稳定性和合法性。

185 4
|
6月前
|
人工智能 自然语言处理 API
|

Hologres × PAI × DeepSeek 搭建 RAG 检索增强对话系统

本文介绍如何使用PAI-EAS部署基于DeepSeek大模型的RAG(检索增强生成)服务,并关联Hologres引擎实例。Hologres与阿里云自研高性能向量计算软件库Proxima深度整合,支持高性能、低延时的向量计算能力。通过PAI-EAS,用户可以一键部署集成了大语言模型和RAG技术的对话系统服务,显著缩短部署时间,并提高问答质量。部署步骤包括准备Hologres向量检索库、部署基于DeepSeek的RAG服务、通过WebUI进行模型推理验证,以及通过API调用进行模型推理验证。Hologres还提供了特色功能支持,如高性能向量计算等。

273 1
来自: 实时数仓 Hologres  版块
|
6月前
|
人工智能 数据可视化 数据挖掘
|

工业零件不良率、残次率的智能数据分析和数字化管理

在传统工业领域,我们通过引入DataV-Note平台,成功实现了企业智能数据分析与数字化管理的初步目标。这一平台不仅显著提升了数据处理的效率和准确性,还为我们的日常运营提供了更加科学、直观的决策支持。然而,这只是智能化转型的第一步。展望未来,我们期望能够进一步深化技术应用,推动企业管理向更高层次的智能化方向迈进。通过持续优化数据分析能力、完善数字化管理体系,我们致力于将企业的运营模式从传统的经验驱动转变为数据驱动,从而全面提升管理效能和市场竞争力,为企业创造更大的长期价值

154 7
|
6月前
|
数据采集 存储 数据库连接
|

Requests与BeautifulSoup:高效解析网页并下载资源

Requests与BeautifulSoup:高效解析网页并下载资源

232 6
|
6月前
|
机器学习/深度学习 算法 Python
|

机器学习特征筛选:向后淘汰法原理与Python实现

向后淘汰法(Backward Elimination)是机器学习中一种重要的特征选择技术,通过系统性地移除对模型贡献较小的特征,以提高模型性能和可解释性。该方法从完整特征集出发,逐步剔除不重要的特征,最终保留最具影响力的变量子集。其优势包括提升模型简洁性和性能,减少过拟合,降低计算复杂度。然而,该方法在高维特征空间中计算成本较高,且可能陷入局部最优解。适用于线性回归、逻辑回归等统计学习模型。

222 7
|
7月前
|
应用服务中间件 定位技术 网络安全
|

住宅IP和运营商IP有什么区别?

随着数字化发展,网络安全与隐私保护日益重要,代理IP成为热门选择。住宅IP由ISP分配给家庭用户,通常是动态的,适合日常上网,费用较低,且具有较高隐私保护。运营商IP则分配给企业或数据中心,多为静态,适用于高稳定性和带宽需求的业务,安全性更高但成本也更高。两者在用途、特性和成本上存在显著差异,用户可根据需求选择。

200 1
来自: 大数据计算 MaxCompute  版块
|
7月前
|
算法 数据安全/隐私保护 索引
|

基于GWO灰狼优化的多目标优化算法matlab仿真

本程序基于灰狼优化(GWO)算法实现多目标优化,适用于2个目标函数的MATLAB仿真。使用MATLAB2022A版本运行,迭代1000次后无水印输出结果。GWO通过模拟灰狼的社会层级和狩猎行为,有效搜索解空间,找到帕累托最优解集。核心步骤包括初始化狼群、更新领导者位置及适应值计算,确保高效探索多目标优化问题。该方法适用于工程、经济等领域复杂决策问题。

157 1
|
7月前
|
人工智能 运维 监控
|

客户案例 | 阿里云向量检索服务Milvus版助力中免日上搭建在线推荐系统

阿里云向量检索服务Milvus版对比开源版本具有性能高、稳定性强、管控功能齐全等优势,为中免日上技术团队在电商领域搭建推荐系统提供了强有力的支持。阿里云Milvus不仅具备良好的可观测性,而且弹性扩缩能力能够适应日益增长的数据规模,同时版本平滑升级也能让技术专家更便捷、无痛地升级和体验新版本的产品能力。

183 0
|
7月前
|
Web App开发 数据采集 开发者
|

某查”平台请求头反爬技术解析与应对

某查”平台请求头反爬技术解析与应对

107 1
|
7月前
|
数据采集 机器学习/深度学习 人工智能
|

静态长效代理IP利用率瓶颈解析与优化路径

在信息化时代,互联网已深度融入社会各领域,HTTP动态代理IP应用广泛,但静态长效代理IP利用率未达百分百,反映出行业结构性矛盾。优质IP资源稀缺且成本高,全球IPv4地址分配殆尽,高质量IP仅占23%。同时,代理服务管理存在技术瓶颈,如IP池更新慢、质量监控缺失及多协议支持不足。智能调度系统也面临风险预判弱、负载均衡失效等问题。未来需构建分布式IP网络、引入AI智能调度并建立质量认证体系,以提升资源利用率,推动数字经济发展。

107 2
来自: 大数据计算 MaxCompute  版块
|
7月前
|
JSON API 数据格式
|

爱回收获取询价项API接口(爱回收API系列)

爱回收是国内领先的电子产品回收平台,提供便捷的二手设备回收服务。开发者可通过其API接口集成询价功能,提升应用竞争力。该API采用POST请求,需传递app_id、timestamp、sign等参数,返回JSON格式的回收价格信息。示例代码展示了如何使用Python调用此API,获取并打印询价项和回收价格。请确保替换实际的app_id和app_secret,并关注官方文档以保持接口信息准确。

311 0
|
7月前
|
运维 监控 安全
|

代理IP故障排查,怎样快速锁定问题?

在信息化时代,互联网不可或缺,业务需求使HTTP动态代理IP的应用日益广泛。为快速排查代理IP故障,可采取以下步骤:1. 检查代理IP有效性(Ping测试、HTTP请求测试);2. 监控连接速度(延迟、带宽测试);3. 分析错误信息(HTTP状态码、错误日志);4. 检查代理设置(配置文件、协议支持);5. 使用调试工具(Wireshark、浏览器开发者工具);6. 咨询服务提供商;7. 检查网络环境(防火墙、ISP限制);8. 逐步故障排除并记录变化。通过这些方法,能有效找出并解决问题。

196 5
来自: 大数据计算 MaxCompute  版块
|
7月前
|
算法 机器人 Python
|

使用Selenium和ChromeDriver模拟用户操作:从表单填写到数据提交

简介:工程师小王和产品经理莉莉面临无人机市场调研投票数据获取难题,传统方法屡遭封禁。小王通过构建“隐身特工”装备——代理IP、随机UserAgent及有效Cookie,结合Python与Selenium技术,成功绕过问卷星的防刷票系统,实现自动化投票。最终,他们获得了看似真人投票的数据,展示了技术攻防的艺术。这段故事不仅是一场技术较量,更是对算法规则游戏的深刻思考。

150 2
|
7月前
|
JSON API 数据格式
|

关键词搜索爱回收商品列表API接口(爱回收API系列)

爱回收作为二手电子产品交易平台,提供丰富的商品资源。其API接口允许开发者通过关键词搜索商品列表,获取商品名称、类别、品牌、预估回收价格等信息,支持分页展示和自定义每页数量。接口采用HTTP GET请求,响应格式为JSON。以下是Python示例代码,展示如何使用该接口进行搜索。

167 2
|
7月前
|
人工智能 并行计算 算法
|

量子计算如何颠覆药物研发?

量子计算如何颠覆药物研发?

235 68
|
7月前
|
算法 数据可视化 数据安全/隐私保护
|

光纤三维布里渊温度和应变分布matlab模拟与仿真

本程序基于MATLAB 2022A,模拟光纤三维布里渊温度和应变分布。通过分析光波与声波在光纤中的相互作用(布里渊散射),实现对温度和应变的高分辨率测量。核心代码计算布里渊强度、频移,并生成三维可视化结果。该技术广泛应用于结构健康监测、地质灾害预警等领域。程序运行后无水印,展示清晰的仿真图像。

139 7

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

1
今日
67024
内容
127
活动
439201
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务