|
4月前
|
数据采集 Java 调度
|

从10个协程到1000个协程:性能下降的背后究竟发生了什么?

本文探讨了异步程序中常见的误解“协程越多越快”,并通过一个实际的异步抓取学术论文元数据的例子来阐明这一点。文章首先解释了协程过多可能导致的效率低下的原因,包括事件循环的调度限制、网络瓶颈、代理并发限制以及Python协程切换的成本。接着,文章提供了一个使用代理、从DOAJ抓取开放论文元数据并存入SQLite数据库的完整异步代码示例,并强调了合理设置并发量的重要性。最后,文章总结了初学者在编写异步抓取程序时容易遇到的几个陷阱,并提供了相应的解决方案。

210 2
|
5月前
|
存储 SQL 数据建模
|

数据建模到底怎么稳?从维度建模聊到列式存储,让你的数据仓库飞起来!

数据建模到底怎么稳?从维度建模聊到列式存储,让你的数据仓库飞起来!

176 8
|
5月前
|
机器学习/深度学习 数据采集 SQL
|

当大数据遇上全球健康:如何用数据把“救命”这件事做得更聪明?

当大数据遇上全球健康:如何用数据把“救命”这件事做得更聪明?

135 5
|
5月前
|
人工智能 算法 搜索推荐
|

数据不动产:租房这点事儿,终于有科技懂你了

数据不动产:租房这点事儿,终于有科技懂你了

196 8
|
5月前
|
SQL 人工智能 自然语言处理
|

如何找到适合好用的 AI 数据分析软件?实用指南

AI 数据分析软件则通过自然语言交互、智能问数、自动化建模查询等技术,让业务人员无需写复杂的 SQL 即可自主获取数据洞察,快速定位问题根因,并生成结构化决策建议。

237 11
|
5月前
|
监控 数据挖掘 API
|

淘宝天猫商品详情API全攻略

淘宝天猫商品详情API是淘宝开放平台的核心接口,支持通过商品ID获取标题、价格、库存、SKU等全维度信息,采用RESTful设计,实时高效,适用于比价系统、库存监控、智能选品等电商应用开发与数据分析场景。

271 0
|
5月前
|
人工智能 弹性计算 运维
|

EMR AI助手开启公测:用AI重塑大数据运维,更简单、更智能

EMR AI 助手开启公测,通过合理利用 EMR AI 助手的各项功能,可以快速查询资源信息、唤起相关操作、诊断组件异常、获取技术支持等,能帮您提升运维效率和操作体验。

356 1
|
5月前
|
数据可视化 数据挖掘 Java
|

基于大数据的短视频流量数据分析与可视化

本文探讨短视频流量数据分析与可视化管理系统的研究背景、意义及现状,分析其在现代信息化管理中的重要性。针对传统管理模式效率低、监管缺失等问题,结合Java、Hadoop、Scrapy、MySQL和SpringBoot等技术,设计并实现一套高效、智能的系统方案,推动短视频行业管理向网络化、智能化转型。

188 1
|
5月前
|
数据采集 数据可视化 安全
|

新材料企业CRM软件怎么选?2025年新版选型指南来了!

新材料行业销售周期长、客户多元、数据复杂,亟需高效CRM系统支撑。理想CRM应具备强数据整合、灵活定制、多系统协同及高安全性,助力企业提升销售效率与客户忠诚度,推动数字化转型与可持续发展。

171 1
|
5月前
|
数据采集 人工智能 NoSQL
|

抓取任务队列精简化:延迟队列、优先级队列与回退策略设计

描述了作者在处理抓取任务队列时遇到的挑战,包括任务堆积、线程阻塞和超时重试问题。通过引入延迟队列、优先级队列和回退策略,作者成功优化了任务调度策略,提高了系统的稳定性和资源利用率。核心代码示例展示了如何使用Redis实现延迟和优先级队列,以及如何执行任务和处理失败重试。最终,系统变得更加智能和高效,实现了更好的调度和资源管理。

224 1
|
5月前
|
人工智能 运维 监控
|

【2025云栖大会】AI 搜索引擎如何驱动亿级物流:货拉拉 x 阿里云 Elasticsearch

2025云栖大会 AI搜索与向量化模型专场上,拉拉 Elasticsearch技术负责人——陈敏华先生分享了 Elasticsearch 在全球化高并发业务场景下的深度实践,以及在迁移至阿里云 Elasticsearch Serverless 后的显著收益。货拉拉的案例为业界提供了可复制、可落地的技术范本。

446 4
|
5月前
|
JSON 监控 供应链
|

淘宝天猫店铺商品API:电商运营的数据赋能利器

天猫店铺商品API是淘宝开放平台的核心接口,支持通过店铺ID获取商品列表、库存、价格及多媒体信息。具备分页查询、字段筛选等功能,适用于电商分析、竞品监控与多平台运营,助力高效数据决策。(238字)

185 1
|
6月前
|
数据采集 JSON 数据挖掘
|

京东店铺商品API:多模态训练中的“数据-模型”桥梁

京东店铺所有商品API可获取指定店铺的全量商品信息,支持分页查询,返回商品名称、价格、库存、销量、评价及图片链接等数据,适用于商品采集、竞品分析与数据挖掘,助力精细化店铺运营。(238字)

160 1
|
6月前
|
搜索推荐 算法 大数据
|

基于python大数据的特产推荐系统

本研究基于Python大数据技术构建特产推荐系统,旨在解决旅游消费中信息不对称、推荐精准度低等问题。融合用户行为与特产属性数据,运用机器学习算法实现个性化推荐,提升用户体验与产业效益。

145 1
|
6月前
|
关系型数据库 MySQL 数据处理
|

基于python的化妆品销售分析系统

本项目基于Python构建化妆品销售分析系统,结合Django框架与MySQL数据库,实现销售数据的采集、处理、分析与可视化,助力企业精准营销与决策优化,推动化妆品行业数字化转型。

239 9
|
6月前
|
人工智能 算法 大数据
|

别让“热搜”骗了你:大数据如何让新闻更真实?

别让“热搜”骗了你:大数据如何让新闻更真实?

364 17
|
6月前
|
Java 数据处理 索引
|

(numpy)Python做数据处理必备框架!(二):ndarray切片的使用与运算;常见的ndarray函数:平方根、正余弦、自然对数、指数、幂等运算;统计函数:方差、均值、极差;比较函数...

ndarray切片 索引从0开始 索引/切片类型 描述/用法 基本索引 通过整数索引直接访问元素。 行/列切片 使用冒号:切片语法选择行或列的子集 连续切片 从起始索引到结束索引按步长切片 使用slice函数 通过slice(start,stop,strp)定义切片规则 布尔索引 通过布尔条件筛选满足条件的元素。支持逻辑运算符 &、|。

329 0
|
6月前
|
JSON Java 数据格式
|

java调用服务报错415 Content type ‘application/octet-stream‘ not supported

java调用服务报错415 Content type ‘application/octet-stream‘ not supported

372 6
|
6月前
|
存储 C++ 索引
|

最长连续序列(每天刷力扣hot100系列)

本题使用哈希表法求最长连续序列。利用unordered_set存储去重元素,遍历集合时仅当num-1不存在时才作为起点向后扩展,统计连续长度,时间复杂度O(n),空间复杂度O(n)。相比unordered_map更高效,因无需存储值。

291 1
|
7月前
|
机器学习/深度学习 数据采集 人工智能
|

AI能帮我们读懂心事吗?——聊聊人工智能在精神疾病早期诊断中的探索

AI能帮我们读懂心事吗?——聊聊人工智能在精神疾病早期诊断中的探索

201 5
|
7月前
|
小程序 JavaScript 搜索推荐
|

基于springboot的考研互助小程序

本项目基于SpringBoot开发考研互助小程序,整合优质资源,提供真题、视频、学习计划等功能,构建交流社区,助力考生高效备考,促进教育公平与信息化发展。

495 130
|
7月前
|
XML 数据格式
|

Parameter ‘**‘ not found. Available parameters are [0, 1, param1, param2]解决办法

Parameter ‘**‘ not found. Available parameters are [0, 1, param1, param2]解决办法

256 4
|
7月前
|
关系型数据库 MySQL Java
|

基于springboot的电池销售系统

本文探讨了信息管理系统在互联网时代的重要性,分析了传统管理模式的局限性,阐述了基于Spring Boot、Vue、Tomcat和MySQL技术开发电池销售系统的意义与架构,旨在提升管理效率与数据处理准确性。

135 4
|
7月前
|
机器学习/深度学习 人工智能 算法
|

数据是新药研发的“秘密武器”?聊聊背后的那些门道

数据是新药研发的“秘密武器”?聊聊背后的那些门道

137 2
|
7月前
|
JavaScript 安全 Java
|

基于springboot的摄影器材租赁回收系统

本系统基于Java、Spring Boot与Vue技术,构建摄影器材租赁回收平台,解决市场不规范、资源浪费等问题。支持在线预约、信用免押、智能评估等功能,提升器材利用率,降低用户成本,推动行业绿色可持续发展。

401 10
|
7月前
|
监控 算法 API
|

亚马逊商品列表API开发指南

亚马逊商品列表API助力开发者批量获取商品数据,支持市场分析、竞品监控与推荐系统。涵盖商品信息、价格、库存等,提供Python调用示例,快速接入。

347 1
|
7月前
|
存储 人工智能 监控
|

看得清、判得准、动得快:智能摄像头如何优化安全监控系统

看得清、判得准、动得快:智能摄像头如何优化安全监控系统

245 3
|
7月前
|
算法 搜索推荐 数据挖掘
|

广告钱别乱烧!聊聊如何用数据分析提升投放精准度

广告钱别乱烧!聊聊如何用数据分析提升投放精准度

351 6
|
7月前
|
JavaScript 关系型数据库 MySQL
|

基于python的医院智慧门诊系统研究

本系统基于Python和Django框架,结合MySQL、Vue等技术,构建功能全面、易用性强的医院智慧门诊平台。系统涵盖患者与医务人员信息管理、在线挂号、智能导诊、电子病历、远程医疗等功能,优化就医流程,提升医疗效率与服务质量,助力医疗服务数字化转型。

226 0
|
7月前
|
JSON 供应链 监控
|

避坑指南:1688商品详情API采集及常见错误码

1688商品详情API可获取商品基础信息、价格、库存等50+字段,适用于供应链管理与价格监控。支持RESTful调用,返回JSON格式数据。提供Python请求示例,轻松对接。

158 0
|
7月前
|
分布式计算 安全 大数据
|

别等被黑客敲门才醒悟:大数据如何帮你防住网络攻击?

别等被黑客敲门才醒悟:大数据如何帮你防住网络攻击?

309 32
|
7月前
|
数据采集 监控 C#
|

构建一个“会思考”的房地产数据获取脚本

本文探讨如何借鉴认知科学中的“自适应”理念,设计具备环境反馈调整能力的智能爬虫系统,用于高效监测房地产市场信息。

111 0
|
7月前
|
SQL 缓存 分布式计算
|

【跨国数仓迁移最佳实践5】MaxCompute近线查询解决方案助力物流电商等实时场景实现高效查询

本系列文章将围绕东南亚头部科技集团的真实迁移历程展开,逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第5篇,解析跨国数仓迁移背后的性能优化技术。 注:客户背景为东南亚头部科技集团,文中用 GoTerra 表示。

318 8
来自: 大数据计算 MaxCompute  版块
|
7月前
|
API 开发者 Python
|

京东商品评论API技术指南

京东商品评论API是京东开放平台的核心接口,支持开发者获取评论内容、评分、用户属性等20+字段,适用于口碑监测、竞品分析和商业决策。提供智能筛选、分页查询和排序功能,结合Python示例,便于快速集成与应用。

254 0
|
7月前
|
传感器 人工智能 安全
|

别再堵在路上了!聊聊5G在智能交通管理里的“神操作”

别再堵在路上了!聊聊5G在智能交通管理里的“神操作”

223 5
|
7月前
|
监控 搜索推荐 算法
|

别光喊“用户至上”,电子商务体验要靠大数据来落地!

别光喊“用户至上”,电子商务体验要靠大数据来落地!

147 4
|
8月前
|
数据采集 人工智能 搜索推荐
|

大数据+教育:个性化学习不是“噱头”,而是刚需!

大数据+教育:个性化学习不是“噱头”,而是刚需!

148 0
|
8月前
|
传感器 安全 机器人
|

5G+远程手术:当“低延迟”成为一把手术刀

5G+远程手术:当“低延迟”成为一把手术刀

300 3
|
8月前
|
人工智能
|

如何把自己“建”出来( Prompt大模型的自我描述 系列四)

本文讲述了一个人工智能体如何逐步构建自身认知结构的过程。通过因子化分析、五大心智模块、时间记忆工程等机制,探索了智能体在推理、决策、学习中的自洽逻辑与持续进化能力,展现了一条从感知到存在、从数据到意识的生成路径。

286 11
|
8月前
|
传感器 人工智能 监控
|

戴手环太土了?皮肤植入式传感器才是健康监测的终极形态

戴手环太土了?皮肤植入式传感器才是健康监测的终极形态

314 12
|
8月前
|
存储 数据采集 搜索推荐
|

Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)

本篇文章探讨了 Java 大数据在智慧文旅景区中的创新应用,重点分析了如何通过数据采集、情感分析与可视化等技术,挖掘游客情感需求,进而优化景区服务。文章结合实际案例,展示了 Java 在数据处理与智能推荐等方面的强大能力,为文旅行业的智慧化升级提供了可行路径。

301 0
|
8月前
|
敏捷开发 人工智能 小程序
|

什么是敏捷内容管理系统

敏捷内容管理系统(Agile CMS)是一种以 “快速响应、灵活适配、高效协作” 为核心的现代化内容管理解决方案,旨在解决传统内容管理系统(CMS)在数字化时代的局限性,满足企业对内容全生命周期管理的敏捷化需求。

152 0
|
8月前
|
JSON 算法 API
|

小红书商品详情签名算法Python

本文分享了作者在对接小红书商品详情API过程中的实战经验,涵盖权限申请、签名算法、限流控制、数据解析及Webhook接入等关键技术环节,并附有实用Python代码示例。

544 0
|
8月前
|
数据采集 前端开发 数据可视化
|

如何像翻书一样,稳定地抓到你想要的分页数据?

本文分享了如何通过 Python 稳定抓取 51Job 等招聘网站的分页数据。使用 `requests` 和 `BeautifulSoup` 解析网页,结合代理服务与随机延迟策略,有效避免被限制请求,并将数据存入数据库进行后续分析。附完整代码与实战经验总结,适合有分页爬取需求的开发者参考。

286 0
|
8月前
|
人工智能 JavaScript 前端开发
|

全球首个 用代码画地球、日月的动态轨道模型

本文介绍了太阳、地球和月球之间的关系,并详细展示了如何利用WxGL绘制三者的动态轨道模型。内容涵盖天体的起源、大小、运行轨迹及关键数据,帮助读者直观理解四季变化、日月食等自然现象。通过代码实现,模型可演示天体运动规律,适合科普与教学应用。

391 0
|
8月前
|
机器学习/深度学习 自然语言处理 算法
|

Java 大视界 -- Java 大数据机器学习模型在自然语言处理中的对抗训练与鲁棒性提升(205)

本文探讨Java大数据与机器学习在自然语言处理中的对抗训练与鲁棒性提升,分析对抗攻击原理,结合Java技术构建对抗样本、优化训练策略,并通过智能客服等案例展示实际应用效果。

238 0
|
9月前
|
机器学习/深度学习 人工智能 PyTorch
|

当量子力学遇上人工智能:科幻照进现实了吗?

当量子力学遇上人工智能:科幻照进现实了吗?

338 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69316
内容
128
活动
439802
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务