|
4月前
|
开发者 存储 算法
|

京东商品评论接口(jingdong.ware.comment.get)技术解析:数据拉取与情感分析优化

本文详解京东商品评论接口(jingdong.ware.comment.get)的技术对接全流程,涵盖核心字段解析、签名生成、请求参数配置及数据处理要点。针对签名失败、405错误、空数据等高频问题提供避坑方案,并结合Python代码实现结构化解析与情感分析优化,助力开发者高效集成,降低试错成本。

254 0
|
4月前
|
数据采集 Web App开发 前端开发
|

处理动态Token:Python爬虫应对AJAX授权请求的策略

处理动态Token:Python爬虫应对AJAX授权请求的策略

355 0
|
4月前
|
存储 SQL 机器学习/深度学习
|

ClickHouse不止于快:它在AI领域悄悄做了这些大事!

在第16届中国数据库技术大会(DTCC2025)大会上,ClickHouse Inc技术总监王鹏程,根据自己和团队在ClickHouse的技术实践经历,发表了题为《ClickHouse在AI领域的进展和应用》的主题演讲,分享了ClickHouse在现代数据架构中的创新应用,特别是在向量搜索、智能代理分析、机器学习数据管理等关键领域的突破。本文由ITPUB整理,经王鹏程老师授权发布。以下为演讲实录。

506 0
来自: 数据仓库  版块
|
5月前
|
存储 JSON Java
|

淘宝店铺全量商品接口实现:从店铺解析到批量采集技术方案

本文介绍了淘宝店铺商品数据采集的技术实现方案,涵盖店铺页面解析、商品分页遍历及反爬策略应对。内容聚焦于合规性要求与核心技术难点,提供基于Python的实战代码,实现高效、稳定且符合平台规则的商品数据批量获取,适用于电商分析与竞品监控场景。

328 0
|
6月前
|
人工智能 关系型数据库 分布式数据库
|

PolarDB Supabase 助力快速构建现代应用

简介:本文介绍了在AI时代背景下,如何通过阿里云瑶池推出的全托管Supabase服务快速构建现代应用。该服务基于开源Supabase与PolarDB-PG数据库,提供一站式后端解决方案,涵盖实时数据库、身份认证、文件存储及AI能力,助力开发者高效迭代业务,降低运维复杂度。适用于协作类应用、SaaS平台、移动开发等多种场景。

577 0
来自: 关系型数据库  版块
|
7月前
|
NoSQL Redis
|

跨redis迁移数据的增量迁移方案和工具

面对这个不能完全覆盖的需求,使用RDB备份的需求是无法满足,因为RDB文件会将B的全部数据改为A的数据,显然是不可行的。后来我用了yunedit-redis,这款客户端工具,完美实现了数据的迁移,而且全程都在客户端操作,无需通过编码的方式来实现。

297 1
来自: 数据库管理工具  版块
|
8月前
|
SQL 数据可视化 关系型数据库
|

Doris Manager 24.3 版本正式发布,增强集群巡检能力

Apache Doris 是全球领先的开源实时数据仓库,已被 5000+ 中大型企业广泛应用。为解决传统客户端工具在功能、成本及适配性上的不足,飞轮科技推出专为 Apache Doris 打造的可视化工具 SelectDB Studio。它提供 Desktop 和 Server 两个版本,支持永久免费使用,具备多数据源连接、SQL 编辑器、Profile 分析、日志检索、查询审计和权限管理等核心功能,深度集成 Apache Doris 的联邦查询与湖仓一体分析能力。未来还将新增数据导入与迁移功能,助力用户高效开发与管理数据。

743 27
|
11月前
|
SQL 缓存 数据处理
|

数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)

Apache Doris 提出“数据无界”和“湖仓无界”理念,提供高效的数据管理方案。本文聚焦三个典型应用场景:湖仓分析加速、多源联邦分析、湖仓数据处理,深入介绍 Apache Doris 的最佳实践,帮助企业快速响应业务需求,提升数据处理和分析效率

676 3
来自: 数据仓库  版块
|
28天前
|
SQL 存储 移动开发
|

Oracle 视图

可以把Oracle视图看作是给一段复杂查询存的“快捷方式”,让你能像查一张简单的表一样去访问它,省去了每次都写长串代码的麻烦。普通视图只是个逻辑窗口,本身不存数据,主要用来简化操作和控制权限。但如果某个查询实在太慢,想用空间换时间,那就得用“物化视图”。它会真实地存一份数据副本,专门给查询提-速,是性能优化的一大杀手锏。

111 1
|
2月前
|
NoSQL 关系型数据库 Apache
|

Apache Doris 登顶 RTABench —— 实时分析领域的性能王者

Apache Doris 在最新 RTABench 实时分析榜单中登顶,性能达 ClickHouse 的6倍、PostgreSQL 的30倍、MongoDB 的100倍。依托 MPP 架构、列式存储、Pipeline 引擎与智能优化器,Doris 在多表关联、实时查询等场景表现卓越,成为实时分析新标杆。

192 12
|
3月前
|
人工智能 运维 NoSQL
|

共赴智能未来|同行六年,阿里云蝉联MongoDB年度DBaaS认证合作伙伴奖

与MongoDB的合作已迈入全新阶段

346 10
来自: NoSQL数据库  版块
|
3月前
|
安全 关系型数据库 MySQL
|

MySQL包安装 -- SUSE系列(离线RPM包安装MySQL)

本文详细介绍在openSUSE系统上通过离线RPM包安装MySQL 8.0和8.4版本的完整步骤,包括下载地址、RPM包解压、GPG密钥导入、使用rpm或zypper命令安装及服务启动验证,涵盖初始密码获取与安全修改方法,适用于无网络环境下的MySQL部署。

448 3
来自: 关系型数据库  版块

阿里云瑶池数据库 Data Agent,数据安全,分析准确,让数据更有价值!

阿里云瑶池数据库 Data Agent,数据安全,分析准确,让数据更有价值! # 云栖大会 # Data+AI 了解详情:https://www.aliyun.com/activity/database/data-agent 欢迎搜索钉钉群号(105130018526)加入 Data Agent 用户群

443 0
来自: Data+AI  版块
|
5月前
|
机器学习/深度学习 数据安全/隐私保护 UED
|

淘宝图片搜索接口开发指南:从图像识别到商品匹配的全流程实现

图片搜索技术极大提升了电商用户体验。本文详解淘宝图片搜索接口的实现原理与开发实战,涵盖预处理、特征提取、比对与结果返回等核心流程,并提供可复用代码。内容还包括常见错误处理、合规性开发注意事项及多种扩展应用场景,助力开发者快速构建高效、合规的图片搜索功能。

699 0
|
6月前
|
缓存 Cloud Native Java
|

Java 面试微服务架构与云原生技术实操内容及核心考点梳理 Java 面试

本内容涵盖Java面试核心技术实操,包括微服务架构(Spring Cloud Alibaba)、响应式编程(WebFlux)、容器化(Docker+K8s)、函数式编程、多级缓存、分库分表、链路追踪(Skywalking)等大厂高频考点,助你系统提升面试能力。

339 0
|
6月前
|
数据库管理
|

《DTS 发布 AI 数据准备能力--One Channel For AI》准备+迁移一站式解决方案演示

《DTS 发布 AI 数据准备能力--One Channel For AI》产品文档 https://help.aliyun.com/zh/dts/user-guide/what-is-data-preparation

355 0
来自: Data+AI  版块
|
7月前
|
SQL 关系型数据库 MySQL
|

MySQL 5.6/5.7 DDL 失败残留文件清理指南

通过本文的指南,您可以更安全地处理 MySQL 5.6 和 5.7 版本中 DDL 失败后的残留文件,有效避免数据丢失和数据库不一致的问题。

443 1
来自: 关系型数据库  版块
|
8月前
|
存储 缓存 分布式计算
|

StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践

本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术,详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划,为您提供全面的技术解读。 作者:杨关锁,北京镜舟科技研发工程师

619 9
|
8月前
|
Cloud Native 关系型数据库 分布式数据库
|

阿里云PolarDB与沃趣科技携手打造一体化数据库解决方案,助推国产数据库生态发展

阿里云瑶池数据库与沃趣科技将继续深化合作,共同推动国产数据库技术的持续创新与广泛应用,为行业生态的繁荣注入更强劲的技术动力。

766 49
来自: 关系型数据库  版块
|
9月前
|
人工智能 关系型数据库 OLAP
|

光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓

AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。

735 17
来自: 数据仓库  版块
|
10月前
|
存储 人工智能 Cloud Native
|

小鹏汽车选用阿里云PolarDB,开启AI大模型训练新时代

PolarDB-PG云原生分布式数据库不仅提供了无限的扩展能力,还借助丰富的PostgreSQL生态系统,统一了后台技术栈,极大地简化了运维工作。这种强大的组合不仅提高了系统的稳定性和性能,还为小鹏汽车大模型训练的数据管理带来了前所未有的灵活性和效率。

547 2
来自: 关系型数据库  版块
|
11月前
|
数据管理 关系型数据库 MySQL
|

数据管理服务DMS支持MySQL数据库的无锁结构变更

本文介绍了使用Sysbench准备2000万数据并进行全表字段更新的操作。通过DMS的无锁变更功能,可在不锁定表的情况下完成结构修改,避免了传统方法中可能产生的锁等待问题。具体步骤包括:准备数据、提交审批、执行变更及检查表结构,确保变更过程高效且不影响业务运行。

645 2
来自: 数据库管理工具  版块
|
26天前
|
自然语言处理 搜索推荐 Java
|

ES分布式搜索引擎入门

本课程学习Elasticsearch核心知识,包括倒排索引原理、IK中文分词器使用与扩展、索引的增删改查、Java Client实现文档操作及全文检索、布尔查询、排序分页与高亮显示,并结合实际电商场景完成搜索功能开发与数据聚合分析。

115 0
|
1月前
|
SQL 关系型数据库 数据库
|

PostgreSQL逻辑复制扩展pglogical2安装及使用详细

PostgreSQL逻辑复制扩展pglogical2安装及使用详解

116 2

【RDS AI 小课堂】Don't let AI guess, let it KNOW!

本视频将带你了解 RDS AI Coding 平台的‘外置大脑’是如何运转的。这是一条从文档知识到线上服务的完整流水线。视频中将为你演示如何根据 PRD 的设计实现一个能查业务数据 + 能看业务文档”的 AI 助手 Agent。

239 0
|
1月前
|
消息中间件 NoSQL Kafka
|

强一致性时代,Kafka、Redis、Celery 谁才是那块短板

这篇文章讨论了一个金融级实时Tick数据项目的失败与修复。项目最初使用Celery、Kafka和Redis,但因缺乏重试、幂等和安全策略导致问题。文章提出了四个关键改进方向,修复后的系统满足了金融级要求,总结了五点教训。

123 1
|
2月前
|
SQL 人工智能 数据挖掘
|

Apache Doris AI 能力揭秘(三):AI_AGG 与 EMBED 函数深度解析

Apache Doris 推出 AI_AGG 与 EMBED 两大核心函数,实现文本智能聚合与语义向量化分析。AI_AGG 支持海量文本动态预聚合,EMBED 结合向量函数实现相似度检索、问答匹配等场景,原生集成 AI 能力至 SQL,让数据分析更智能高效。

207 7
来自: 数据仓库  版块
|
2月前
|
SQL 存储 运维
|

Apache Doris 自动分区:如何应对分布式环境下的复杂并发挑战|Deep Dive

在分布式环境下,分区对性能的影响不可小觑。本文深度、详尽的讲解 Apache Doris 自动分区设计思考,并就多线程复杂并发场景下所面临的挑战,一一剖析 Doris 自动分区设计时的应对策略。

143 4
|
3月前
|
自然语言处理 数据挖掘 关系型数据库
|

ADB AI指标分析在广告营销场景的方案及应用

ADB Analytic Agent助力广告营销智能化,融合异动与归因分析,支持自然语言输入、多源数据对接及场景模板化,实现从数据获取到洞察报告的自动化生成,提升分析效率与精度,推动数据驱动决策。

259 0
来自: Data+AI  版块
|
4月前
|
数据采集 网络协议 API
|

协程+连接池:高并发Python爬虫的底层优化逻辑

协程+连接池:高并发Python爬虫的底层优化逻辑

292 0
|
4月前
|
数据采集 JavaScript 前端开发
|

“所见即所爬”:使用Pyppeteer无头浏览器抓取动态壁纸

“所见即所爬”:使用Pyppeteer无头浏览器抓取动态壁纸

353 2
|
4月前
|
SQL 关系型数据库 MySQL
|

阿里云的云数据库RDS简介

阿里云关系型数据库RDS(Relational Database Service)是一种安全稳定、高性价比、可弹性伸缩的在线数据库服务。支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供容灾、备份、恢复、监控、迁移等全套解决方案,帮助用户轻松应对数据库运维挑战。RDS具备高可用性、高安全性、轻量运维和弹性伸缩等优势,适用于各类业务场景,助力企业降低成本、提升效率。

437 1
|
4月前
|
存储 Linux C语言
|

【零基础友好】Linux 初学者指令指南:常用指令 + 实操案例,一步一步教你用(收藏级)

本教程系统讲解Linux操作系统基础操作与常用指令,涵盖账号管理、路径操作、文件处理、目录管理、文本查看、时间设置、文件搜索、压缩解压等内容,适合初学者快速掌握Linux命令行核心技能。

731 3
来自: 数据库管理工具  版块
|
4月前
|
数据采集 缓存 监控
|

京东商品API技术对接手册(2025版)

本接口文档涵盖基础服务能力、核心接口规范、业务场景实现及开发者注意事项。包括请求性能、数据覆盖、同步机制、认证鉴权、流量控制等内容,适用于商品信息获取、价格监控、库存预警等场景,助力开发者高效对接系统。

332 0
|
4月前
|
SQL 存储 关系型数据库
|

通过 select into outfile / load data infile 进行数据导入导出学习笔记

通过 select into outfile / load data infile 进行数据导入导出学习笔记

228 1
|
6月前
|
存储 SQL Apache
|

网易云信 x Doris:降本70%、提速11倍, 统一 ES/InfluxDB/Hive 多技术栈的落地实践

网易云信引入 Apache Doris 统一了原有 Elasticsearch、InfluxDB 和 Hive 多技术栈系统。凭借其高性能和易扩展的特点,提供一站式的数据存储和分析服务。实现机器成本降低 70%、实时场景查询提速 11 倍、离线任务耗时缩短 80% 的显著收益。

499 0
来自: 数据仓库  版块
|
6月前
|
缓存 NoSQL Java
|

Java 项目实操高并发电商系统核心模块实现从基础到进阶的长尾技术要点详解 Java 项目实操

本项目实战实现高并发电商系统核心模块,涵盖商品、订单与库存服务。采用Spring Boot 3、Redis 7、RabbitMQ等最新技术栈,通过秒杀场景解决库存超卖、限流熔断及分布式事务难题。结合多级缓存优化查询性能,提升系统稳定性与吞吐能力,适用于Java微服务开发进阶学习。

239 0
|
7月前
|
存储 SQL 对象存储
|

StarRocks 3.5 新特性解读:Snapshot 快照恢复、大导入性能全面升级、分区管理更智能

自 2023 年 4 月推出存算分离架构以来,StarRocks 在性能优化和功能迭代方面不断加速,以持续满足企业日益增长的数据分析需求。最新发布的 StarRocks 3.5 版本再次聚焦用户痛点,带来了一系列实用的新特性:新增的 Snapshot 快照恢复机制有效提升数据安全与灾备能力,大规模数据导入流程的优化持续提升易用性与稳定性。

343 10
|
7月前
|
监控 算法 关系型数据库
|

分布式事务难题终结:Seata+DRDS全局事务一致性架构设计

在分布式系统中,CAP定理限制了可用性、一致性与分区容错的三者兼得,尤其在网络分区时需做出取舍。为应对这一挑战,最终一致性方案成为常见选择。以电商订单系统为例,微服务化后,原本的本地事务演变为跨数据库的分布式事务,暴露出全局锁失效、事务边界模糊及协议差异等问题。本文深入探讨了基于 Seata 与 DRDS 的分布式事务解决方案,涵盖 AT 模式实践、分片策略优化、典型问题处理、性能调优及高级特性实现,结合实际业务场景提供可落地的技术路径与架构设计原则。通过压测验证,该方案在事务延迟、TPS 及失败率等方面均取得显著优化效果。

412 61
|
7月前
|
存储 关系型数据库 数据库
|

高性能云盘:一文解析RDS数据库存储架构升级

性能、成本、弹性,是客户实际使用数据库过程中关注的三个重要方面。RDS业界率先推出的高性能云盘(原通用云盘),是PaaS层和IaaS层的深度融合的技术最佳实践,通过使用不同的存储介质,为客户提供同时满足低成本、低延迟、高持久性的体验。

540 4
来自: 关系型数据库  版块
|
9月前
|
安全 OLAP 数据库
|

拒绝等待!阿里云瑶池数据库 x Qwen3,构建增强式RAG

阿里云瑶池 Dify on DMS + AnalyticDB 现已支持通义千问 Qwen3 全系列模型的私域部署,并提供独占模型服务,实现高效安全的 GraphRAG 业务应用及大模型应用开发解决方案。

723 2
|
9月前
|
测试技术 Python
|

Python 的 for-else 循环结构是如何工作的?

本文介绍了Python中不太为人熟知但实用的`for-else`循环结构。通过示例讲解了其工作原理:当`for`循环正常结束而未遇到`break`时,执行`else`块。文章提供了两个应用场景——检查素数和列表搜索,帮助理解如何高效使用该结构。最后提醒,若无需条件跳出循环,普通`for`循环已足够。

433 33
|
9月前
|
存储 人工智能 自然语言处理
|

RAG 实战|用 StarRocks + DeepSeek 构建智能问答与企业知识库

本文由镜舟科技解决方案架构师石强与StarRocks TSC Member赵恒联合撰写,围绕RAG(检索增强生成)技术展开,结合DeepSeek和StarRocks构建智能问答系统。RAG通过外部知识检索与AI生成相结合,解决大模型知识静态、易编造信息的问题。文章详细介绍了系统组成、操作流程及优化方法,包括DeepSeek部署、StarRocks向量索引配置、知识存储与提取等环节,并通过代码示例演示了从文本向量化到生成回答的完整过程。最后,加入RAG机制后,系统性能显著提升,支持企业级知识库与智能客服场景。文中还提供了Web可视化界面实现方案,助力开发者快速上手。

567 1
|
9月前
|
存储 关系型数据库 分布式数据库
|

登顶TPC-C|云原生数据库PolarDB技术揭秘:高可用-无感切换篇

阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,单位成本仅0.8元人民币。PolarDB通过VotingDisk实现秒级故障切换,RPO=0,提供高可用性。PolarDB还推出国产轻量版,兼具高性能与低成本,满足多样化需求。

723 13
来自: 关系型数据库  版块
|
9月前
|
存储 人工智能 数据处理
|

Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座

秉承“以场景驱动创新” 的核心理念,持续深耕三大核心场景的关键能力,并对大模型 GenAI 场景的融合应用进行重点投入,为智能时代构建实时、高效、统一的数据底座。

506 10
来自: 数据仓库  版块
|
9月前
|
SQL 测试技术
|

除了postman还有什么接口测试工具

最好还是使用国内的接口测试软件,其实国内替换postman的软件有很多,这里我推荐使用yunedit-post这款接口测试工具来代替postman,因为它除了接口测试功能外,在动态参数的支持、后置处理执行sql语句等支持方面做得比较好。而且还有接口分享功能,可以生成接口文档给团队在线浏览。

414 2
来自: 数据库管理工具  版块
|
9月前
|
Cloud Native 关系型数据库 分布式数据库
|

登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇

云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇

677 46
来自: 关系型数据库  版块
|
9月前
|
SQL Oracle 关系型数据库
|

【赵渝强老师】Oracle的闪回数据库

Oracle闪回数据库功能类似于“倒带按钮”,可快速将数据库恢复至 earlier 状态,无需还原备份。本文介绍了闪回数据库的使用方法及实战案例:包括设置归档模式、开启闪回功能、记录SCN号、执行误操作后的恢复步骤等。通过具体 SQL 操作演示了如何利用闪回数据库恢复被误删的用户数据。注意,使用此功能前需确保数据库为归档模式。

328 9
来自: 关系型数据库  版块
|
10月前
|
存储 消息中间件 缓存
|

MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统

基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。

446 1
来自: 数据仓库  版块

数据库

数据库领域前沿技术分享与交流

5
今日
21734
内容
110
活动
293897
关注
你好!
登录掌握更多精彩内容

相关产品

  • 云数据库 Tair(兼容 Redis)
  • 云数据库 RDS MySQL 版
  • 云原生数据库 PolarDB