|
存储 JSON Oracle
|

【最佳实践】esrally:Elasticsearch 官方压测工具及运用详解

由于 Elasticsearch(后文简称 es) 的简单易用及其在大数据处理方面的良好性能,越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前,不免要做一番调研和测试,本文便是介绍官方的一个 es 压测工具 esrally,希望能为大家带来帮助。

20479 0
|
3天前
|
数据采集 Web App开发 监控
|

【编号2540】闲鱼商品监控与消息自动化工具开发与使用经验分享

闲鱼商品监控工具,闲鱼批量提取商品,闲鱼消息自动发送,闲鱼爬虫工具,闲鱼多线程监控,闲鱼链接批量发消息,闲鱼商品去重提取,闲鱼 Cookie 获取,闲鱼 API 对接,闲鱼新商品提醒,闲鱼商品数据解析,闲鱼定时监控商品,闲鱼自动化发消息,闲鱼二手商品提取

63 3
来自: 智能搜索推荐  版块
|
3天前
|
人工智能 供应链
|

智能体来了:2026,AI 元年开启的新赛道

2026年,AI从“能说会写”的模型跃升为“能想会做”的智能体:目标驱动、自主规划、调用工具、持续修正。它不再仅是工具,更成为现实世界的参与者。人类由此面临根本命题——重定义“参与者”,重构角色、责任与文明边界。(239字)

63 4
|
3天前
|
机器学习/深度学习 供应链 监控
|

淘宝图片搜索API(taobao.item_search_img)

淘宝图片搜索API是阿里基于深度学习的视觉检索服务,支持以图搜同款/相似商品,毫秒级响应、高准确率。提供商品、交易、店铺等结构化数据,适配选品、同款监控、智能上架等场景,合规高效,助力电商数字化升级。(239字)

63 7
|
5天前
|
存储 分布式计算 数据挖掘
|

NumPy技术文档:科学计算的基石

本教程系统讲解NumPy核心知识:从环境搭建与Hello World入门,到ndarray、广播机制、向量化运算三大核心概念;通过销售额分析实战,涵盖统计计算、移动平均、异常检测等典型应用;并总结最佳实践、常见陷阱及进阶方向,助你高效掌握科学计算基石。

63 5
|
3月前
|
SQL 分布式计算 大数据
|

【跨国数仓迁移最佳实践8】MaxCompute Streaming Insert:大数据数据流写业务迁移的实践与突破

本系列文章将围绕东南亚头部科技集团的真实迁移历程展开,逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第八篇,MaxCompute Streaming Insert:大数据数据流写业务迁移的实践与突破。 注:客户背景为东南亚头部科技集团,文中用 GoTerra 表示。

390 38
来自: 大数据计算 MaxCompute  版块
|
3月前
|
人工智能 Cloud Native 数据可视化
|

PyCharm 2025.1 完整教程:下载安装 + 中文设置 + 激活,一步到位,附安装包

PyCharm 2025.1 发布,重磅升级AI代码补全、类型推断与ruff集成,提升开发效率。支持渐进式补全、智能提交信息生成、冲突可视化解决,优化启动速度与内存占用,全面增强云原生及现代Python开发体验。

1064 5
|
6月前
|
数据处理 开发工具 开发者
|

requirement.txt 管理python包依赖

在 Python 项目中,`requirements.txt` 用于记录依赖库及其版本,便于环境复现。本文介绍了多种生成该文件的方法:基础方法使用 `pip freeze`,进阶方法使用 `pipreqs`,专业方法使用 `poetry` 或 `pipenv`,以及手动维护方式。每种方法适用不同场景,涵盖从简单导出到复杂依赖管理,并提供常见问题的解决方案,帮助开发者高效生成精准的依赖列表,确保项目环境一致性。

1891 4
来自: 人工智能平台PAI  版块
|
缓存 Linux 编译器
|

Linux(CentOS7.5) 安装部署 Python3.6(超详细!包含 Yum 源配置!)

该指南介绍了在Linux系统中配置Yum源和安装Python3的步骤。首先,通过`yum install`和`wget`命令更新和备份Yum源,并从阿里云获取CentOS和EPEL的repo文件。接着,清理和更新Yum缓存。然后,下载Python3源代码包,推荐使用阿里云镜像加速。解压后,安装必要的依赖,如gcc。在配置和编译Python3时,可能需要解决缺少C编译器的问题。完成安装后,创建Python3和pip3的软链接,并更新环境变量。最后,验证Python3安装成功,并可选地升级pip和配置pip源以提高包下载速度。

4301 0
|
DataWorks
|

DataWorks售前咨询

DataWorks售前咨询

14950 8
|
4月前
|
数据采集 机器学习/深度学习 人工智能
|

反爬虫机制深度解析:从基础防御到高级对抗的完整技术实战

本文系统阐述了反爬虫技术的演进与实践,涵盖基础IP限制、User-Agent检测,到验证码、行为分析及AI智能识别等多层防御体系,结合代码实例与架构图,全面解析爬虫攻防博弈,并展望智能化、合规化的发展趋势。

1220 0
|
8月前
|
安全 Linux Android开发
|

如何将Kindle电子书下载到电脑:技术流程与操作解析

随着数字阅读兴起,Kindle成为主流电子书平台。然而,Amazon的封闭生态和DRM限制,使用户难以灵活管理书籍。本文从技术角度出发,讲解如何合法下载Kindle电子书至电脑,包括使用Kindle for PC、USB导出及进阶方案(如Android模拟器、WINE环境)。同时介绍文件格式处理、自动化备份与阅读体验优化方法,并强调版权合规的重要性,助您构建个人数字图书馆。

2884 3
|
存储 数据库 索引
|

Python新手常见问题一:列表、元组、集合、字典区别是什么?

本文针对Python编程新手常遇到的问题,详细阐述了列表(List)、元组(Tuple)、集合(Set)和字典(Dictionary)这四种数据结构的核心区别。列表是一种有序且可变的数据序列,允许元素重复;元组同样有序但不可变,其内容一旦创建就不能修改;集合是无序、不重复的元素集,强调唯一性,主要用于数学意义上的集合操作;而字典则是键值对的映射容器,其中键必须唯一,而值可以任意,它提供了一种通过键查找对应值的有效方式。通过对这些基本概念和特性的对比讲解,旨在帮助初学者更好地理解并运用这些数据类型来解决实际编程问题。

3316 1
|
移动开发 安全 图形学
|

如何绕过某讯手游保护系统并从内存中获取Unity3D引擎的Dll文件

通过动态分析了它的保护方法,通过改源码刷机的方法绕过了它的保护方案(也可通过hook libc.so中的execve函数绕过保护),接下来就可以直接使用GameGuardain这个神奇附加上去进行各种骚操作了。这里主要讲一下如何去从内存中获取Assembly-CSharp.dll 和 Assembly-CSharp-fristpass.dll文件。

395 0
|
Linux Shell
|

umount卸载根目录,xfs_repair修复根分区

umount卸载根目录,xfs_repair修复根分区

3405 0
来自: 人工智能平台PAI  版块
|
3天前
|
数据库
|

向量数据库实战:从建库到第一次翻车

向量数据库首次“建库成功”反而是最危险时刻——表面跑通,实则埋下隐患。真实挑战不在“能否检索”,而在“检出内容能否支撑正确决策”。数据规模扩大、类型变杂后,切分失当、chunk等价化、TopK抖动等问题集中爆发。翻车本质是知识组织问题,而非工具选型问题。

61 10
|
2月前
|
机器学习/深度学习 算法 PyTorch
|

机器学习:模型训练术语大扫盲——别再混淆Step、Epoch和Iter等

本文用通俗类比讲清机器学习核心术语:Epoch是完整训练一轮,Batch Size是每次训练的数据量,Step/Iter是每批数据处理及参数更新的最小单位。结合学习率、损失值、过拟合等概念,帮你快速掌握训练过程关键要点,打通术语任督二脉。(238字)

603 9
|
机器学习/深度学习 开发工具 git
|

开发专题 | 1 :下载 huggingface 上模型的正确姿势

本文主要介绍如何以正确的方式下载 huggingface 上的模型

14979 4
|
流计算 Java 监控
|

如何分析及处理 Flink 反压?

反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。

17803 1
来自: 实时计算 Flink  版块
|
2天前
|
数据采集 人工智能 JSON
|

给大模型“开小灶”:一文读懂微调原理与实战,让你的AI更懂你

本文深入浅出讲解大模型微调:为何需“开小灶”?详解全量微调、LoRA(装插件)、Prompt Tuning(学咒语)及RLHF等主流方法;手把手演示LoRA三步实践——数据准备、配置训练、测试部署;并提供效果评估与低门槛工具推荐。助力开发者快速打造领域专属AI。(239字)

60 0
|
5天前
|
运维 Linux 定位技术
|

别只看 QPS:一级 NTP 时间服务器在工程现场到底靠什么兜底

本文以NTS-H-442002为例,剖析企业级Stratum 1时间服务器的关键设计:x86高并发架构保障稳定授时;GPS/北斗+蜂窝多源冗余提升可用性;高稳OCXO实现失锁后72小时<1ms守时精度;1PPS/10MHz/TOD物理接口满足硬同步需求;双电源、热备、加密与运维能力确保长期可靠。

60 4
|
10天前
|
存储 人工智能 分布式计算
|

阿里云 OpenLake:AI 时代的全模态、多引擎、一体化解决方案深度解析

阿里云徐晟详解OpenLake:构建全模态、多引擎、一体化智能数据体系,融合大数据与AI,支持湖仓一体、Agentic Data及AI搜索,助力企业降本增效、加速AI落地。(239字)

139 1
|
12天前
|
存储 自然语言处理 监控
|

10 万文档 RAG 落地实战:从 Demo 到生产,我踩过的所有坑

本文分享10万级文档RAG系统从Demo到生产的实战经验,剖析检索慢、召回率低、部署复杂三大痛点,涵盖文档切分、Embedding选型、向量库优化、重排序与生成约束等关键步骤,并提供可落地的工程方案与评估方法,助力构建高效、稳定的企业级RAG系统。

198 3
|
17天前
|
存储 缓存 数据建模
|

StarRocks + Paimon: 构建 Lakehouse Native 数据引擎

12月10日,Streaming Lakehouse Meetup Online EP.2重磅回归,聚焦StarRocks与Apache Paimon深度集成,探讨Lakehouse Native数据引擎的构建。活动涵盖架构统一、多源联邦分析、性能优化及可观测性提升,助力企业打造高效实时湖仓一体平台。

264 39
来自: 实时计算 Flink  版块
|
10月前
|
传感器 人工智能 物联网
|

智能鞋:从脚下开始的科技革命

智能鞋:从脚下开始的科技革命

746 6
|
存储 机器学习/深度学习 分布式计算
|

【DSW Gallery】COMMON_IO使用指南

COMMON_IO模块提供了TableReader和TableWriter两个接口,使用TableReader可以读取ODPS Table中的数据,使用TableWriter可以将数据写入ODPS Table。

5020 0
来自: 人工智能平台PAI  版块
|
存储 关系型数据库 数据库
|

时序数据库场景下的Elasticsearch(一):技术特点简介

本文介绍了时间序列数据的特点和主流的技术分类,以及Elasticsearch在时序数据库场景下的技术特点。

12089 2
|
5天前
|
算法 安全 物联网
|

PPO 实战:第一次跑通 PPO,到底难在哪

PPO实战难点不在算法理解,而在系统性不确定:动态数据、不稳reward、多目标冲突。关键在于明确对齐目标、用SFT模型起步、必备reference、设计偏好型reward、聚焦policy更新、善用KL系数调控风险,并以行为变化而非loss曲线评估进展——耐心跑通最小闭环,才是成功核心。

59 0
|
应用服务中间件 Linux 网络安全
|

nginx安装部署ssl证书,同时支持http与https方式访问

为了使HTTP服务支持HTTPS访问,需生成并安装SSL证书,并确保Nginx支持SSL模块。首先,在`/usr/local/nginx`目录下生成RSA密钥、证书申请文件及自签名证书。接着,确认Nginx已安装SSL模块,若未安装则重新编译Nginx加入该模块。最后,编辑`nginx.conf`配置文件,启用并配置HTTPS服务器部分,指定证书路径和监听端口(如20000),保存后重启Nginx完成部署。

4477 8
|
消息中间件 关系型数据库 MySQL
|

实时计算 Flink版操作报错合集之整库同步mysql到starRock提交任务异常,该如何处理

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

677 1
来自: 实时计算 Flink  版块

xfs_repair命令xfs文件系统修复工具

xfs_repair命令xfs文件系统修复工具

4831 0
来自: 人工智能平台PAI  版块
|
3天前
|
人工智能 自动驾驶 算法
|

智能体来了!2026 AI 元年:在全新赛道上重构人类生产力边界

2026年被定义为“智能体元年”:AI从“能说”跃升为“能干”,实现自主决策、跨系统协作与具身执行。产业迎来智能体市场、数字劳动力网络和可信治理三大爆发点,人类角色转向目标设定与智能体调度。技术终指向人的升华。(239字)

58 3
|
4天前
|
人工智能 搜索推荐 数据挖掘
|

深度 AI 学术是怎样学习百度学术、谷歌学术的先进经验的?

深度AI学术融合百度学术与Google Scholar优势,聚合2.8亿文献,支持中英文语义检索、AI自动摘要、引用追踪及趋势分析;创新提供批量翻译、自定义维度解析与学术报告生成,打造智能科研助手。(239字)

58 7
来自: 智能搜索推荐  版块
|
21天前
|
数据采集 人工智能 文字识别
|

PDF 转 Markdown 神器:MinerU 2.5 (1.2B) 部署全攻略

MinerU是由OpenDataLab推出的开源PDF解析工具,支持精准布局分析、公式识别与表格提取。本文详解其2.5-2509-1.2B版本在Linux下的部署流程,涵盖环境搭建、模型下载、核心配置及实战应用,助你高效处理复杂PDF文档,提升AI数据清洗效率。

406 3
|
4月前
|
缓存 运维 监控
|

vLLM推理加速指南:7个技巧让QPS提升30-60%

GPU资源有限,提升推理效率需多管齐下。本文分享vLLM实战调优七招:请求塑形、KV缓存复用、推测解码、量化、并行策略、准入控制与预热监控。结合代码与数据,助你最大化吞吐、降低延迟,实现高QPS稳定服务。

1247 7
|
8月前
|
存储 安全 Java
|

2025 最新史上最全 Java 面试题独家整理带详细答案及解析

本文从Java基础、面向对象、多线程与并发等方面详细解析常见面试题及答案,并结合实际应用帮助理解。内容涵盖基本数据类型、自动装箱拆箱、String类区别,面向对象三大特性(封装、继承、多态),线程创建与安全问题解决方法,以及集合框架如ArrayList与LinkedList的对比和HashMap工作原理。适合准备面试或深入学习Java的开发者参考。附代码获取链接:[点此下载](https://pan.quark.cn/s/14fcf913bae6)。

4502 49
|
12月前
|
分布式计算 并行计算 调度
|

基于HPC场景的集群任务调度系统LSF/SGE/Slurm/PBS

在HPC场景中,集群任务调度系统是资源管理和作业调度的核心工具。LSF、SGE、Slurm和PBS是主流调度系统。LSF适合大规模企业级集群,提供高可靠性和混合云支持;SGE为经典开源系统,适用于中小规模集群;Slurm成为HPC领域事实标准,支持多架构和容器化;PBS兼具商业和开源版本,擅长拓扑感知调度。选型建议:超大规模科研用Slurm,企业生产环境用LSF/PBS Pro,混合云需求选LSF/PBS Pro,传统小型集群用SGE/Slurm。当前趋势显示Slurm在TOP500系统中占比超60%,而商业系统在金融、制造等领域保持优势。

2443 32
|
机器学习/深度学习 并行计算 PyTorch
|

ONNX 优化技巧:加速模型推理

【8月更文第27天】ONNX (Open Neural Network Exchange) 是一个开放格式,用于表示机器学习模型,使模型能够在多种框架之间进行转换。ONNX Runtime (ORT) 是一个高效的推理引擎,旨在加速模型的部署。本文将介绍如何使用 ONNX Runtime 和相关工具来优化模型的推理速度和资源消耗。

7330 4
|
人工智能 数据可视化 数据处理
|

推荐2款免费开源的标注工具,支持大模型对话标注

【LabelLLM】一款开源免费的大模型对话标注平台,专为优化大型语言模型的数据标注过程设计。支持灵活配置与多模态数据(音频、图像、视频),具备全面任务管理和AI辅助标注功能,大幅提升标注效率与准确性。了解更多请前往https://github.com/opendatalab/LabelLLM 【LabelU】一款轻量级开源标注工具,支持图像、视频、音频的高效标注。特色功能包括多功能图像处理、视频和音频分析等,简易灵活,支持多种数据格式输出。了解更多请前往https://github.com/opendatalab/labelU

4355 11
|
存储 Ubuntu 关系型数据库
|

Ubuntu 20.04 卸载与安装 MySQL 5.7 详细教程

该文档提供了在Ubuntu上卸载和安装MySQL 5.7的步骤。首先,通过`apt`命令卸载所有MySQL相关软件包及配置。然后,下载特定版本(5.7.32)的MySQL安装包,解压并安装所需依赖。接着,按照特定顺序安装解压后的deb包,并在安装过程中设置root用户的密码。安装完成后,启动MySQL服务,连接数据库并验证。最后,提到了开启GTID和二进制日志的配置方法。

5054 5
|
SQL 存储 Java
|

Hive 特殊的数据类型 Array、Map、Struct

在Hive中,`Array`、`Map`和`Struct`是三种特殊的数据类型。`Array`用于存储相同类型的列表,如`select array(1, "1", 2, 3, 4, 5)`会产生一个整数数组。`Map`是键值对集合,键值类型需一致,如`select map(1, 2, 3, "4")`会产生一个整数到整数的映射。`Struct`表示结构体,有固定数量和类型的字段,如`select struct(1, 2, 3, 4)`创建一个无名结构体。这些类型支持嵌套使用,允许更复杂的结构数据存储。例如,可以创建一个包含用户结构体的数组来存储多用户信息

3235 0
|
3天前
|
缓存 网络协议 安全
|

若无 DNS 与代理 IP,我们的上网体验会崩塌吗?

DNS是互联网“快递员”,负责将域名精准解析为IP地址;代理IP则是“神秘信使”,隐匿真实身份、中转请求,保障隐私与访问自由。二者协同如接力赛:DNS先定位代理,代理再查目标IP,共同构建高效、安全、灵活的网络访问通路。

57 3
|
5天前
|
搜索推荐 C++ 索引
|

RAG 的失败,大多在“切文档”那一刻就已经注定

RAG项目常败在文档切分:切得过小导致语义断裂,固定长度破坏表格/列表/步骤等关键结构。真正决定效果的,不是模型或向量库,而是chunk是否具备“语义完整性”——能否独立支撑答案。切分应以“生成可用性”为第一标准,而非检索便利性。

57 4
|
12天前
|
SQL 存储 分布式计算
|

Hologres Dynamic Table在淘天价格力的业务实践

淘天价格力团队依托Hologres Dynamic Table,实现亿级商品数据的高效治理。通过增量刷新与全量刷新机制,支持秒级圈选、分钟级报表更新,满足大促场景下高时效、多维度分析需求,显著提升数据灵活性与决策效率。

107 2
来自: 实时数仓 Hologres  版块
|
12天前
|
人工智能 搜索推荐 算法
|

不懂向量数据库?一文讲透其原理与应用场景

向量数据库通过将文本、图像等非结构化数据转化为“数学指纹”(向量),实现语义级相似性检索。它突破传统数据库的精确匹配局限,支撑智能客服、推荐系统与RAG应用。核心原理是Embedding编码+高效索引(如HNSW、IVF),支持亿级数据毫秒搜索。结合元数据过滤的混合查询,显著提升准确性。未来将迈向多模态融合与自适应智能检索,是AI时代不可或缺的基础设施。

203 0
|
3月前
|
存储 人工智能 自然语言处理
|

AI 十大论文精讲(五):RAG——让大模型 “告别幻觉、实时更新” 的检索增强生成秘籍

本文解读AI十大核心论文之五——《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》。该论文提出RAG框架,通过“检索+生成”结合,解决大模型知识更新难、易幻觉、缺溯源等问题,实现小模型高效利用外部知识库,成为当前大模型落地的关键技术。

1088 155
|
SQL 流计算 大数据
|

Flink入坑指南 第四章:SQL中的经典操作Group By+Agg

Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。 简介 Group By + Agg这个最经典的SQL使用方式。Group By是SQL中最基础的分组操作,agg的全称是aggregation(聚合操作),是一类SQL算子的统称,Flink中最常用的Agg操作有COUNT/SUM/AVG等,详情参见Flink支持的聚合操作列表。

11210 1
来自: 实时计算 Flink  版块
|
5天前
|
安全 数据库 C++
|

为什么你用了向量数据库,系统反而更复杂了

向量数据库并非万能解药:它擅长模糊检索与长尾问题,但仅解决“相似性”而非“正确性”。其优势依赖文档质量、切分合理与embedding适配;反之易致结果玄学、不可解释、调试困难。用前须问:这真是个相似性问题?

56 3
|
5天前
|
存储 安全 数据安全/隐私保护
|

企业硬盘加密软件选型指南:DiskCrypt与BitLocker功能、性能与应用场景全对比

本文对比国产安得卫士DiskCrypt与微软BitLocker两款硬盘加密软件,在加密深度(扇区级vs分区级)、认证机制、密钥管理、应急恢复、国产化兼容及集中管控等维度展开分析,助力用户按安全等级、合规要求与使用场景科学选型。(239字)

56 0
|
3月前
|
机器学习/深度学习 人工智能 算法
|

PAIFuser:面向图像视频的训练推理加速框架

阿里云PAI推出PAIFuser框架,专为视频生成模型设计,通过模型并行、量化优化、稀疏运算等技术,显著提升DiT架构的训练与推理效率。实测显示,推理耗时最高降低82.96%,训练时间减少28.13%,助力高效低成本AI视频生成。

407 22

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
68928
内容
128
活动
439666
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务