|
4月前
|
JSON 缓存 API
|

小红书笔记评论API开发指南

小红书笔记评论API支持获取评论列表、详情及发布新评论,提供点赞、回复等互动数据,适用于内容分析与用户运营。基于Bearer Token认证,返回JSON格式数据,建议结合分页、异步请求与缓存机制提升效率,遵守调用频率限制,确保采集稳定可靠。

361 0
|
5月前
|
存储 监控 Cloud Native
|

云原生日志监控体系怎么做才不崩?一篇给你讲透采集、存储、分析、告警的最佳实践

云原生日志监控体系怎么做才不崩?一篇给你讲透采集、存储、分析、告警的最佳实践

352 16
|
5月前
|
供应链 算法 大数据
|

数据不是水晶球,却能让我们少踩 90% 的坑:未来经济预测的真实力量

数据不是水晶球,却能让我们少踩 90% 的坑:未来经济预测的真实力量

227 1
|
5月前
|
存储 缓存 Cloud Native
|

EMR StarRocks Stella 内核正式发布,登顶 TPC 榜单全球第一

EMR Serverless StarRocks 重磅发布全新企业级版本内核 Stella (StarRocks Efficient and Lightening-fast Lakehouse),完全兼容开源 StarRocks,为用户提供企业级的产品功能、卓越的性能及稳定性保障。

490 1
|
5月前
|
人工智能 安全 算法
|

当AI开始一本正经“胡说八道”,我们该怎么办?——聊聊大模型安全与反“幻觉”技术

当AI开始一本正经“胡说八道”,我们该怎么办?——聊聊大模型安全与反“幻觉”技术

490 7
|
7月前
|
人工智能 运维 搜索推荐
|

大数据+游戏:原来玩家的快乐还能这样被“算”出来?

大数据+游戏:原来玩家的快乐还能这样被“算”出来?

632 11
|
7月前
|
SQL 容灾 关系型数据库
|

PSQLException: ERROR: column “xxxxx“ does not exist

PSQLException: ERROR: column “xxxxx“ does not exist

392 7
|
7月前
|
机器学习/深度学习 存储 资源调度
|

Transformer架构的简要解析

Transformer架构自2017年提出以来,彻底革新了人工智能领域,广泛应用于自然语言处理、语音识别等任务。其核心创新在于自注意力机制,通过计算序列中任意两个位置的相关性,打破了传统循环神经网络的序列依赖限制,实现了高效并行化与长距离依赖建模。该架构由编码器和解码器组成,结合多头注意力、位置编码、前馈网络等模块,大幅提升了模型表达能力与训练效率。从BERT到GPT系列,几乎所有现代大语言模型均基于Transformer构建,成为深度学习时代的关键技术突破之一。

1004 7
|
8月前
|
SQL 运维 监控
|

抖音基于Flink的DataOps能力实践

本文整理自抖音集团数据工程师黄鑫在Flink Forward Asia 2024的分享,围绕抖音实时数据研发的现状与挑战、DataOps能力建设及未来规划展开,涵盖需求管理、开发测试、发布运维等全流程实践,旨在提升数据质量与开发效率,实现高效稳定的数据交付。

541 18
来自: 实时计算 Flink  版块
|
8月前
|
JSON Unix API
|

1688查询榜单列表API详解

1688榜单API提供实时热销、新品等商品榜单数据,支持20+品类及40+字段筛选,适用于选品与市场分析。每小时更新,响应迅速。提供Python调用示例,开发者可快速集成。

419 5
|
8月前
|
机器学习/深度学习 API 异构计算
|

JAX快速上手:从NumPy到GPU加速的Python高性能计算库入门教程

JAX是Google开发的高性能数值计算库,旨在解决NumPy在现代计算需求下的局限性。它不仅兼容NumPy的API,还引入了自动微分、GPU/TPU加速和即时编译(JIT)等关键功能,显著提升了计算效率。JAX适用于机器学习、科学模拟等需要大规模计算和梯度优化的场景,为Python在高性能计算领域开辟了新路径。

765 0
|
9月前
|
分布式计算 Java 流计算
|

Fluss on 鲲鹏 openEuler 大数据实战

本文介绍了基于华为鲲鹏ARM架构服务器与openEuler操作系统,构建包含HDFS、ZooKeeper、Flink、Fluss及Paimon的实时大数据环境的完整实战过程。涵盖了软硬件配置、组件部署、集群规划、环境变量设置、安全认证及启停脚本编写等内容,适用于企业级实时数据平台搭建与运维场景。

1174 0
来自: 实时计算 Flink  版块
|
9月前
|
存储 缓存 API
|

信息检索重排序技术深度解析:Cross-Encoders、ColBERT与大语言模型方法的实践对比

本文将深入分析三种主流的重排序技术:Cross-Encoders(交叉编码器)、ColBERT以及基于大语言模型的重排序器,并详细阐述各方案在实际应用中的性能表现、成本考量以及适用场景。

709 3
|
10月前
|
存储 分布式计算 NoSQL
|

特征存储避坑指南:对比 Feast/Hopsworks 在金融风控场景的落地实践

金融风控场景对特征存储系统有严苛要求,包括低延迟、强一致性、多源数据处理及合规性。本文对比Feast与Hopsworks两大平台的实战经验,解析其在特征服务优化、版本控制、性能调优等方面的优势与陷阱,并提出混合架构方案兼顾实时性与计算效率。通过实践验证,可显著提升系统性能并降低成本。

731 5
|
10月前
|
IDE 开发工具 开发者
|

使用DevEcoStudio 开发、编译鸿蒙 NEXT_APP 以及使用中文插件

# 使用DevEcoStudio 开发、编译鸿蒙 NEXT_APP 以及使用中文插件 #鸿蒙开发工具 #DevEco Studio

928 1
|
11月前
|
人工智能 PyTorch TensorFlow
|

AI界的"翻译官":ONNX如何让各框架模型和谐共处

还在为不同框架间的模型转换头疼?ONNX让你在PyTorch训练的模型可以无缝在TensorFlow部署,甚至能让模型在手机上飞速运行。本文带你了解这个AI领域的'瑞士军刀',轻松实现跨平台高性能模型部署。

760 13
|
11月前
|
人工智能 开发框架 自然语言处理
|

企业级AI搜索解决方案:阿里云AI搜索开放平台

本文介绍了 阿里云 AI 搜索开放平台作提供丰富的 AI 搜索组件化服务,兼容主流开发框架 LangChain和 LlamaIndex,支持搜索专属大模型、百炼等大模型服务,以及 Elasticsearch、Havenask 等开源引擎。用户可灵活调用多模态数据解析、大语言模型、效果测评等数十个服务,实现智能搜索、检索增强生成(RAG)、多模态搜索等场景的搭建。

937 0
来自: 智能搜索推荐  版块
|
11月前
|
数据采集 存储 NoSQL
|

基于Scrapy-Redis的分布式景点数据爬取与热力图生成

基于Scrapy-Redis的分布式景点数据爬取与热力图生成

743 67
|
11月前
|
机器学习/深度学习 网络架构
|

PINN应用案例:神经网络求解热扩散方程高质量近似解

本文探讨了物理信息神经网络(PINN)在求解一维热扩散方程中的应用,对比分析了多层感知器(MLP)、残差网络(ResNet)和Wang2020架构的性能。PINN通过构建损失函数整合偏微分方程残差、边界条件和初始条件,实现对物理系统的近似求解。实验结果表明,传统架构如MLP和ResNet虽能大致还原解析解,但在部分区域存在显著偏差;而Wang2020架构因专门设计以应对PINN训练挑战,表现更为优越,与解析解高度一致。研究还揭示了PINN训练中“平台期后突变”的优化特性,并提出通过构造满足约束条件的网络架构以简化多目标优化问题,为未来研究提供了新方向。

1039 3
|
12月前
|
机器学习/深度学习 算法 PyTorch
|

10招立竿见影的PyTorch性能优化技巧,让模型训练速度翻倍

本文系统总结了PyTorch性能调优的关键技术,涵盖混合精度训练、PyTorch 2.0编译功能、推理模式优化、Channels-Last内存格式、图优化与变换、cuDNN基准测试、内存使用优化等多个方面。通过实证测试,文章详细分析了各技术的实现细节、优势及适用场景,如混合精度训练可显著提升计算效率和内存利用率,torch.compile()能自动优化代码生成以加速模型运行。此外,还探讨了推理模式的选择、卷积操作优化及模型构建的最佳实践。这些方法结合良好的编码习惯,有助于开发者构建高效、可扩展的深度学习应用。

881 3
|
12月前
|
自然语言处理 API 数据库
|

2025年大模型就业:核心技术趋势、技能要求与职业发展全景解析

随着大语言模型(Large Language Models, LLMs)的技术飞速迭代,人工智能领域正经历从通用对话工具向高度智能化、任务导向的智能体(Agent)系统的深刻转型。到2025年4月,企业对掌握LLM相关技术的专业人才需求持续高涨,核心能力聚焦于检索增强生成(RAG)、智能体任务自动化、模型对齐优化以及多模态融合。本文将全面剖析2025年大模型就业市场的技术演进路径、核心技能要求、行业应用场景、推荐实践项目以及职业发展建议,旨在为从业者提供详尽的职业规划指南,帮助其精准把握行业机遇。

2585 6
|
人工智能 自然语言处理 前端开发
|

【AI落地应用实战】大模型加速器2.0:基于 ChatDoc + TextIn ParseX+ACGE的RAG知识库问答系统

本文探讨了私有知识库问答系统的难点及解决方案,重点分析了企业知识管理中的痛点,如信息孤岛、知识传承依赖个人经验等问题。同时,介绍了IntFinQ这款知识管理工具的核心特点和实践体验,包括智能问答、深度概括与多维数据分析等功能。文章还详细描述了IntFinQ的本地化部署过程,展示了其从文档解析到知识应用的完整技术闭环,特别是自研TextIn ParseX引擎和ACGE模型的优势。最后总结了该工具对企业和开发者的价值,强调其在提升知识管理效率方面的潜力。

504 11
|
存储 分布式计算 安全
|

数据生命周期管理:从生成到销毁,数据的“生死”之旅

数据生命周期管理:从生成到销毁,数据的“生死”之旅

2271 6
|
网络安全
|

window系统下安装elk

本文介绍了Elasticsearch、Logstash和Kibana(统称ELK栈)8.17.3版本的安装与配置流程。主要内容包括: - **Elasticsearch**:详细描述了从下载到启动服务的步骤,以及`elasticsearch.yml`的关键配置项,并提供了Postman操作示例及常见问题解决方案。 - **Logstash**:涵盖了插件安装、配置文件`logstash.conf`编写及其启动命令。 - **Kibana**:讲解了下载、配置`kibana.yml`和启动过程,确保与Elasticsearch正确连接。

818 16
|
存储 Java 关系型数据库
|

ssm152家庭财务管理系统设计与实现+jsp(文档+源码)_kaic

本家庭财务管理系统基于现代经济快速发展和信息化技术升级的背景,采用SSM框架、Java语言及Mysql数据库开发。系统旨在帮助用户高效处理大量数据信息,提升财务管理效率,实现数据的整体化、规范化与自动化管理。该系统界面简洁美观,功能布局合理,具备良好的易用性和扩展性,并提供多种安全措施保障数据安全。通过科学化的管理方式,有效减少人工操作失误,提高工作效率。

337 10
|
监控 定位技术 PHP
|

使用PHP接入纯真IP库:实现IP地址地理位置查询

本文介绍了如何使用PHP接入纯真IP库(QQWry),实现IP地址的地理位置查询。纯真IP库是一个轻量级的IP数据库,数据格式简单,查询速度快,适合Web应用。首先,下载并放置`QQWry.dat`文件到项目目录。接着,通过编写PHP类解析该文件,实现IP查询功能。最后,提供了一个完整的案例演示,展示如何查询IP地址对应的国家和地区信息。该工具适用于用户地理位置分析、访问日志分析和风控系统等场景,具有轻量级、查询速度快、数据更新方便等优点。

916 0
|
机器学习/深度学习 存储 缓存
|

LLM高效推理:KV缓存与分页注意力机制深度解析

随着大型语言模型(LLM)规模和复杂性的增长,高效推理变得至关重要。KV缓存和分页注意力是优化LLM推理的两项关键技术。KV缓存通过存储键值对减少重复计算,而分页注意力则通过将序列分割成小块来降低内存消耗,从而有效处理长序列。本文深入剖析这些技术的工作原理及其在仅解码器模型中的应用,探讨其优势与挑战,并展示其实现示例。

933 16
|
SQL 消息中间件 Kafka
|

Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计

本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。

1697 20
来自: 实时计算 Flink  版块
|
消息中间件 存储 缓存
|

kafka 的数据是放在磁盘上还是内存上,为什么速度会快?

Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。

1040 4
|
机器学习/深度学习 人工智能 监控
|

AI在交通管理系统中的应用

AI在交通管理系统中的应用

620 23
|
存储 供应链 数据库
|

Hologres 索引:概念与实用场景

本文介绍了 Hologres 索引的概念、类型及在实际场景中的应用。Hologres 是阿里云的一款强大数据库产品,其索引功能显著提升了数据查询性能。文章详细探讨了 B 树索引、哈希索引和位图索引的特点及应用场景,并介绍了索引的创建和维护方法。此外,还列举了 Hologres 中的重要参数设置及其使用限制,最后通过电商、金融、物流和社交媒体等领域的具体案例,展示了索引在不同场景下的实用价值。

594 10
来自: 实时数仓 Hologres  版块
|
机器学习/深度学习 人工智能 算法
|

深入解析图神经网络:Graph Transformer的算法基础与工程实践

Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。

2014 30
|
IDE Java 应用服务中间件
|

Java“NoSuchFieldError”解决

“NoSuchFieldError”是Java中常见的运行时错误,通常由于访问不存在的类字段引起。解决方法包括:检查字段拼写、确保类路径正确、更新依赖库版本等。

1944 5
|
测试技术
|

软件复杂度量化:McCabe度量法及其环路复杂度的计算方法

McCabe度量法(McCabe's Cyclomatic Complexity)是一种经典的方法,用于度量软件程序的复杂度。通过计算程序中独立路径的数量,帮助开发人员评估代码的维护难度和测试覆盖率。本文详细介绍了McCabe度量法的原理、计算方法及其在实际应用中的作用。

3032 0
ly~
|
Ubuntu Linux C语言
|

SDL 图形库安装常见错误及解决方法

SDL(Simple DirectMedia Layer)图形库安装过程中可能会遇到编译错误、运行时错误、依赖库缺失等问题。本文总结了在 Linux 和 Windows 系统上常见的错误及解决方法,包括检查和安装依赖库、配置 SDL 子系统、处理 X11 错误等,帮助用户顺利完成 SDL 的安装和配置。

3181 8
|
安全 网络安全 Android开发
|

深度解析:利用Universal Links与Android App Links实现无缝网页至应用跳转的安全考量

【10月更文挑战第2天】在移动互联网时代,用户经常需要从网页无缝跳转到移动应用中。这种跳转不仅需要提供流畅的用户体验,还要确保安全性。本文将深入探讨如何利用Universal Links(仅限于iOS)和Android App Links技术实现这一目标,并分析其安全性。

2407 0
|
机器学习/深度学习 PyTorch 算法框架/工具
|

数据平衡与采样:使用 DataLoader 解决类别不平衡问题

【8月更文第29天】在机器学习项目中,类别不平衡问题非常常见,特别是在二分类或多分类任务中。当数据集中某个类别的样本远少于其他类别时,模型可能会偏向于预测样本数较多的类别,导致少数类别的预测性能较差。为了解决这个问题,可以采用不同的策略来平衡数据集,包括过采样(oversampling)、欠采样(undersampling)以及合成样本生成等方法。本文将介绍如何利用 PyTorch 的 `DataLoader` 来处理类别不平衡问题,并给出具体的代码示例。

3176 2
|
机器学习/深度学习 算法 PyTorch
|

PyTorch Lightning:简化研究到生产的工作流程

【8月更文第29天】深度学习项目往往面临着从研究阶段到生产部署的挑战。研究人员和工程师需要处理大量的工程问题,比如数据加载、模型训练、性能优化等。PyTorch Lightning 是一个轻量级的封装库,旨在通过减少样板代码的数量来简化 PyTorch 的使用,从而让开发者更专注于算法本身而不是工程细节。

569 1
|
机器学习/深度学习 并行计算 PyTorch
|

PyTorch与DistributedDataParallel:分布式训练入门指南

【8月更文第27天】随着深度学习模型变得越来越复杂,单一GPU已经无法满足训练大规模模型的需求。分布式训练成为了加速模型训练的关键技术之一。PyTorch 提供了多种工具来支持分布式训练,其中 DistributedDataParallel (DDP) 是一个非常受欢迎且易用的选择。本文将详细介绍如何使用 PyTorch 的 DDP 模块来进行分布式训练,并通过一个简单的示例来演示其使用方法。

2457 2
|
编解码 数据可视化 定位技术
|

60行代码就可以训练/微调 Segment Anything 2 (SAM 2)

本文演示了如何在仅60行代码内(不包括标注和导入)对SAM2进行微调。

1515 1
|
网络安全 图形学 Android开发
|

Unity与安卓丨AS报错:SSL peer shut down incorrectly

Unity与安卓丨AS报错:SSL peer shut down incorrectly

1305 1
|
存储 人工智能 自然语言处理
|

阿里云Elasticsearch AI场景语义搜索最佳实践

本文介绍了如何使用阿里云Elasticsearch结合搜索开发工作台搭建AI语义搜索。

18202 68
|
存储 人工智能 弹性计算
|

通义万相AI绘画创作评测及图文搭建教程

【7月更文挑战第4天】阿里云的通义万相是AI绘画模型,结合ECS、OSS和API服务,提供无缝创作环境。用户上传图片至OSS,模型通过签名URL下载图片,然后生成AI艺术作品。模型服务具有高性能、易集成的特点,适用于多种场景如设计、广告等。用户可按指示在阿里云官网注册、充值、开通服务并部署。项目评测显示,其集成便捷、响应快、泛化能力强,但仍有改进空间,如增加图像控制选项和批量处理能力。相对于竞品,通义万相在成本、易用性和应用场景上有竞争力,值得推荐。

12489 9
|
存储 资源调度 前端开发
|

JavaScript 使用axios库发送 post请求给后端, 给定base64格式的字符串数据和一些其他参数, 使用表单方式提交, 并使用onUploadProgress显示进度

使用 Axios 发送包含 Base64 数据和其他参数的 POST 请求时,可以通过 `onUploadProgress` 监听上传进度。由于整个请求体被视为一个单元,所以进度可能不够精确,但可以模拟进度反馈。前端示例代码展示如何创建一个包含 Base64 图片数据和额外参数的 `FormData` 对象,并在上传时更新进度条。后端使用如 Express 和 Multer 可处理 Base64 数据。注意,实际进度可能不如文件上传精确,显示简单加载状态可能更合适。

1456 0
|
机器学习/深度学习 数据采集 数据挖掘
|

Python实现循环神经网络RNN-LSTM回归模型项目实战(股票价格预测)

Python实现循环神经网络RNN-LSTM回归模型项目实战(股票价格预测)

1750 0
来自: 人工智能平台PAI  版块
|
数据采集 自然语言处理 搜索推荐
|

Python实现基于LDA主题模型进行电商产品评论数据情感分析

Python实现基于LDA主题模型进行电商产品评论数据情感分析

2176 0
来自: 人工智能平台PAI  版块
|
自然语言处理 算法 API
|

「AIGC」Python实现tokens算法

使用Python的`transformers`库,通过`AutoTokenizer`初始化BERT tokenizer,对文本进行分词统计,减少API调用。示例展示从开始到结束的时间,包括文本转换为tokens的数量和过程耗时。

746 0
|
运维 分布式计算 DataWorks
|

DataWorks产品使用合集之如何访问周期任务运维

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

279 0
|
人工智能 自然语言处理 算法
|

2024年6月上半月30篇大语言模型的论文推荐

大语言模型(LLMs)在近年来取得了快速发展。本文总结了2024年6月上半月发布的一些最重要的LLM论文,可以让你及时了解最新进展。

713 3
|
Python
|

新手向 Python:VsCode环境下Manim配置

该文介绍了如何准备和配置开发环境以使用Manim,主要包括两个步骤:一是准备工作,需要下载并安装VsCode和Anaconda,其中Anaconda需添加到系统PATH环境变量,并通过清华镜像源配置;二是配置环境,VsCode中安装中文插件和Python扩展,激活并配置虚拟环境。最后,安装ffmpeg和manim,通过VsCode运行测试代码验证配置成功。

1933 1

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

9
今日
69327
内容
128
活动
439807
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务