|
机器学习/深度学习 运维 监控
|

实时异常检测实战:Flink+PAI 算法模型服务化架构设计

本文深入探讨了基于 Apache Flink 与阿里云 PAI 构建的实时异常检测系统。内容涵盖技术演进、架构设计、核心模块实现及金融、工业等多领域实战案例,解析流处理、模型服务化、状态管理等关键技术,并提供性能优化与高可用方案,助力企业打造高效智能的实时异常检测平台。

1223 1
|
Java 测试技术 微服务
|

最新技术栈下 Java 面试高频技术点实操指南详解

本指南结合最新Java技术趋势,涵盖微服务(Spring Cloud Alibaba)、响应式编程(Spring WebFlux)、容器化部署(Docker+Kubernetes)、函数式编程、性能优化及测试等核心领域。通过具体实现步骤与示例代码,深入讲解服务注册发现、配置中心、熔断限流、响应式数据库访问、JVM调优等内容。适合备战Java面试,提升实操能力,助力技术进阶。资源链接:[https://pan.quark.cn/s/14fcf913bae6](https://pan.quark.cn/s/14fcf913bae6)

563 25
|
消息中间件 缓存 小程序
|

婚恋交友相亲公众号app小程序系统源码「脱单神器」婚恋平台全套代码 - 支持快速二次开发

这是一套基于SpringBoot + Vue3开发的婚恋交友系统,支持微信公众号、Uniapp小程序和APP端。系统包含实名认证、智能匹配、视频相亲、会员体系等功能,适用于婚恋社交平台和相亲交友应用。后端采用SpringBoot 3.x与MyBatis-Plus,前端使用Vue3与Uniapp,支持快速部署和二次开发。适合技术团队或有经验的个人创业者使用。

993 8
|
SQL 分布式计算 API
|

Apache Spark详解

Apache Spark 是一个开源、分布式计算引擎,专为大规模数据处理设计。它以高速、易用和通用为核心目标。通过内存计算、DAG 执行引擎和惰性求值等特性,大幅提升数据处理效率。其核心组件包括 Spark Core、Spark SQL、Spark Streaming、MLlib 和 GraphX,支持批处理、实时流处理、机器学习和图计算。Spark 提供统一编程模型,支持多语言(Scala/Java/Python/R),并拥有强大的 Catalyst 优化器和类型安全的 Dataset API,广泛应用于大数据分析和处理场景。

1610 8
|
存储 消息中间件 Java
|

抖音集团电商流量实时数仓建设实践

本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享,围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化,实现效率、质量、成本和稳定性全面提升,数据质量达99%以上,任务性能提升70%。未来将聚焦自动化、低代码化与成本优化,探索更高效的流批一体化方案。

920 12
来自: 实时计算 Flink  版块
|
存储 人工智能 监控
|

通过Milvus和Langchain快速构建基于百炼大模型的LLM问答系统

阿里云向量检索服务Milvus版是一款全托管向量检索引擎,并确保与开源Milvus的完全兼容性,支持无缝迁移。它在开源版本的基础上增强了可扩展性,能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,Milvus云服务成为多样化AI应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的Attu工具进行可视化操作,进一步促进应用的快速开发和部署。

1617 4
|
数据采集 JSON 网络安全
|

移动端数据抓取:Android App的TLS流量解密方案

本文介绍了一种通过TLS流量解密技术抓取知乎App热榜数据的方法。利用Charles Proxy解密HTTPS流量,分析App与服务器通信内容;结合Python Requests库模拟请求,配置特定请求头以绕过反爬机制。同时使用代理IP隐藏真实IP地址,确保抓取稳定。最终成功提取热榜标题、内容简介、链接等信息,为分析热点话题和用户趋势提供数据支持。此方法也可应用于其他Android App的数据采集,但需注意选择可靠的代理服务。

721 11
|
数据采集 人工智能 JSON
|

Crawl4AI:为大语言模型打造的开源网页数据采集工具

随着大语言模型(LLMs)的快速发展,高质量数据成为智能系统的关键基础。**Crawl4AI**是一款专为LLMs设计的开源网页爬取工具,可高效提取并结构化处理网页数据,突破传统API限制,支持JSON、HTML或Markdown等格式输出。

1443 3
|
数据采集 机器学习/深度学习 人工智能
|

面向 MoE 和推理模型时代:阿里云大数据 AI 产品升级发布

2025 AI 势能大会上,阿里云大数据 AI 平台持续创新,贴合 MoE 架构、Reasoning Model 、 Agentic RAG、MCP 等新趋势,带来计算范式变革。多款大数据及 AI 产品重磅升级,助力企业客户高效地构建 AI 模型并落地 AI 应用。

1891 13
|
数据采集 JavaScript 前端开发
|

Pyppeteer实战:基于Python的无头浏览器控制新选择

本文详细讲解了如何使用 Pyppeteer 结合爬虫代理高效采集小红书热点推荐信息。通过设置代理 IP、Cookie 和自定义 User-Agent,突破目标网站的反爬机制,实现标题、内容和评论的数据提取。文章结合代码示例与技术关系图谱,清晰展示从数据采集到分析的全流程,为复杂网站的数据获取提供参考。读者可在此基础上优化异常处理、并发抓取等功能,提升爬虫性能。

1136 8
|
数据采集 存储 数据可视化
|

分布式爬虫框架Scrapy-Redis实战指南

本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。

1997 0
|
监控 Linux iOS开发
|

告别数据丢失!跨平台同步工具FreeFileSync 14.2下载教程|手把手配置多设备备份

FreeFileSync 14.2 是一款开源跨平台文件同步工具,支持 Windows、macOS 和 Linux 系统。新增功能包括实时同步监控、云存储集成(Google Drive 和 Dropbox)、智能冲突解决及性能优化,适用于数据备份、服务器文件同步等场景。本文详细介绍其下载、安装、配置及高级使用技巧,并提供常见问题解答和延伸学习资源。

5226 8
|
机器学习/深度学习 编解码 算法
|

NeoBERT:4096 tokens上下文窗口,参数更少但性能翻倍

NeoBERT是新一代双向编码器模型,整合了前沿架构改进、大规模数据集和优化预训练策略,缩小了传统编码器与高性能自回归语言模型的差距。它支持4096 tokens的扩展上下文窗口,仅250M参数规模,却在MTEB基准中超越多个更大参数量的模型。通过技术创新如旋转位置嵌入和SwiGLU激活函数,以及两阶段预训练策略,NeoBERT在高效性和性能上取得了显著突破。

562 26
|
SQL 存储 消息中间件
|

vivo基于Paimon的湖仓一体落地实践

本文整理自vivo互联网大数据专家徐昱在Flink Forward Asia 2024的分享,基于实际案例探讨了构建现代化数据湖仓的关键决策和技术实践。内容涵盖组件选型、架构设计、离线加速、流批链路统一、消息组件替代、样本拼接、查询提速、元数据监控、数据迁移及未来展望等方面。通过这些探索,展示了如何优化性能、降低成本并提升数据处理效率,为相关领域提供了宝贵的经验和参考。

1494 3
来自: 实时计算 Flink  版块
|
编解码 人工智能 并行计算
|

基于 Megatron 的多模态大模型训练加速技术解析

Pai-Megatron-Patch 是一款由阿里云人工智能平台PAI 研发的围绕英伟达 Megatron 的大模型训练配套工具,旨在帮助开发者快速上手大模型,打通大模型相关的高效分布式训练、有监督指令微调、下游任务评估等大模型开发链路。本文以 Qwen2-VL 为例,从易用性和训练性能优化两个方面介绍基于 Megatron 构建的 Pai-Megatron-Patch 多模态大模型训练的关键技术

2109 8
来自: 人工智能平台PAI  版块
|
应用服务中间件 定位技术 网络安全
|

住宅IP和运营商IP有什么区别?

随着数字化发展,网络安全与隐私保护日益重要,代理IP成为热门选择。住宅IP由ISP分配给家庭用户,通常是动态的,适合日常上网,费用较低,且具有较高隐私保护。运营商IP则分配给企业或数据中心,多为静态,适用于高稳定性和带宽需求的业务,安全性更高但成本也更高。两者在用途、特性和成本上存在显著差异,用户可根据需求选择。

665 1
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 小程序 安全
|

让小程序开口说话:DeepSeek语音交互开发指南

本文介绍如何利用DeepSeek语音交互技术构建智能语音助手,涵盖从安装声音采集设备、训练语言理解模型到设计语音控制界面的全过程。通过生活化场景,如深夜查找教程、旅行中寻找餐厅等,展示如何实现自然对话。此外,还深入探讨多轮对话记忆、情感计算及智能家居控制等进阶功能,帮助开发者创建会倾听、善思考的语音应用。最后,提供性能优化与安全防护建议,引领读者进入人机共生的新时代。

2278 1
|
人工智能 DataWorks 大数据
|

大数据AI一体化开发再加速:DataWorks 支持GPU类型资源

大数据开发治理平台 DataWorks 的Serverless资源组支持GPU资源类型,以免运维、按需付费、弹性伸缩的Serverless架构,将大数据处理与AI开发能力无缝融合。面向大数据&AI协同开发场景,DataWorks提供了交互式开发和分析工具Notebook。开发者在创建个人开发环境时,可以选择GPU类型的资源作为Notebook运行环境,以支持进行高性能的计算工作。本教程将基于开源多模态大模型Qwen2-VL-2B-Instruct,介绍如何使用 DataWorks Notebook及LLaMA Factory训练框架完成文旅领域大模型的构建。

1118 24
|
数据采集 运维 前端开发
|

一场始于 Selector Error 的拯救行动:企查查数据采集故障排查记

开发人员小李在使用Python爬虫从企查查抓取公司工商信息时,遇到选择器失效和动态加载内容无法解析的问题。通过分析日志和网页结构变化,发现关键数据由JavaScript动态渲染。解决方案包括引入Selenium模拟浏览器行为、配置代理IP和请求头、调整选择器,并优化代码实现。最终成功解决了数据采集问题,确保了爬虫的稳定性和可靠性。改进方案还涉及动态加载应对策略、选择器稳定性保障及代理池搭建等措施,以应对未来可能的变化。

644 3
|
监控 数据挖掘 API
|

京东商品历史价格 API 接口系列(京东 API)

本文介绍了如何使用京东开放平台API获取商品价格信息。首先,需注册账号并创建应用以获取App Key和App Secret,进而获取Access Token。准备好开发工具后,通过调用`jd.item_search`和`jd.item_get`接口,可以分别按关键字搜索商品和获取指定商品的详细信息及价格。示例代码展示了如何使用Python的requests库进行API请求。应用场景包括价格监控、商家定价策略、电商平台数据分析及商业智能决策支持。

1509 10
|
存储 人工智能 芯片
|

面向AI的服务器计算互连的创新探索

面向AI的服务器计算互连创新探索主要涵盖三个方向:Scale UP互连、AI高性能网卡及CIPU技术。Scale UP互连通过ALink系统实现极致性能,支持大规模模型训练,满足智算集群需求。AI高性能网卡针对大规模GPU通信和存储挑战,自研EIC网卡提供400G带宽和RDMA卸载加速,优化网络传输。CIPU作为云基础设施核心,支持虚拟化、存储与网络资源池化,提升资源利用率和稳定性,未来将扩展至2*800G带宽,全面覆盖阿里云业务需求。这些技术共同推动了AI计算的高效互联与性能突破。

2059 3
|
缓存 人工智能 算法
|

深度揭秘复杂异构硬件推理优化

本文介绍了大语言模型在部署推理层面的性能优化工作,涵盖高性能算子、量化压缩、高效运行时及分布式调度四个方面。面对参数和上下文规模增长带来的显存、缓存与计算开销挑战,文中详细探讨了如何通过优化算子性能、低精度量化压缩、异步运行时框架设计以及多层次分布式架构来提升大模型推理效率。此外,还展示了BladeLLM引擎框架的实际应用效果,证明了这些技术在高并发场景下的显著性能提升。

1181 7
|
消息中间件 JSON 数据库
|

探索Flink动态CEP:杭州银行的实战案例

本文由杭州银行大数据工程师唐占峰、欧阳武林撰写,介绍Flink动态CEP的定义、应用场景、技术实现及使用方式。Flink动态CEP是基于Flink的复杂事件处理库,支持在不重启服务的情况下动态更新规则,适应快速变化的业务需求。文章详细阐述了其在反洗钱、反欺诈和实时营销等金融领域的应用,并展示了某金融机构的实际应用案例。通过动态CEP,用户可以实时调整规则,提高系统的灵活性和响应速度,降低维护成本。文中还提供了具体的代码示例和技术细节,帮助读者理解和使用Flink动态CEP。

2074 3
来自: 实时计算 Flink  版块
|
数据挖掘 Python
|

时间序列分析中的互相关与相干性分析:前导-滞后关系的理论基础与实际应用

时间序列数据在现代数据分析中广泛应用,从金融市场到生物医学领域。本文重点介绍两种分析工具:互相关和相干性分析。互相关用于量化两个时间序列的时域关系,揭示前导-滞后关系;相干性分析则评估信号在频率域的相关性,适用于脑电图等研究。通过实际案例和Python代码示例,展示了这两种方法的应用价值。

1587 8
|
编解码 网络协议
|

如何轻松地 rip 3D Blu-ray:详细步骤指南

随着3D电影和家庭影院的普及,越来越多的人希望将3D Blu-ray电影转换为数字文件,以便在多种设备上播放。本文介绍了使用DVDFab、MakeMKV+HandBrake和Leawo Blu-ray Ripper等软件轻松rip 3D Blu-ray的方法,帮助用户享受高质量的3D观影体验。这些工具不仅提供了便捷性和高质量的输出,还能节省存储空间。

1467 9
|
API 数据安全/隐私保护 开发者
|

实时获取小红书详情 API 数据

小红书详情API数据获取指南:注册开发者账号,创建应用并申请接口权限,构建请求获取笔记详情,使用Python等语言处理响应数据。需遵守使用规则,注意调用频率和数据安全。

1994 6
|
存储 边缘计算 自然语言处理
|

25 个值得关注的检索增强生成 (RAG) 模型和框架

大型语言模型(LLM)如GPT-4在自然语言处理(NLP)领域展现了卓越能力,但也存在知识截止、静态知识库和内存限制等局限。检索增强生成(RAG)通过集成检索机制,允许LLM动态访问和整合外部数据源,提高了生成响应的准确性、相关性和时效性。本文深入探讨了25种先进的RAG变体,每种变体都旨在优化检索和生成过程的特定方面,涵盖成本限制、实时交互和多模态数据集成等问题,展示了RAG在提升NLP能力方面的多功能性和潜力。

1466 4
|
数据采集 Web App开发 监控
|

捕获抖音截图:如何用Puppeteer保存页面状态

随着抖音直播的兴起,实时动态和互动元素吸引了大量用户。为了捕获直播页面的实时信息,本文介绍了如何使用 Puppeteer 和代理 IP 服务,解决页面动态加载、反爬虫机制等问题,实现自动化抓取和截图保存。通过安装 Puppeteer、配置代理 IP 和编写简单脚本,可以高效地捕获抖音直播页面的状态。

902 51

分享一些在 1688 上找一件代发商品的技巧

在1688上找一件代发商品需明确自身需求与定位,筛选可靠供应商,研究商品信息,利用精准搜索和平台推荐,关注活动,并与供应商充分沟通,确保合作顺畅。

3317 0
|
机器学习/深度学习 数据采集 算法
|

基于Liquid State Machine的时间序列预测:利用储备池计算实现高效建模

**Liquid State Machine (LSM)** 是一种 **脉冲神经网络 (Spiking Neural Network, SNN)** ,在计算神经科学和机器学习领域中得到广泛应用,特别适用于处理 **时变或动态数据**。它是受大脑自然信息处理过程启发而提出的一种 **脉冲神经网络** 。

692 4
|
SQL 存储 缓存
|

降本60% ,阿里云 EMR StarRocks 全新发布存算分离版本

阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本,该版本不仅基于开源 StarRocks 进行了全面优化,实现了存储与计算解耦架构,还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。

1775 62
|
安全 C语言
|

C 标准库 - <stddef.h>详解

`<stddef.h>` 是 C 标准库的一个头文件,定义了常用类型和宏,包括 `size_t`(表示对象大小)、`ptrdiff_t`(指针间差值)、`NULL`(空指针)和 `offsetof`(计算结构体成员偏移量)。

620 1
|
测试技术 程序员 C#
|

《黑神话:悟空》:从Unity到UE4 —— 游戏引擎迁移的挑战与机遇

【8月更文第26天】近年来,游戏行业的发展突飞猛进,特别是在图形表现力和技术实现上。《黑神话:悟空》是一款备受期待的动作角色扮演游戏,该游戏在早期开发阶段使用了Unity引擎,但为了追求更高的视觉质量和更强大的技术能力,开发团队决定将其迁移到Unreal Engine 4 (UE4)。本文将探讨这一迁移过程中的技术挑战与机遇。

1564 1
|
API 开发者
|

淘宝官方商品、交易、订单、物流、插旗接口接入说明

这些接口涉及淘宝店铺订单管理的关键方面,包括订单列表、订单详情及订单物流信息的获取。订单列表接口(如`taobao.trades.sold.get`和`taobao.topats.trades.sold.get`)帮助商家快速了解订单概览,进行基本管理和统计。订单详情接口(如`taobao.trade.fullinfo.get`和`taobao.topats.trades.fullinfo.get`)提供单个订单的全面信息,便于发货准备和服务支持。订单物流接口则允许跟踪订单的物流状态,确保配送顺畅。使用这些接口需遵循淘宝开放平台的规定,并关注API调用限制与更新。

1234 0
|
Ubuntu Python
|

ubuntu build install python3.12 and config pip

该脚本用于在 Ubuntu 上编译安装 Python 3.12,并配置 pip 使用国内镜像源。主要步骤包括安装依赖、下载并解压 Python 源码、编译安装、创建符号链接、配置 pip 源,以及验证安装和更新 pip。通过运行此脚本,可以快速完成 Python 3.12 的安装和配置。

2601 0
来自: 大数据运维SREWorks  版块
|
Ubuntu Shell Linux
|

ubuntu安装conda

ubuntu安装conda

2181 1
|
IDE Java 开发工具
|

Python新手常见问题四:如何规避Python中的缩进错误?

在Python编程语言中,代码块的结构和逻辑是通过缩进来组织的,这与其他许多语言依赖花括号(如Java、C++)的方式大相径庭。对于初学者来说,正确理解和使用缩进规则至关重要,因为不恰当的缩进会导致IndentationError,从而影响程序的执行。本文将详细探讨Python缩进错误的常见场景,并提供有效的预防措施。

1535 1
|
SQL 分布式计算 数据库
|

离线数仓--大数据技术之DolphinScheduler

离线数仓--大数据技术之DolphinScheduler

3848 2
|
数据采集 数据可视化 算法
|

深入解析ERP系统的业务智能与报表分析模块

深入解析ERP系统的业务智能与报表分析模块

816 3
|
分布式计算 Java Scala
|

spark 与 scala 的对应版本查看、在idea中maven版本不要选择17,弄了好久,换成11就可以啦

spark 与 scala 的对应版本查看、.在idea中maven版本不要选择17,弄了好久,换成11就可以啦

1134 119
|
JSON 自然语言处理 对象存储
|

通义千问开源模型在PAI灵骏的最佳实践

本文将展示如何基于阿里云PAI灵骏智算服务,在通义千问开源模型之上进行高效分布式继续预训练、指令微调、模型离线推理验证以及在线服务部署。

65052 7
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 人工智能 自然语言处理
|

视觉 注意力机制——通道注意力、空间注意力、自注意力

本文介绍注意力机制的概念和基本原理,并站在计算机视觉CV角度,进一步介绍通道注意力、空间注意力、混合注意力、自注意力等。

16302 58
|
算法 固态存储 计算机视觉
|

双目测距 BM算法 Python版

首先进行双目定标,获取双目摄像头内部的参数后,进行测距。本次的双目视觉测距,基于BM算法。

1266 0
|
传感器 机器人 C++
|

机器人操作系统ROS 编程开发--详细总结

最近工作涉及到自动驾驶的,需要学习ROS,学习中总结了一些知识点,分享给大家。 机器人操作系统ROS,是一种分布式处理框架(又名Nodes),ROS常用C++和python编程语言开发;(这里项目开发采用C++ 11版本)。ROS的点对点设计以及服务和节点管理器等机制,可以分散由计算机视觉和语音识别等功能带来的实时计算压力,能够适应多机器人遇到的挑战。ROS免费并且开源。

4090 0
|
机器学习/深度学习 算法 搜索推荐
|

抖音快手小视频推荐算法之--协同过滤算法剖析

抖音快手小视频推荐算法之--协同过滤算法剖析

2754 0
|
SQL 分布式计算 资源调度
|

阿里云MaxCompute-Hive作业迁移语法兼容性踩坑记录

阿里云MaxCompute-Hive作业迁移语法兼容性踩坑记录

2246 0
来自: 大数据计算 MaxCompute  版块
|
数据采集 监控 数据管理
|

数据质量最佳实践(5):利用质量分和排行榜提升企业数据质量【Dataphin V3.12】

在数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。 但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢? 在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。

1518 1
|
SQL 消息中间件 关系型数据库
|

技术解析|Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once 精准接入

本文主要介绍了 Flink CDC 分库分表怎么实时同步,以及其结合 Apache Doris Flink Connector 最新版本整合的 Flink 2PC 和 Doris Stream Load 2PC 的机制及整合原理、使用方法等。

6592 0
来自: 实时计算 Flink  版块
|
SQL 存储 大数据
|

10亿+/秒!看阿里如何搞定实时数仓高吞吐实时写入与更新

10亿+/秒!看阿里如何搞定实时数仓高吞吐实时写入与更新

7536 2
来自: 实时数仓 Hologres  版块
|
存储 分布式计算 安全
|

阿里云云原生一体化数仓--数据安全能力解读

云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力,包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、开发生产环境隔离等安全能力,实现了端到端的安全管控能力。

2341 1
来自: 大数据计算 MaxCompute  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
70011
内容
128
活动
440134
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务