|
5月前
|
人工智能 自然语言处理 安全
|

AI人格的创世蓝图:深度解构《自衍体》的意识架构设计

本文深度解析前沿开源项目《自衍体》(Zyantine),探讨其如何通过“核心本能、欲望引擎、辩证成长、认知表达”四大支柱,构建具备稳定人格的AI Agent。项目以“内在世界”为核心,提出认知流与事实锚定协议,为下一代“有格”AI奠定理论与工程基础,标志着AI从行为模拟走向人格建构的新纪元。

282 4
|
5月前
|
数据采集 人工智能 数据可视化
|

打造企业级调度系统的最佳实践---以百度热搜关键词为例

本教程详解如何构建自动化分析百度热搜关键词的系统,涵盖代理IP、多线程、任务调度等核心技术,助你打造高效稳定的数据采集引擎。

214 0
|
6月前
|
前端开发 Java 数据库连接
|

一个完整 Java 项目常包含的各层次详解与全面解析

本内容介绍了Java项目的典型分层架构,涵盖开放接口层、终端显示层、Web层、Service层、Manager层、Mapper层及常用辅助层次,如实体层、DTO层、VO层等。通过合理划分各层职责,结合Spring Boot等框架,实现系统的高内聚、低耦合,提升可维护性与扩展性,适用于微服务与MVC架构设计。

686 0
|
6月前
|
JavaScript 前端开发 Java
|

垃圾分类管理系统基于 Spring Boot Vue 3 微服务架构实操指南

本文介绍了基于Java技术的垃圾分类管理系统开发方案与实施案例。系统采用前后端分离架构,后端使用Spring Boot框架搭配MySQL数据库,前端可选择Vue.js或Java Swing实现。核心功能模块包括垃圾分类查询、科普教育、回收预约等。文中提供了两个典型应用案例:彭湖花园小区使用的Swing桌面系统和基于Spring Boot+Vue的城市管理系统,分别满足不同场景需求。最新技术方案升级为微服务架构,整合Spring Cloud、Redis、Elasticsearch等技术,并采用Docker容器

405 0
|
6月前
|
存储 运维 监控
|

OpenFeature 实战:统一特征开关在风控模型的落地与灰度发布方案

在金融风控场景中,模型迭代速度与线上稳定性之间的平衡是一大挑战。传统硬编码方式存在耦合度高、控制粒度粗、缺乏审计等问题,导致误拦截损失显著。本文介绍了基于 OpenFeature 的解决方案,通过动态配置、细粒度控制和多语言支持实现高效特征管理,并结合灰度发布、熔断机制和安全审计提升系统稳定性与发布安全性。实战数据显示,该方案显著缩短上线周期、降低故障率并提升模型覆盖率,具备高可用性和可扩展性,适用于复杂风控环境下的策略迭代需求。

300 0
|
6月前
|
XML JSON 监控
|

1688商品列表API接口全解析:从关键词搜索到分页处理方案

1688商品列表数据接口用于获取1688平台商品信息,支持关键词、价格区间、销量范围及类目等条件筛选,返回标题、价格、销量等基本信息。接口采用HTTP/GET或POST请求,响应格式为JSON或XML。主要功能包括商品信息获取、筛选与排序、分页查询及店铺商品获取。调用时需构造参数(如app_key、sign等),并处理返回数据。常用参数有搜索关键词(q)、页码(page)、每页数量(pageSize)、价格区间(priceStart/priceEnd)和类目ID(categoryId)。适用于商家数据分析与运营优化。

287 0
|
6月前
|
存储 运维 Java
|

官宣 | Fluss 0.7 发布公告:稳定性与架构升级

Fluss 0.7 版本正式发布!历经 3 个月开发,完成 250+ 次代码提交,聚焦稳定性、架构升级、性能优化与安全性。新增湖流一体弹性无状态服务、流式分区裁剪功能,大幅提升系统可靠性和查询效率。同时推出 Fluss Java Client 和 DataStream Connector,支持企业级安全认证与鉴权机制。未来将在 Apache 孵化器中继续迭代,探索多模态数据场景,欢迎开发者加入共建!

721 8
来自: 实时计算 Flink  版块
|
6月前
|
JSON 数据格式 开发者
|

淘宝天猫图片搜索商品接口(附代码示例)

拍立淘图片搜索接口支持开发者通过上传图片或提供图片URL,在淘宝、天猫平台搜索相似商品,适用于商品识别、比价等场景。接口采用POST(上传图片)或GET(图片URL)请求方式,返回JSON格式数据,包含商品ID、标题、价格、卖家信息、销量及图片URL等详情,参数可指定搜索关键词、类目、结果数量等,默认返回20条。

276 3
|
6月前
|
数据可视化 算法 数据挖掘
|

Python 3D数据可视化:7个实用案例助你快速上手

本文介绍了基于 Python Matplotlib 库的七种三维数据可视化技术,涵盖线性绘图、散点图、曲面图、线框图、等高线图、三角剖分及莫比乌斯带建模。通过具体代码示例和输出结果,展示了如何配置三维投影环境并实现复杂数据的空间表示。这些方法广泛应用于科学计算、数据分析与工程领域,帮助揭示多维数据中的空间关系与规律,为深入分析提供技术支持。

259 0
|
6月前
|
数据采集 人工智能 数据可视化
|

体育动画直播怎么做出来的?揭秘从数据到卡通的魔法过程!

体育动画直播是一种结合实时数据、游戏引擎与AI技术的创新形式,可将真实比赛数据转化为动画呈现。它支持自由视角观看、100%还原比赛细节,适用于足球/篮球可视化直播、电竞虚拟形象直播等场景。制作流程包括数据采集(如球员定位、生物力学数据)、3D建模(创建虚拟球场与球员模型)、动画生成(关键帧或AI驱动动作)及实时渲染播出。开发者需注意数据清洗、性能优化与版权问题,未来还将融入元宇宙技术,带来全息、VR沉浸式体验。这是一场体育与科技的完美碰撞!

663 4
|
7月前
|
数据采集 机器学习/深度学习 自然语言处理
|

NLP助力非结构化文本抽取:实体关系提取实战

本文介绍了一套基于微博热帖的中文非结构化文本分析系统,通过爬虫代理采集数据,结合NLP技术实现实体识别、关系抽取及情感分析。核心技术包括爬虫模块、请求配置、页面采集和中文NLP处理,最终将数据结构化并保存为CSV文件或生成图谱。代码示例从基础正则规则到高级深度学习模型(如BERT-BiLSTM-CRF)逐步演进,适合初学者与进阶用户调试与扩展,展现了中文NLP在实际场景中的应用价值。

550 3
|
7月前
|
人工智能 并行计算 开发者
|

CUDA重大更新:原生Python可直接编写高性能GPU程序

NVIDIA在2025年GTC大会上宣布CUDA并行计算平台正式支持原生Python编程,消除了Python开发者进入GPU加速领域的技术壁垒。这一突破通过重新设计CUDA开发模型,引入CUDA Core、cuPyNumeric、NVMath Python等核心组件,实现了Python与GPU加速的深度集成。开发者可直接用Python语法进行高性能并行计算,显著降低门槛,扩展CUDA生态,推动人工智能、科学计算等领域创新。此更新标志着CUDA向更包容的语言生态系统转型,未来还将支持Rust、Julia等语言。

563 3
|
7月前
|
机器学习/深度学习 数据采集 算法
|

大数据加持的预测性维护:让设备故障“未卜先知”

大数据加持的预测性维护:让设备故障“未卜先知”

439 2
|
7月前
|
定位技术 开发者
|

HarmonyOS实战:高德地图自定义定位图标展示

本文详细介绍了在鸿蒙系统中实现地图定位功能的开发流程与注意事项。首先,开发者需要申请两个必要的定位权限,并确保用户手动开启系统设置中的位置权限。接着,通过高德定位获取用户位置信息,并使用自定义图标替代默认的定位箭头。文章特别强调了经纬度数据必须为float类型,否则可能导致定位不准确。此外,还需检查系统的GPS定位按钮是否开启,以确保定位功能正常使用。通过本文的指导,开发者可以避免常见的定位问题,顺利完成地图定位功能的开发。

280 2
|
7月前
|
机器学习/深度学习 人工智能 算法
|

Scikit-learn:Python机器学习的瑞士军刀

想要快速入门机器学习但被复杂算法吓退?本文详解Scikit-learn如何让您无需深厚数学背景也能构建强大AI模型。从数据预处理到模型评估,从垃圾邮件过滤到信用风险评估,通过实用案例和直观图表,带您掌握这把Python机器学习的'瑞士军刀'。无论您是AI新手还是经验丰富的数据科学家,都能从中获取将理论转化为实际应用的关键技巧。了解Scikit-learn与大语言模型的最新集成方式,抢先掌握机器学习的未来发展方向!

1049 12
|
7月前
|
人工智能 缓存 搜索推荐
|

1688图片搜索API接口解析与 Python实战指南

1688图片搜索API接口支持通过上传图片搜索相似商品,适用于电商及商品推荐场景。用户上传图片后,经图像识别提取特征并生成关键词,调用接口返回包含商品ID、标题和价格的相似商品列表。该接口需提供图片URL或Base64编码数据,还可附加分页与筛选参数。示例代码展示Python调用方法,调试时建议使用沙箱环境测试稳定性,并优化性能与错误处理逻辑。

597 0
|
7月前
|
SQL 机器学习/深度学习 算法
|

【数分基本功】 两种不同的用户活跃度,留存率居然完全一致!

两种不同的用户活跃度,留存率居然完全一致。这究竟是为什么?欢迎阅读【数分基本功】系列的第 1 篇。该系列会讲一些数据分析的基本问题,必要时增加拓展和深入

292 21
|
8月前
|
JSON 监控 API
|

1688 商品列表 API 深度拆解:从参数配置到数据获取

1688 是重要的批发采购平台,其商品列表 API 接口为开发者、商家和数据分析人员提供批量获取商品基础信息(如名称、价格、销量等)的能力。该接口支持市场调研、竞品分析等场景,助力商业决策与效率提升。接口基于 HTTPS 协议,采用 GET 或 POST 请求方式,需提供通用参数(如 app_key、timestamp 等)和业务参数(如 category_id、page_no 等)。响应数据以 JSON 格式返回,包含商品详情及分页信息。

299 13
|
8月前
|
供应链 测试技术
|

产品工作流程 - AxureMost

本文介绍了产品工作流程中的IPD(集成产品开发)流程,强调产品经理对整个产品过程的管控。IPD流程包含六个主要阶段:概念、计划、开发、验证、发布和生命周期管理,每个阶段都有明确目标、活动及决策评审点(DRP),以确保项目按目标推进并适应市场变化,提升产品开发成功率与市场响应速度。

810 0
|
8月前
|
数据采集 机器学习/深度学习 人工智能
|

数据驱动智能,智能优化数据——大数据与人工智能的双向赋能

数据驱动智能,智能优化数据——大数据与人工智能的双向赋能

577 4
|
8月前
|
自然语言处理 运维 DataWorks
|

智能体Agent解析:用自然语言重构数据开发工作方式

大数据开发治理平台DataWorks基于MCP协议,正式发布了DataWorks Agent,内置DataWorks MCP Server V1.0。该功能支持在DataWorks Data Studio中通过自然语言交互完成数据开发任务,实现了需求即代码的开发体验。本文将详细介绍如何通过配置使用DataWorks MCP Server进行任务的开发和运维管理。

689 3
|
8月前
|
数据采集 搜索推荐 API
|

Python 原生爬虫教程:京东商品列表页面数据API

京东商品列表API是电商大数据分析的重要工具,支持开发者、商家和研究人员获取京东平台商品数据。通过关键词搜索、分类筛选、价格区间等条件,可返回多维度商品信息(如名称、价格、销量等),适用于市场调研与推荐系统开发。本文介绍其功能并提供Python请求示例。接口采用HTTP GET/POST方式,支持分页、排序等功能,满足多样化数据需求。

544 5
|
8月前
|
人工智能 物联网 Apache
|

Flink Forward Asia 2025 新加坡站议题征集开启|The future of AI is Real-Time

Flink Forward Asia 2025 将于7月3日在新加坡盛大召开!作为Apache Flink社区顶级会议,大会聚焦实时AI、实时湖仓、实时分析等前沿方向,汇聚全球顶尖技术实践。即日起开放议题征集,诚邀开发者与数据专家分享创新经验。席位有限,立即行动!扫码或访问官网报名参与这场年度技术盛宴,共话实时计算未来。

585 17
来自: 实时计算 Flink  版块
|
8月前
|
机器学习/深度学习 编解码 人工智能
|

计算机视觉五大技术——深度学习在图像处理中的应用

深度学习利用多层神经网络实现人工智能,计算机视觉是其重要应用之一。图像分类通过卷积神经网络(CNN)判断图片类别,如“猫”或“狗”。目标检测不仅识别物体,还确定其位置,R-CNN系列模型逐步优化检测速度与精度。语义分割对图像每个像素分类,FCN开创像素级分类范式,DeepLab等进一步提升细节表现。实例分割结合目标检测与语义分割,Mask R-CNN实现精准实例区分。关键点检测用于人体姿态估计、人脸特征识别等,OpenPose和HRNet等技术推动该领域发展。这些方法在效率与准确性上不断进步,广泛应用于实际场景。

1102 64
|
8月前
|
Web App开发 编解码 算法
|

怎么实现实时无延迟的体育电竞动画直播

实时无延迟动画直播需关注技术方案、实现步骤与专业解决方案。技术上可选WebRTC(低至100-500ms延迟,互动性强)、低延迟HLS/CMAF(1-3秒延迟,兼容性好)和RTMP(传统协议,2-5秒延迟)。实现步骤包括采集端设置(高性能编码、稳定网络)、传输优化(CDN节点选择、抗丢包协议)及播放端优化(低延迟模式、自适应码率)。专业方案有云服务(AWS、Azure、阿里云)和专用平台(Millicast、Wowza)。注意完全无延迟不可行,需权衡画质与稳定性,并考虑终端兼容性和成本。代码示例展示了比赛数据处理逻辑,涉及匹配ID、状态、计划与关注等功能。

440 11
|
9月前
|
存储 人工智能 自然语言处理
|

方案介绍|基于百炼生成向量数据并使用阿里云Milvus存储和检索

阿⾥云Milvus是⼀款云上全托管服务,提供⼤规模向量数据的相似性检索服务。100%兼容开源Milvus,在开源版本的基础上增强了可扩展性,具备易⽤性、可⽤性、安全性、低成本与⽣态优势。阿⾥云Milvus可以⽀持⼏乎所有涉及到向量搜索的场景。例如检索增强⽣成RAG,以及经典的搜索推荐、多模态检索等。阿里云Milvus可存储百炼产生的向量数据,并进行大规模向量数据的检索。本文将重点介绍这一过程的方案。

716 2
|
9月前
|
机器学习/深度学习 人工智能 算法
|

SWEET-RL:基于训练时信息的多轮LLM代理强化学习框架

SWEET-RL是一种基于训练时信息的逐步评估算法,显著提升了多轮大型语言模型(LLM)代理在强化学习中的成功率。相比现有方法,SWEET-RL将成功率提高6%,使小型开源模型如Llama-3.1-8B达到甚至超越GPT-4O等大型专有模型性能。通过非对称Actor-Critic结构、创新优势函数参数化及两阶段训练流程,SWEET-RL优化了信用分配机制与泛化能力,降低了计算成本。ColBench基准测试显示,SWEET-RL在后端编程和前端设计任务中表现卓越,为AI代理训练技术带来突破性进展。

355 2
|
9月前
|
传感器 人工智能 算法
|

智能眼镜,从科技幻想到现实生活的触手可及

智能眼镜,从科技幻想到现实生活的触手可及

378 22
|
9月前
|
SQL 分布式计算 数据挖掘
|

《智能数据建设与治理 Dataphin》的最佳实践

本文介绍了使用Dataphin进行离线数仓搭建的实操教程,涵盖从创建数据板块到数据分析的完整流程。内容包括登录控制台、配置计算源、创建离线管道、生成SQL语句、运行任务及验证数据等步骤。通过详细的操作指南和截图,帮助用户快速上手Dataphin,体验其强大的数据治理能力。总结中提到教程存在部分陈旧问题,建议加深对产品逻辑的理解以更好地掌握工具使用。

487 1
|
9月前
|
机器学习/深度学习 运维 自然语言处理
|

当深度学习遇上故障根因分析:运维人的绝佳拍档

当深度学习遇上故障根因分析:运维人的绝佳拍档

415 17
|
9月前
|
供应链 算法 量子技术
|

量子跃迁:量子计算在物流优化中的革命性应用

量子跃迁:量子计算在物流优化中的革命性应用

627 22
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
|

云上一键部署通义千问 QwQ-32B 模型,阿里云 PAI 最佳实践

3月6日阿里云发布并开源了全新推理模型通义千问 QwQ-32B,在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,性能比肩Deepseek-R1,且部署成本大幅降低。并集成了与智能体 Agent 相关的能力,够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署 QwQ-32B,本实践带您部署体验专属 QwQ-32B模型服务。

1883 17
来自: 人工智能平台PAI  版块
|
9月前
|
自然语言处理 安全 API
|

1688 跨境属性 API 接口(1688API 系列)

1688跨境属性API助力跨境电商发展,提供商品目标市场适配、跨境物流、国际认证及语言文化属性等数据,支持HTTP GET/POST请求。开发者可通过商品ID、目标市场代码和语言参数精准获取信息,提升业务效率与精准度。示例代码展示了如何使用Python进行GET请求,获取商品跨境属性,确保数据准确可靠。

370 0
|
10月前
|
消息中间件 关系型数据库 MySQL
|

基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成

本教程展示如何使用Flink CDC YAML快速构建从MySQL到Kafka的流式数据集成作业,涵盖整库同步和表结构变更同步。无需编写Java/Scala代码或安装IDE,所有操作在Flink CDC CLI中完成。首先准备Flink Standalone集群和Docker环境(包括MySQL、Kafka和Zookeeper),然后通过配置YAML文件提交任务,实现数据同步。教程还介绍了路由变更、写入多个分区、输出格式设置及上游表名到下游Topic的映射等功能,并提供详细的命令和示例。最后,包含环境清理步骤以确保资源释放。

790 2
来自: 实时计算 Flink  版块
|
10月前
|
SQL 数据可视化 atlas
|

低空经济新基建!DataV Atlas 如何用大模型玩转空间数据?

阿里云DataV Atlas推出搭载通义千问最新2.5 Max大模型「时空SQL智能小助手」,通过自然语言生成专业SQL,简化空间数据分析流程,助力智慧农田、城市低空交通及应急调度等领域,推动精准决策和智能化管理。零门槛体验空间智能分析革命,开启“会思考的天空网络”新时代。

728 5
来自: 数据可视化DataV  版块
|
10月前
|
JSON API 开发者
|

小红书商品详情API接口(小红书API系列)

小红书商品详情API接口帮助开发者获取平台上特定商品的详细信息,包括标题、价格、图片、描述、评价数量等。支持HTTP GET/POST请求,返回JSON格式数据。通过传递商品ID及其他可选参数,开发者可以将小红书的商品信息整合到自己的应用中,提供更丰富的购物体验。Python示例代码展示了如何使用requests库发送GET请求并处理响应数据。实际使用需替换为真实接口地址和商品ID,并遵循平台认证要求。

564 6
|
10月前
|
机器学习/深度学习 数据采集 人工智能
|

量子计算与人工智能的结合:引领科技革命的前沿

量子计算与人工智能的结合:引领科技革命的前沿

695 13
|
10月前
|
供应链 搜索推荐 API
|

亚马逊商品列表数据接口(亚马逊 API 系列)

亚马逊的商品列表数据接口为电商从业者、数据分析人员和开发者提供了宝贵的市场洞察。通过该接口,用户可以批量获取商品的关键信息,包括基本信息、价格、销售排名和库存状态等,助力市场分析、竞品研究和商品推荐。开发者需在亚马逊开发者中心注册并申请API权限,使用安全凭证进行认证,支持HTTP/HTTPS协议的GET和POST请求。Python示例展示了如何调用接口获取商品列表,并解析响应数据。应用场景涵盖市场趋势分析、竞品对比、个性化推荐及库存管理,帮助商家优化策略,提升竞争力。

567 13
|
10月前
|
存储 前端开发 区块链
|

基于区块链的慈善捐赠平台:透明与信任的未来

基于区块链的慈善捐赠平台:透明与信任的未来

508 24
|
10月前
|
JavaScript 前端开发
|

Node.js 中实现多任务下载的并发控制策略

Node.js 中实现多任务下载的并发控制策略

345 15
|
10月前
|
人工智能 自然语言处理 搜索推荐
|

高性价比| OpenSearch 智能问答版开箱即用 DeepSeek-R1

OpenSearch LLM智能问答版基于DeepSeek-R1一分钟搭建RAG系统。

1691 11
来自: 智能搜索推荐  版块
|
10月前
|
应用服务中间件 Linux nginx
|

部署使用 CHAT-NEXT-WEB 基于 Deepseek

本文介绍如何在阿里云轻量服务器上部署基于 `Deepseek` 的 `CHAT-NEXT-WEB` 项目。首先,准备一台 Linux 服务器并安装 Docker,确保防火墙允许特定端口访问。接着,通过阿里云容器镜像服务解决国内网络限制问题,将镜像推送到私有仓库并拉取到本地。配置并启动 `chat-next` 项目,使用 Deepseek API 进行优化。最后,安装 Nginx 和 Certbot 配置 HTTPS 访问,确保安全性和自动续签。整个过程需严格遵循官方文档,以避免因网络问题导致的安装失败。

1786 9
来自: 智能搜索推荐  版块
|
11月前
|
存储 缓存 Java
|

Python高性能编程:五种核心优化技术的原理与Python代码

Python在高性能应用场景中常因执行速度不及C、C++等编译型语言而受质疑,但通过合理利用标准库的优化特性,如`__slots__`机制、列表推导式、`@lru_cache`装饰器和生成器等,可以显著提升代码效率。本文详细介绍了这些实用的性能优化技术,帮助开发者在不牺牲代码质量的前提下提高程序性能。实验数据表明,这些优化方法能在内存使用和计算效率方面带来显著改进,适用于大规模数据处理、递归计算等场景。

332 5
|
11月前
|
机器学习/深度学习 数据采集 算法
|

机器学习在生物信息学中的创新应用:解锁生物数据的奥秘

机器学习在生物信息学中的创新应用:解锁生物数据的奥秘

881 36
|
11月前
|

分布匹配蒸馏:扩散模型的单步生成优化方法研究

扩散模型在生成高质量图像方面表现出色,但其迭代去噪过程计算开销大。分布匹配蒸馏(DMD)通过将多步扩散简化为单步生成器,结合分布匹配损失和对抗生成网络损失,实现高效映射噪声图像到真实图像,显著提升生成速度。DMD利用预训练模型作为教师网络,提供高精度中间表征,通过蒸馏机制优化单步生成器的输出,从而实现快速、高质量的图像生成。该方法为图像生成应用提供了新的技术路径。

496 2
|
12月前
|
人工智能 分布式计算 数据处理
|

MaxCompute Data + AI:构建 Data + AI 的一体化数智融合

本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。

768 7
来自: 大数据计算 MaxCompute  版块
|
12月前
|
存储 人工智能 算法
|

深度解读面向大模型开发和应用的数据处理套件

本文深入解读了大数据与AI联合场景下的技术,重点探讨了大语言模型、多模态模型训练及应用数据处理。文章首先分析了算法、算力和数据在大模型训练中的重要性,强调数据采集、标注和质量控制的关键作用。接着介绍了PAI平台上的端到端数据处理套件,涵盖预训练、有监督微调和偏好对齐的数据处理流程,以及数据合成和蒸馏技术的应用。最后展望了未来在多模态处理、性能优化和行业解决方案方面的扩展方向。

727 3
来自: 人工智能平台PAI  版块
|
12月前
|
存储 SQL 缓存
|

Flink 2.0 存算分离状态存储 — ForSt DB 

本文整理自阿里云技术专家兰兆千在Flink Forward Asia 2024上的分享,主要介绍Flink 2.0的存算分离架构、全新状态存储内核ForSt DB及工作进展与未来展望。Flink 2.0通过存算分离解决了本地磁盘瓶颈、检查点资源尖峰和作业恢复速度慢等问题,提升了云原生部署能力。ForSt DB作为嵌入式Key-value存储内核,支持远端读写、批量并发优化和快速检查点等功能。性能测试表明,ForSt在异步访问和本地缓存支持下表现卓越。未来,Flink将继续完善SQL Operator的异步优化,并引入更多流特性支持。

1205 88
来自: 实时计算 Flink  版块
|
14天前
|
分布式计算 资源调度 运维
|

Spark 批处理调优这点事:资源怎么要、Shuffle 怎么省、序列化怎么选?我用这些年踩过的坑告诉你

Spark 批处理调优这点事:资源怎么要、Shuffle 怎么省、序列化怎么选?我用这些年踩过的坑告诉你

103 8

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

2
今日
67715
内容
128
活动
439501
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务