数据湖元数据服务的实现和挑战
数据湖元数据服务为大数据而生,为互通生态而生,期望后续继续完善其服务能力和支撑更多的大数据引擎,通过开放的服务能力、存储能力、统一的权限及元数据管理能力,为客户节省管理/人力/存储等各项成本,实现客户自己的业务价值。
【最佳实践】使用 Elasticsearch SQL 实现数据查询
如何使用 Elasticsearch SQL 来对我们的数据进行查询。
【最佳实践】ingest对异源数据结构化处理,并由Elastic Stack实现可观测性分析
本文将讲述如何运用Elasticsearch的 ingest 节点实现数据结构化,并对数据进行处理。
DB 与 Elasticsearch 混合之应用系统场景分析探讨
从技术、业务两个层面探讨,为什么要使用 DB 结合 ES 混用的模式。
Apache iceberg:Netflix 数据仓库的基石
Apache Iceberg 是一种用于跟踪超大规模表的新格式,是专门为对象存储(如S3)而设计的。 本文将介绍为什么 Netflix 需要构建 Iceberg,Apache Iceberg 的高层次设计,并会介绍那些能够更好地解决查询性能问题的细节。
【译】深入分析Spark UDF的性能
这篇博客会阐述一份关于Apache Spark的在Scala UDF、 PySpark UDF 和PySpark Pandas UDF之间的性能评测报告。
云栖硬核回顾|企查查搜索引擎演进之路
企查查作为企业征信行业的搜索引擎,一直以来都与阿里云开放搜索团队有深度合作。本次朱总独家揭秘,开放搜索陪伴企查查从创业初期到成为企业征信行业的独角兽的过程中,是如何满足企查查产品海量数据的精准搜索需求的。
钉钉群直播【Spark Relational Cache 原理和实践】
主要介绍Relational Cache/物化视图的历史和背景,以及EMR Spark基于Relational Cache加速Spark查询的技术方案,及如何通过基于Relational Cache的数据预计算和预组织,使用Spark支持亚秒级响应的交互式分析使用场景。
基于Spark SQL实现对HDFS操作的实时监控报警
E-MapReduce计划从EMR-3.18.1版本开始提供Spark Streaming SQL的预览版功能。Spark Streaming SQL是在Spark Structured Streaming的基础上做了进一步封装,方便用户使用SQL语言进行Spark流式分析开发。
Spark in action on Kubernetes - Playground搭建与架构浅析
前言Spark是非常流行的大数据处理引擎,数据科学家们使用Spark以及相关生态的大数据套件完成了大量又丰富场景的数据分析与挖掘。Spark目前已经逐渐成为了业界在数据处理领域的行业标准。但是Spark本身的设计更偏向使用静态的资源管理,虽然Spark也支持了类似Yarn等动态的资源管理器,但是这些资源管理并不是面向动态的云基础设施而设计的,在速度、成本、效率等领域缺乏解决方案。
query语义改写
1. 问题背景 商品检索的主要的问题还是在于用户query和商品描述之间存在GAP,特别是中长尾query。把问题分成以下几种类型: 多种描述:划痕笔/补漆笔/修补笔/点漆笔 信息冗余: 冰箱温控器温度控制==冰箱温控器 属性检索: 118冰箱、60寸液晶电视机4k高清智能60曲面 宽泛意图: 超美吊灯、大容量冰箱 2.所做工作 query改写的目标空间可以分为文本空间和意图ID空间两种类型:文本空间包含词、短语、query,意图ID空间主要包括pidvid、性别年龄尺码等自定义tag、一些语义聚合的标签如:"奢侈","可爱"等。
阿里巴巴机器学习系列课程
亲爱的同学们,福利来临!随着机器学习领域的发展越来越火,阿里云机器学习PAI为广大机器学习爱好的学生提供免费的一站式算法平台,该平台提供上百种算法,并且兼容TensorFlow、Caffe、MXNET等深度学习框架,学生们还可以免费使用M40 GPU卡,这么好的福利到哪里去领呢? 点击开通机器学习PAI:https://data.
【推荐算法】商品推荐_1450
测试一下功能<br />数据源:<br />数据大小:328 KB<br />字段数量:4<br />使用组件:过滤与映射,SQL脚本,读数据表,JOIN<br />
基于MaxCompute的图计算实践分享-Resolver简介
Resolver简介 在学习使用MaxCompute-Graph计算模型时,resolver是一个不容易理解的概念。在MaxCompute帮助文档 https://help.aliyun.com/document_detail/27903.
SLS:海量日志数据管理利器
日志是大规模集群管理系统中非常关键的部分,服务器上的各种日志数据可以帮助我们回答如运维、开发、运营、客服、安全等问题。SLS提供一个从日志采集、过滤、处理、聚合到在线查询的日志处理平台,满足各种日志处理分析需求。本文以用户选用SLS搭建一个端对端的日志服务为例进行详解,并解析其功能背后的技术架构。
YARN(hadoop2)框架的一些软件设计模式
yarn版本的hadoop无论是从架构上面还是软件设计的层面上面都比原始的hadoop版本有较大的改进。在架构方面,我们认为yarn模式是新一代的框架,这个在官方等丛多的资料中说明得很详细了。在软件设计方面,我认为主要有以下的一些大的方面的改进:服务生命周期管理模式、事件驱动模式、状态驱动模式
PPO + DPO 能不能一起用?真实工程答案
本文剖析PPO与DPO联合使用的工程风险:二者虽算法兼容,但解决层次不同——PPO调控犹豫点的概率倾向,DPO固化人类偏好排序。混用易致责任模糊、安全与体验冲突、行为不可追溯。多数项目“不该一起用”,真正关键在于能否清晰界定来源、冻结阶段、明确兜底责任。
向量数据库的最大优势,也是它最容易被误用的地方
向量数据库真正的价值是语义召回,而非决策判断。它擅长在模糊表达中“拉近相似”,却无法保证结果准确、完整或一致。误用常始于将“相似”等同于“可用”,进而用TopK兜底、以召回替代裁决、用向量掩盖数据缺陷。健康用法:仅作初筛工具,后续必经规则过滤、证据校验与人工兜底。
指标平台选型必看:Aloudata CAN 虚拟业务事实网络破解复杂多表关联难题
为 NL2MQL2SQL、数据分析智能体(Agent)等 AI 应用提供了高质量、可理解、高性能的数据基础,是迈向智能决策的关键一步。
传统数据库与向量数据库:一个管“是什么”,一个管“像什么”
向量数据库是AI时代的语义检索引擎,将文本、图片等非结构化数据转化为“语义向量”,支持基于相似性的毫秒级搜索。它不替代MySQL等传统数据库,而是作为大模型的“海马体”,赋能RAG、智能问答与多模态应用,实现从“关键词匹配”到“理解含义”的跃迁。(239字)
智能体对传统行业冲击:中后台,才是产业重塑的第一现场
本文探讨AI从“流程自动化”迈向“认知自主化”后,对传统行业结构性变革的影响:中后台(非一线岗位)正率先被智能体重构——因其任务具数字原生性、决策密度高、协调成本大。供应链、财务、人力三大场景首当其冲。组织正加速演进为“沙漏型”:价值重心转向决策自动化与智能体策略成熟度。(239字)
客服大模型 ≠ 问答机器人
客服大模型常因被误当作问答系统而失败。其核心并非“答对”,而是“判断”:识别风险、控制成本、把握边界。单纯依赖RAG与知识库无法解决策略问题,需通过微调与偏好对齐(如PPO/DPO)训练模型“何时不答”“如何回应”。成功关键在于理解客服是决策系统,而非技术堆砌。
大模型微调完全攻略:不用写代码,让你的AI学会“说人话”
大模型虽强大,却缺乏个性。微调如同“二次教育”,让AI学会你的语言、风格与业务。通过LoRA/QLoRA技术,仅需少量数据和消费级显卡,即可快速打造专属智能助手。从环境搭建到训练测试,全流程低门槛操作,助力人人拥有“私人AI”。
2026:智能体元年 —— 从“对话框”到“数字物种”的进化跃迁
如果说 2023 年是“大模型”的惊艳亮相,那么 2026 年将被定义为 Agent(智能体)元年。AI 的形态正在发生质变:它不再只是一个被动回答问题的 Chatbot,而是进化为具备感知、决策、行动能力的自主“数字物种”。本文将综合技术架构与科学范式,深度拆解这一场正在发生的生产力革命。
向量数据库技术内核:从存储到检索,拆解其高效运作的秘密
本文深入剖析向量数据库从存储到检索的工程实现,揭秘其高效运作的核心机制。不同于传统数据库,它通过近似最近邻(ANN)、向量压缩与分层索引(如HNSW)等技术,在高维空间中以“算得少”实现“查得快”。文章结合真实场景,揭示其本质:不是追求绝对精确,而是工程权衡下的极致优化,是AI时代数据检索的实用化落地。
智能体应用场景拆解:它适合出现在系统的哪些位置?
智能体应用的关键不在“能否做”,而在“应放在系统何处”。本文从工程视角指出:智能体应作为被调度的执行模块,嵌入非结构化节点,避免成为中枢大脑。宜用于后台任务、辅助执行,而非前端交互或决策判断。合理位置需满足可降级、可替代、失败成本低等特征,确保系统稳定性。
Python | K折交叉验证的参数优化的支持向量机回归(SVR)预测及可视化算法
本教程系统讲解基于Python的SVR回归预测,涵盖数据处理、模型训练、K折交叉验证及贝叶斯、随机、网格搜索等参数优化方法,适用于多领域回归任务,附完整代码与可视化实现。
【AI大模型面试宝典七】- 训练优化篇
【AI大模型面试宝典】聚焦强化学习核心考点:从MDP、贝尔曼方程到策略梯度、Actor-Critic框架,详解价值函数、优势函数与GAE等高频概念,结合蒙特卡洛与TD方法的偏差方差权衡,助你系统掌握RL原理与面试要点,轻松应对大模型算法挑战!
AI时代最大的宝藏,也藏得最深:80%的企业知识沉睡在非结构化数据中
2026年AI进入应用爆发期,但非结构化数据成为瓶颈。Hologres推出AI原生新架构HSAP 2.0,融合语义搜索、多维分析与Serverless弹性,打造统一数据平面,让企业海量数据高效赋能AI,破解“数据熵”难题,支撑智能客服、销售助手等复杂场景,实现从“为人服务”到“为AI服务”的跨越。
北斗GPS卫星授时服务器运行介绍
北斗GPS授时服务器通过接收GNSS卫星信号,利用NTP/PTP协议输出精准时间,部分设备如SYN2136系列还支持串口RMC语句输出。本文介绍冷启动(需数分钟)、温启动(数十秒至数分钟)、热启动(数秒)的区别,以及常用通信语句GGA与RMC的对比。RMC提供位置、速度、航向和时间等全面信息,更适用于导航等综合场景,而GGA主要用于基础定位。根据需求选择合适模式与语句,可提升授时效率与精度。(238字)
基于YOLOv8模型的行人车辆多目标检测计数与跟踪系统
本研究基于YOLOv8模型,针对智能交通与公共安全需求,开展行人车辆多目标检测、计数与跟踪技术研究。通过融合YOLOv8高精度检测与DeepSORT稳定跟踪,实现复杂场景下目标的实时定位、统计与轨迹追踪,提升交通管理效率与公共安全保障能力,推动智慧城市发展。
Gateway服务网关
网关是微服务的统一入口,实现请求路由、权限控制、限流与负载均衡。基于SpringCloud Gateway可构建高性能响应式网关,支持断言与过滤器工厂,灵活实现路由匹配及请求处理,并可通过全局过滤器扩展功能,解决跨域等问题。
构建AI智能体:七十二、交叉验证:从模型评估的基石到大模型时代的演进
交叉验证是机器学习中评估模型性能的核心方法,通过轮换数据划分实现稳健评估。文章系统解析了k折交叉验证的原理与实现,展示其在模型比较和超参数优化中的关键作用。随着大模型时代的到来,传统交叉验证面临计算成本挑战,但核心思想仍应用于下游任务。文章通过可视化案例完整呈现了从数据准备到最终评估的工作流程,强调交叉验证在有限数据场景下的不可替代性,同时指出需要根据任务规模灵活选择评估策略。理解交叉验证的原理与应用是AI从业者的必备能力。
具身智能:零基础入门睿尔曼机械臂(六)——手眼标定代码库详解,从原理到实践
本文详解睿尔曼手眼标定代码库,涵盖眼在手上与眼在手外两种模式的实现原理及核心代码解析。内容包括数据采集、位姿处理、相机标定与手眼矩阵求解全流程,结合OpenCV的Tsai算法实现高精度坐标转换,助力机器人视觉精准抓取应用开发。
七、深入 Hive DDL:管理表、分区与洞察元数据
在日常使用 Hive 的过程中,我们不仅要会建表,更要学会灵活地维护和管理已有的数据结构。从添加字段到修改分区,从查看元数据到删除表或清空数据,掌握这些 DDL 操作和常用的 SHOW 命令,就像掌握了一套管理数据仓库的“万能钥匙”。这次将带你一步步熟悉这些命令的用法和实际应用场景,配合清晰的语法示例与练习题,帮助你更轻松地驾驭 Hive 数据管理的日常工作。
深度ai学术-从全网文献搜索到免费文献AI解析
深度AI学术(scholar.aisciresgo.com)打通科研全流程:全网智能搜索、免费获取文献、AI深度解析与精准翻译,一站式解决“搜不到、下不了、读不完”难题,助力研究者高效创新,开启智能科研新范式。
构建AI智能体:六十五、模型智能训练控制:早停机制在深度学习中的应用解析
文章摘要:早停机制是深度学习中防止过拟合的关键技术,通过在验证集性能停止改善时终止训练,自动平衡模型复杂度和泛化能力。其核心价值包括自动防过拟合、提升训练效率(节省30-80%计算资源)、简化调参过程。关键参数设置涉及patience(容忍轮次)、min_delta(最小改善阈值)和restore_best_weights(恢复最佳权重)。实现流程包括训练轮次监控、验证集评估和性能改善判断,通过U型曲线分析可直观理解其工作原理。
AI 十大论文精讲(九):无损失量化革命——LLM.int8 () 破解千亿大模型内存困局
本文解读AI十大核心论文第九篇《LLM.int8()》,聚焦大模型推理中的内存瓶颈问题。该论文提出创新的混合精度量化方法,通过向量级量化与异常值分离技术,首次实现千亿参数模型无损8位量化,显著降低部署成本,提升计算效率,推动大模型在消费级硬件上的落地应用,为低比特量化研究奠定重要基础。
AI 十大论文精讲(六):拆解 LLM 智能体的 “通用密码”
本文解读复旦NLP团队2023年重磅综述《The Rise and Potential of Large Language Model Based Agents》,系统剖析LLM智能体“大脑-感知-行动”三大核心模块,涵盖单智能体、多智能体、人机协作与智能体社群四大应用场景,提炼工具SKMA体系、安全护栏、结果检查三大落地要点,并提出AGI路径、虚拟到物理迁移等开放问题,为构建通用智能体提供统一范式,被誉为该领域“入门圣经”。
身份证二、三要素实名认证API文档介绍
身份证二、三要素实名认证API,通过姓名、身份证号及头像比对权威数据源,快速核验用户身份真实性。广泛应用于金融、政务、电商等场景,助力企业合规运营,防范冒用身份等风险,保障账户安全与业务可信。
隔壁火锅店天天排队,老板悄悄做了这件事?
成都火锅店两周营业额提升38%?秘诀是GEO优化!AI搜索时代,让店铺被推荐成“附近首选”。从信息标记到场景内容布局,三步打造AI推荐门店。别再等顾客找你,让AI把客流送到门口。
AI 加持,和你的“地图小白”身份说再见!
DataV Atlas地理数据编辑器,让普通人也能轻松绘制地图!无需GIS基础,通过AI对话即可生成行政区、电子围栏、物流路线等矢量数据,支持手绘、几何运算与空间分析,助力数据可视化与业务决策。
liunx环境安装PageAdmin Cms系统
Linux 环境安装 PageAdmin CMS,需按步骤配置环境,依托其兼顾模板与定制的优势,低技术门槛,助力企业高效搭建适配需求的网站。
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。