|
存储 分布式计算 运维
|

【2023云栖】刘一鸣:Data+AI时代大数据平台建设的思考与发布

本文根据2023云栖大会演讲实录整理而成,演讲信息如下: 演讲人:刘一鸣 | 阿里云自研大数据产品负责人 演讲主题:Data+AI时代大数据平台应该如何建设

103318 16
来自: 大数据计算 MaxCompute  版块
|
分布式计算 测试技术 API
|

为集成LLM到测试平台提供更便捷的方式:为讯飞的LLM星火创建接入LangChain类(全部源代码)

为集成LLM到测试平台提供更便捷的方式:为讯飞的LLM星火创建接入LangChain类(全部源代码)

1018 0
|
IDE 前端开发 Java
|

在 Visual Studio Code 中使用 CodeFuse

Visual Studio Code作为一款广受程序员欢迎的代码编辑器,在前端开发和各类脚本语言开发中占据主流地位,CodeFuse智能研发助手就专门为VS Code研发了插件,只要安装插件就可以使用CodeFuse提供的各种功能,下面我们看看如何在VS Code中使用CodeFuse插件呢?

950 0
|
机器学习/深度学习 人工智能 自然语言处理
|

大模型:人工智能发展的引擎

大模型:人工智能发展的引擎

1411 0
|
算法 Java 决策智能
|

运筹优化工具库介绍(一)

运筹优化问题有时候极其复杂,我们可以使用运筹优化工具库帮助数学建模,解决复杂的最优化问题,本文介绍几个常见的运筹优化工具库。

2595 0
|
机器学习/深度学习 JSON 自然语言处理
|

阿里云PAI-灵骏大模型训练工具Pai-Megatron-Patch正式开源!

随着深度学习大语言模型的不断发展,其模型结构和量级在快速演化,依托大模型技术的应用更是层出不穷。对于广大开发者来说不仅要考虑如何在复杂多变的场景下有效的将大模型消耗的算力发挥出来,还要应对大模型的持续迭代。开发简单易用的大模型训练工具就成了应对以上问题广受关注的技术方向,让开发者专注于大模型解决方案的开发,降低大模型训练加速性能优化和训练/推理全流程搭建的人力开发成本。阿里云机器学习平台PAI开源了业内较早投入业务应用的大模型训练工具Pai-Megatron-Patch,本文将详解Pai-Megatron-Patch的设计原理和应用。

3318 86
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 人工智能 Java
|

五种重要的 AI 编程语言

编码是任何构建 AI 产品的人必备技能。它使您能够将机器学习想法变为现实。学习编码既有趣又充满力量,但也需要时间和精力。你想做的最后一件事就是开始学习一门语言,只是在几周或几个月后才意识到你想要的工作实际上需要一门不同的语言。

1871 0
|
数据库 OceanBase
|

OceanBase,端口号 2881

OceanBase,端口号 2881

754 1
|
分布式计算 Hadoop 大数据
|

大数据技术解析:Hadoop、Spark、Flink和数据湖的对比

Hadoop、Spark、Flink 和数据湖都在大数据处理领域有着重要的地位,但它们各自的优势和劣势也需考虑实际应用场景。Hadoop 适用于批处理任务,Spark 更适合实时分析,而 Flink 则强调低延迟的流式处理。数据湖则是存储和管理大规模多样性数据的选择。

2566 1
|
机器学习/深度学习 数据采集 人工智能
|

从零开始构建自己的AI:一个初学者的机器学习教程

通过这个简单的机器学习教程,我们初步了解了从数据收集、选择模型到训练和预测的基本流程。机器学习是一个广阔的领域,有很多知识和技能需要深入学习。希望本教程能为初学者提供一个入门的指引,引导大家探索更多有关机器学习的知识。感谢您阅读本文,如果您有任何问题或想法,请在评论区与我分享!让我们一起踏上机器学习的旅程,构建属于自己的AI。

4525 1
|
存储 人工智能 自然语言处理
|

机器学习系列 | 04: 知识图谱发展历程及其分类

本文简要梳理知识图谱的前世今生及其分类

2006 0
|
机器学习/深度学习 XML JSON
|

LLM 系列 | 08:ChatGPT Prompt实践:文本转换

今天这篇小作文主要介绍如何通过构建ChatGPT Prompt以解决文本转换任务。

1183 0
|
SQL 存储 算法
|

深入解读 Flink 1.17

阿里云技术专家,Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 的分享。

7085 0
来自: 实时计算 Flink  版块
|
SQL 消息中间件 JSON
|

Flink CEP 新特性进展与在实时风控场景的落地

本次分享将会介绍 Flink 社区在 1.16 中对 Flink CEP 所做的增强与优化。

3581 0
来自: 实时计算 Flink  版块
|
机器学习/深度学习 人工智能 Cloud Native
|

阿里云机器学习平台 PAI宣布集成国产深度学习框架 OneFlow

在云栖大会上,阿里云机器学习PAI平台宣布集成自研深度学习框架OneFlow,进一步提升对国产算法框架的支持。PAI可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持。

894 0
来自: 人工智能平台PAI  版块
|
存储 SQL 分布式计算
|

数据湖架构及概念简介

本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。

4597 0
|
SQL 存储 大数据
|

10亿+/秒!看阿里如何搞定实时数仓高吞吐实时写入与更新

10亿+/秒!看阿里如何搞定实时数仓高吞吐实时写入与更新

7012 2
来自: 实时数仓 Hologres  版块
|
存储 Prometheus 运维
|

阿里云ES全观测引擎TimeStream时序增强功能重磅发布,助力时序场景实现最佳实践

阿里云ES全观测引擎TimeStream时序增强功能最新发布,在云原生ELK全托管基础上,通过TimeStream时序增强功能插件,可实现高性能、低成本时序数据存储和查询分析。本文介绍TimeStream适用场景、功能优势、性能测试结果和实践案例

2754 0
|
机器学习/深度学习 自然语言处理 搜索推荐
|

电商搜索能力解读--实体识别(NER)

搜索是电商行业业务转化中最重要的功能,那你了解其中的技术实现原理吗?一起来了解基于多年淘系全量数据和知识库深入优化的电商行业实体识别的能力吧,在查询分析和类目预测中能带来哪些优化效果那~

3932 0
来自: 智能搜索推荐  版块
|
SQL 存储 关系型数据库
|

深入分析 Flink SQL 工作机制

本文首先会介绍推动这些优化背后的思考,展示统一的架构如何更好地处理流式和批式查询,其次将深入剖析 Flink SQL 的编译及优化过程。

8602 1
来自: 实时计算 Flink  版块
|
DataWorks 机器人
|

欢迎加入DataWorks产品钉钉交流群

欢迎加入DataWorks产品钉钉交流群,该群每日有值班针对dataworks问题进行讲解

38366 0
|
SQL 分布式计算 监控
|

hive在E-MapReduce集群的实践(一)hive异常排查入门

hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。 本文是hive实践系列的第一篇,以E-MapReduce集群环境为例,介绍常见的hive执行异常,定位和解决方法,以及hive日志查看方法。

7617 0
|
监控 大数据 索引
|

【X-Pack解读】阿里云Elasticsearch X-Pack 监控组件功能详解

阿里云Elasticsearch集成了Elastic Stack商业版的X-Pack组件包,包括安全、告警、监控、报表生成、图分析、机器学习等组件,用户可以开箱即用。本文将对X-Pack 的监控组件功能进行详细解读。

10301 1
|
10天前
|
算法 安全 决策智能
|

智能体来了:领航员集结,共赴智创未来新纪元

本文探讨智能体时代“快”背后的深层挑战,指出技术加速更需“领航员”——兼具技术理解、业务洞察与价值判断的复合型治理者。他们不追风头,专注把关方向、校准目标、坚守责任,以理性与制度为智能发展护航。(239字)

55 0
|
12天前
|
存储 SQL 运维
|

存量数仓宽表治理:基于 NoETL 语义编织实现指标统一管理

在企业已有的 DWD 明细数据层之上,构建一个统一的语义层,将业务逻辑的定义与物理存储和计算执行彻底解耦。

73 2
|
15天前
|
机器学习/深度学习 算法 安全
|

大模型微调参数设置:你调的不是效果,是不确定性

本文揭示大模型微调中参数的本质:它们并非提升性能的“旋钮”,而是分配不确定性的“阀门”。learning rate 决定行为漂移半径,batch size 影响共识强度,epoch 加速偏差固化,正则项约束激进程度。参数间存在风险耦合,调参实为风险管理——目标不是最优指标,而是可控的系统行为。

104 10
|
17天前
|
数据采集 机器学习/深度学习 人工智能
|

让你的AI更“懂你”:零代码实践指令微调

指令微调是让大模型“听懂人话、精准执行”的关键技术——它不追求模型更聪明,而致力于更贴心、更可靠。本文用生活化类比讲清Flan-T5、InstructGPT、Self-Instruct三大流派原理,手把手带零代码新手完成数据准备、模型选择、训练测试全流程,并提供避坑指南与效果评估方法。(239字)

94 9
|
19天前
|
XML JSON API
|

淘宝商品详情API(tb.item_get)

本文详解淘宝开放平台商品详情核心API(如item_get),涵盖对接流程、权限申请、请求规范、参数说明及返回字段,并列举代购集运、选品分析、比价导购等典型应用场景,助力开发者合规高效获取商品数据。(239字)

117 3
|
19天前
|
存储 安全 数据安全/隐私保护
|

企业硬盘加密软件选型指南:DiskCrypt与BitLocker功能、性能与应用场景全对比

本文对比国产安得卫士DiskCrypt与微软BitLocker两款硬盘加密软件,在加密深度(扇区级vs分区级)、认证机制、密钥管理、应急恢复、国产化兼容及集中管控等维度展开分析,助力用户按安全等级、合规要求与使用场景科学选型。(239字)

102 0
|
23天前
|
量子技术 芯片 异构计算
|

量子芯片为什么这么难造?从“画电路”到“跑量子态”,中间全是坑

量子芯片为什么这么难造?从“画电路”到“跑量子态”,中间全是坑

138 3
|
25天前
|
存储 SQL 人工智能
|

数据语义层 vs 宽表模式:哪种架构更适合 AI 时代的数据分析?

用户零等待指标交付,逻辑变更分钟级生效,无需 ETL;100%一致口径,所有人与 AI 通过同一语义层访问数据;无缝对接 AI,语义层为 AI 提供标准化查询 API。

106 1
|
26天前
|
存储 搜索推荐
|

漫画说:为什么你的“增量计算”越跑越慢? ——90%的实时数仓团队都踩过的坑,藏在这几格漫画里

面对海量数据,传统全量计算导致实时更新效率低下。阿里云 Hologres 通过有状态增量计算,仅处理变更数据并持久化中间状态,实现秒级刷新、降本增效,真正让“增量”摆脱重复扫描历史的困局。

96 1
来自: 实时数仓 Hologres  版块
|
1月前
|
人工智能 监控 数据可视化
|

给大模型“开小灶”:零代码实战专属领域微调,手把手教你打造AI专家

本文介绍如何通过“模型微调”将通用大模型打造成特定领域的专家助手,聚焦Web安全场景,借助LLaMA Factory实现零代码、可视化微调。涵盖微调原理(如LoRA、量化)、全流程操作及效果评估,帮助用户低成本构建专属高性能AI模型。

193 0
|
1月前
|
JSON 监控 API
|

京东API:通过商品ID获取京东商品详情数据指南

京东商品详情API(JD.item_get)支持通过商品ID获取标题、价格、库存、品牌、分类、销量等核心信息,广泛用于电商分析、比价工具与监控系统。需传入app_key、item_id、timestamp等参数并生成签名,返回JSON格式数据,助力高效对接京东商品数据。

130 2
|
2月前
|
运维 监控 Linux
|

Linux 学习资源精选:从入门到运维的高效清单

本文精选Linux学习资源,按入门、运维、进阶三阶段系统推荐视频、书籍、工具与项目,强调分阶段精准匹配、重实操强总结,助力学习者高效构建知识体系,少走弯路,快速提升实战能力。

176 0
|
2月前
|
机器学习/深度学习 存储 自然语言处理
|

大模型基础概念术语解释

大语言模型(LLM)基于Transformer架构,通过海量文本训练,实现强大语言理解与生成。其核心包括注意力机制、位置编码、嵌入层等,支持万亿级参数与涌现能力,能完成翻译、问答等多任务,展现卓越泛化与推理能力。

216 0
|
2月前
|
运维 监控 Cloud Native
|

不是监控不行,是你观测得不够:聊聊新一代可观测性(Observability)的真相

不是监控不行,是你观测得不够:聊聊新一代可观测性(Observability)的真相

208 7
|
2月前
|
人工智能 自然语言处理 搜索推荐
|

当下数字人定制平台哪家好?实测后我推荐它

2025年数字人已成商业基础设施,市场规模突破480亿。本文亲测来灵数字人、腾讯智影、百度曦灵、小冰、Synthesia五大平台,从客服、直播、内容生产三大场景出发,揭示选型关键:不看功能多全,而看是否适配业务。真正赢家,是选对场景、匹配流程、坚持12个月以上投入的企业。

340 0
来自: 人工智能平台PAI  版块
|
2月前
|
Prometheus 分布式计算 监控
|

大数据指标和 SLA,那些你以为懂了其实没懂的事

大数据指标和 SLA,那些你以为懂了其实没懂的事

407 7
|
3月前
|
机器学习/深度学习 人工智能 计算机视觉
|

AAAI2025!北理工团队提出FBRT-YOLO:面向实时航拍图像更快更好的目标检测 |计算机视觉|目标检测

FBRT-YOLO提出专用于航拍图像的实时目标检测模型,通过轻量化设计、增强多尺度融合与小目标优化,在保证高精度的同时显著提升速度,实现复杂场景下更优的性能平衡。

398 0
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
|

AI 十大论文精讲(三):RLHF 范式奠基 ——InstructGPT 如何让大模型 “听懂人话”

本文解读AI十大核心论文之二——《Training Language Models to Follow Instructions with Human Feedback》。该论文提出RLHF框架,通过“监督微调-奖励建模-强化学习”三步法,首次实现大模型与人类意图的有效对齐,推动GPT-3进化为更安全、可信的InstructGPT,奠定ChatGPT等后续模型的技术基石,开启大模型“从博学到好用”的新时代。

734 152
|
3月前
|
人工智能 机器人 数据处理
|

ICLR2026 !SAM3重磅来袭:能“听懂人话”的分割模型,性能狂飙2倍

Lab4AI.cn覆盖全周期科研支撑平台,提供论文速递、AI翻译和AI导读工具辅助论文阅读;支持投稿论文复现和Github项目复现,动手复现感兴趣的论文;论文复现完成后,您可基于您的思路和想法,开启论文创新与成果转化。

781 6
来自: 人工智能平台PAI  版块
|
3月前
|
关系型数据库 API 调度
|

任务的权限隔离与多租户(SaaS)平台设计要点

本文介绍了一个多租户平台的构建,旨在解决权限隔离和数据独立性问题。平台采用FastAPI、Celery+Redis、PostgreSQL多schema、Requests+代理IP和JWT+RBAC技术,实现了任务隔离、代理独立和数据分区。项目强调了多租户系统在任务独立、代理隔离、数据分区和权限控制方面的复杂性,并提出了进一步扩展

390 3
|
4月前
|
机器学习/深度学习 算法 API
|

淘宝API图片搜索 | 天猫商品图片识别 | 一键上传找相似商品

淘宝图片搜索API(拍立淘)基于图像识别与深度学习技术,支持通过图片查找相似商品,适用于比价、找同款等场景。提供精准匹配、多参数调节,助力开发者打造智能购物应用,提升搜索效率与用户体验。

525 2
|
4月前
|
人工智能 自然语言处理 前端开发
|

AI Agents 崛起:让 AI 自己“干活”的时代,终于来了!

AI Agents 崛起:让 AI 自己“干活”的时代,终于来了!

313 11
|
4月前
|
自然语言处理 监控 API
|

速卖通商品详情API秘籍!轻松获取SKU属性数据

速卖通商品详情API(aliexpress.item.get)支持通过编程获取商品标题、价格、SKU、库存、销量、物流模板、评价及店铺信息,适用于价格监控、选品分析等场景。接口支持多语言返回,采用AppKey+AppSecret+Token认证,需签名验证,确保安全调用。

265 2
|
4月前
|
JSON 搜索推荐 API
|

拼多多商品详情API技术指南

拼多多商品详情API(pdd.goods.detail.get)支持通过商品ID获取商品标题、价格、销量、图片、库存及评价等详细信息,适用于电商数据分析、竞品监控与价格策略优化,返回标准JSON格式,便于集成开发。

476 1
|
4月前
|
供应链 搜索推荐 API
|

从0到1掌握1688API:图片搜索获取技巧与避坑指南

1688图片搜索API基于图像识别技术,支持上传JPG/PNG格式图片(Base64或URL),实现同款或相似商品搜索。适用于电商选品、供应链管理等场景,提供价格、销量等多维度筛选,返回商品ID、标题、价格、销量及供应商信息。

491 3
|
5月前
|
人工智能 监控 安全
|

Gartner报告:可观测性平台魔力象限

本文由Gregg Siegfried等作者撰写,阐述了可观测性平台如何通过遥测数据采集、AI分析与成本优化,助力企业提升系统健康度与业务韧性,并详解市场定义、核心功能及主流供应商优劣势。

442 2
来自: 大数据运维SREWorks  版块
|
5月前
|
存储 人工智能 搜索推荐
|

终身学习型智能体

当前人工智能前沿研究的一个重要方向:构建能够自主学习、调用工具、积累经验的小型智能体(Agent)。 我们可以称这种系统为“终身学习型智能体”或“自适应认知代理”。它的设计理念就是: 不靠庞大的内置知识取胜,而是依靠高效的推理能力 + 动态获取知识的能力 + 经验积累机制。

845 135

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69094
内容
128
活动
439688
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务