|
数据采集 机器学习/深度学习 人工智能
|

数据标注(二)

数据标注(二)

411 0
|
存储 运维 架构师
|

云环境下的灾难恢复解决方案

因此,本文旨在向读者介绍AWS云计算下的灾难恢复架构的诸多相关知识点,希望读者可以通过本文了解到云上的灾难恢复计划的基本原理、最佳实践和工具,并掌握如何设计和实施云上的可靠灾难恢复计划。当然各大云厂商的服务个人使用下来,感觉基本思想都是互通的,所以这里面灾难恢复架构是不限定具体云的设计的。

698 0
|
传感器 边缘计算 物联网
|

基于边缘计算的智能物联网:未来趋势与挑战

感谢您阅读本文!如果您对基于边缘计算的智能物联网、相关技术或未来发展有任何疑问或想法,请在评论区与我交流。让我们一起探索边缘计算如何为智能物联网带来更多的创新和机遇!

645 1
|
机器学习/深度学习 人工智能 自然语言处理
|

大模型时代下,算法工程师发展趋势及技术拓展

大模型时代下,算法工程师发展趋势及技术拓展

506 0
|
机器学习/深度学习 自然语言处理 PyTorch
|

模型推理加速系列 | 07: 以BERT为例全面评测各种推理加速方案

今天这篇小作文尝试以NLP领域中的常用模型BERT为例(仅将输入文本进行encode),综合评测包括Pytorch、ONNX、JIT、TensorRT和OpenVino在内这5种推理方案的性能。

1079 0
|
Linux Shell
|

umount卸载根目录,xfs_repair修复根分区

umount卸载根目录,xfs_repair修复根分区

1752 0
来自: 人工智能平台PAI  版块
|
存储 关系型数据库 MySQL
|

技术原理,Hologres Binlog技术原理揭秘

详细介绍Hologres Binlog技术原理以及最佳实践。

1985 2
来自: 实时数仓 Hologres  版块
|
数据采集 运维 安全
|

构建数据中台的组织架构

著名管理大师钱德勒总结过一个黄金定律:战略决定组织,而组织决定成败。

6661 10
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 人工智能 搜索推荐
|

“创新大师杯”全球AI极客挑战赛征文活动

“创新大师杯”全球AI极客挑战赛征文活动开始了!

2544 2
来自: 人工智能平台PAI  版块
|
消息中间件 分布式计算 大数据
|

易仓跨境Saas全球租户,如何做到数据秒级响应?

易仓科技面对数据体量大,跨全球各区域的复杂场景易仓大数据团队是如何做到秒级响应的?

1755 5
来自: 实时计算 Flink  版块
|
监控 Oracle 关系型数据库
|

Flink CDC 系列 - 实时抽取 Oracle 数据,排雷和调优实践

分享对 Oracle 的实时数据捕获以及性能调优过程中的一些关键细节。

9245 0
来自: 实时计算 Flink  版块
|
机器学习/深度学习 SQL 人工智能
|

阿里云峰会 | 统一召回引擎在搜索场景的应用实践

淘宝每次的搜索行为在后端都会有大量的数据计算和处理才会召回符合用户需求的搜索结果,当面对的业务越来越多如何在工程体系上不断演化满足不同业务的需求?特邀阿里巴巴技术专家介绍统一召回引擎,带你了解如何应对~

1758 0
来自: 智能搜索推荐  版块
|
存储 机器学习/深度学习 SQL
|

深入解读:获得 2021 Forrester 全球云数仓卓越表现者的阿里云数据仓库

阿里云在最新发布的 The Forrester Wave™: Cloud Data Warehouse, Q1 2021 全球云数据仓库技术评比中进入卓越表现者象限,成为国内唯一入选厂商。本文针对 Forrester 的报告,结合阿里云的以 MaxCompute 为核心的云数仓产品,做一个详细的技术解读。

1465 0
来自: 大数据计算 MaxCompute  版块
|
SQL 分布式计算 关系型数据库
|

DataWorks百问百答69:有哪些数据集成报错(数据集成报错归类)?

数据集成报错归类

9944 0
|
存储 SQL 分布式计算
|

数据湖 VS 数据仓库之争?阿里提出大数据架构新概念:湖仓一体

随着近几年数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台,各大云厂商也在纷纷的提出自己的数据湖解决方案,一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么,是技术路线之争?是数据管理方式之争?二者是水火不容还是其实可以和谐共存,甚至互为补充?本文作者来自阿里巴巴计算平台部门,深度参与阿里巴巴大数据/数据中台领域建设,将从历史的角度对数据湖和数据仓库的来龙去脉进行深入剖析,来阐述两者融合演进的新方向——湖仓一体,并就基于阿里云MaxCompute/EMR DataLake的湖仓一体方案做一介绍。

27916 2
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 缓存 安全
|

【最佳实践】Elasticsearch Java Rest Client快速上手(附完整示例代码包)

本文介绍Elasticsearch的Java Client的原理、版本兼容性以及使用示例,帮助您快速使用Java客户端与Elasticsearch集群进行交互,完成检索、分析等相关业务。

10241 0
|
机器学习/深度学习 存储 开发框架
|

解密淘宝推荐实战,打造 “比你还懂你” 的个性化APP

如今,推荐系统已经成为各大电商平台的重要流量入口,谁才能够做到比用户更懂用户,谁占据了新零售时代的主动权。手机淘宝的推荐更是淘宝最大的流量入口和最大的成交渠道之一,其背后是最为复杂的业务形态和最复杂的场景技术,那么究竟如何打造手淘背后的推荐系统呢?本次首席技术官大数据专享会上,阿里巴巴搜索推荐事业部资深算法专家欧文武(三桐)为大家解密了淘宝的推荐实战。

10588 1
来自: 大数据计算 MaxCompute  版块
|
流计算 Java 监控
|

如何分析及处理 Flink 反压?

反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。

15449 1
来自: 实时计算 Flink  版块
|
流计算 资源调度 Java
|

Flink on YARN(下):常见问题与排查思路

上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。

18966 2
来自: 实时计算 Flink  版块
|
机器学习/深度学习 算法 搜索推荐
|

【玩转数据系列十三】机器学习算法基于信用卡消费记录做信用评分

机器学习算法基于信用卡消费记录做信用评分 背景 如果你是做互联网金融的,那么一定听说过评分卡。评分卡是信用风险评估领域常用的建模方法,评分卡并不简单对应于某一种机器学习算法,而是一种通用的建模框架,将原始数据通过分箱后进行特征工程变换,继而应用于线性模型进行建模的一种方法。

14889 0
来自: 人工智能平台PAI  版块
|
存储 机器学习/深度学习 数据可视化
|

网鱼网咖-利用数加快速搭建大数据平台,极致洞察,为客户带来从所未有的体验。

“令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的界面快速的开发,几个开发人员很快的掌握,甚至我们把阿里云的开发端给了业务部门,他们一些稍微资深一点的业务人员也可以使用,所以我们初步估计了一下,给我们节省的价值至少是千万级的。

5713 0
来自: 大数据计算 MaxCompute  版块
|
4天前
|
存储 人工智能 编解码
|

在Data-Driven时代下,如何打造下一代智能数据体系?

本文源自2024外滩大会“Data+AI”论坛,由蚂蚁集团数据平台与服务部负责人骆骥演讲整理。文章回顾了数据技术发展历程,指出生成式AI正推动数据技术从成本效率中心向价值中心转变。

12 1
|
16天前
|
机器学习/深度学习 算法 数据可视化
|

机器学习模型中特征贡献度分析:预测贡献与错误贡献

本文将探讨特征重要性与特征有效性之间的关系,并引入两个关键概念:预测贡献度和错误贡献度。

50 3
|
1月前
|
机器学习/深度学习 数据采集 存储
|

一文读懂蒙特卡洛算法:从概率模拟到机器学习模型优化的全方位解析

蒙特卡洛方法起源于1945年科学家斯坦尼斯劳·乌拉姆对纸牌游戏中概率问题的思考,与约翰·冯·诺依曼共同奠定了该方法的理论基础。该方法通过模拟大量随机场景来近似复杂问题的解,因命名灵感源自蒙特卡洛赌场。如今,蒙特卡洛方法广泛应用于机器学习领域,尤其在超参数调优、贝叶斯滤波等方面表现出色。通过随机采样超参数空间,蒙特卡洛方法能够高效地找到优质组合,适用于处理高维度、非线性问题。本文通过实例展示了蒙特卡洛方法在估算圆周率π和优化机器学习模型中的应用,并对比了其与网格搜索方法的性能。

165 1
|
2月前
|
安全 jenkins Devops
|

Jenkins 安全性和权限管理

【8月更文第31天】随着 DevOps 实践的普及,Jenkins 已经成为许多组织中不可或缺的一部分,用于自动化软件开发生命周期中的构建、测试和部署流程。然而,随着 Jenkins 的广泛应用,其安全性也变得越来越重要。Jenkins 提供了一系列的安全特性,包括访问控制列表(ACL)、认证和授权机制,以确保只有经过适当授权的用户才能访问和操作 Jenkins 系统。本文将详细介绍如何配置 Jenkins 的 ACL 以及其他安全措施,以保护 Jenkins 服务器免受未授权访问和攻击。

81 0
|
2月前
|
存储 分布式计算 数据处理
|

MaxCompute 的成本效益分析与优化策略

【8月更文第31天】随着云计算技术的发展,越来越多的企业选择将数据处理和分析任务迁移到云端。阿里云的 MaxCompute 是一款专为海量数据设计的大规模数据仓库平台,它不仅提供了强大的数据处理能力,还简化了数据管理的工作流程。然而,在享受这些便利的同时,企业也需要考虑如何有效地控制成本,确保资源得到最优利用。本文将探讨如何评估 MaxCompute 的使用成本,并提出一些优化策略以降低费用,提高资源利用率。

56 0
|
2月前
|
负载均衡 jenkins 应用服务中间件
|

大规模部署下的 Jenkins 高可用性与负载均衡

【8月更文第31天】随着软件开发流程的加速,持续集成/持续交付(CI/CD)工具的重要性日益凸显。Jenkins 作为最受欢迎的 CI/CD 平台之一,为企业提供了强大的自动化构建和部署功能。然而,在大规模部署场景下,单一的 Jenkins 实例可能无法满足高可用性和性能的需求。本文将探讨如何设计和实施 Jenkins 高可用集群,以支持大型组织的需求,并通过负载均衡技术来提高系统的稳定性和响应速度。

92 0
|
2月前
|
存储 分布式计算 大数据
|

MaxCompute 数据分区与生命周期管理

【8月更文第31天】随着大数据分析需求的增长,如何高效地管理和组织数据变得至关重要。阿里云的 MaxCompute(原名 ODPS)是一个专为海量数据设计的计算服务,它提供了丰富的功能来帮助用户管理和优化数据。本文将重点讨论 MaxCompute 中的数据分区策略和生命周期管理方法,并通过具体的代码示例来展示如何实施这些策略。

82 1
|
2月前
|
存储 容灾 关系型数据库
|

OceanBase 高可用性架构解析

【8月更文第31天】在大数据和云计算蓬勃发展的今天,数据库作为数据存储的核心组件,其稳定性和可靠性直接影响到整个系统的性能。OceanBase 是由阿里巴巴集团自主研发的一款分布式关系型数据库系统,旨在为大规模在线交易处理(OLTP)场景提供高性能、高可用性的解决方案。本文将深入探讨 OceanBase 是如何通过其独特的架构设计来确保数据的高可用性和容灾能力。

141 0
|
2月前
|
机器学习/深度学习 自然语言处理 JavaScript
|

FunAudioLLM:全球化语音体验的跨语言支持

【8月更文第28天】随着全球化的发展,多语言支持已经成为各种技术产品和服务的基本要求之一。FunAudioLLM(虚构名称)作为一款先进的语音合成引擎,致力于提供高质量、多语言的语音体验。本文将介绍 FunAudioLLM 如何实现跨语言的支持,并通过具体的代码示例展示如何使用该引擎进行语音合成。

36 0
|
2月前
|
机器学习/深度学习 PyTorch 算法框架/工具
|

PyTorch 中的动态计算图:实现灵活的神经网络架构

【8月更文第27天】PyTorch 是一款流行的深度学习框架,它以其灵活性和易用性而闻名。与 TensorFlow 等其他框架相比,PyTorch 最大的特点之一是支持动态计算图。这意味着开发者可以在运行时定义网络结构,这为构建复杂的模型提供了极大的便利。本文将深入探讨 PyTorch 中动态计算图的工作原理,并通过一些示例代码展示如何利用这一特性来构建灵活的神经网络架构。

81 1
|
2月前
|
人工智能 Kubernetes 持续交付
|

Kubernetes环境下基于微服务架构的容器化AI应用部署与管理最佳实践

【8月更文第19天】随着AI技术的快速发展,越来越多的企业开始将AI应用部署到生产环境。然而,AI应用往往包含大量的组件和服务,这使得其部署和管理变得非常复杂。微服务架构和容器化技术(如Docker)结合Kubernetes集群管理,为解决这些问题提供了强大的工具。本文将介绍如何在Kubernetes环境中部署和管理基于微服务架构的容器化AI应用。

68 0
|
2月前
|
机器学习/深度学习 数据采集 数据可视化
|

使用Python实现深度学习模型:智能舆情监测与分析

【8月更文挑战第16天】 使用Python实现深度学习模型:智能舆情监测与分析

161 1
|
3月前
|
机器学习/深度学习 人工智能 安全
|

云上智能风控:重塑金融安全的智能屏障

灵活性:系统具备良好的灵活性和可扩展性,能够根据业务需求进行功能扩展和升级。 成本节约:通过自动化和智能化的方式降低人工成本,提高风控效率的同时减少不必要的开支。 4.2 未来展望 随着技术的不断进步和市场的不断发展,云上智能风控将迎来更加广阔的发展前景。未来,云上智能风控系统将进一步优化算法模型和技术架构,提高风险识别的准确性和效率;

123 7
|
3月前
|
监控 供应链 定位技术
|

ERP系统中的销售订单处理与订单跟踪

【7月更文挑战第25天】 ERP系统中的销售订单处理与订单跟踪

116 0
|
3月前
|
数据采集 监控 数据安全/隐私保护
|

ERP系统中的人力资源管理与员工绩效评估解析

【7月更文挑战第25天】 ERP系统中的人力资源管理与员工绩效评估解析

122 1
|
3月前
|
监控 数据可视化 调度
|

ERP系统中的生产计划优化与生产效率提升解析

【7月更文挑战第25天】 ERP系统中的生产计划优化与生产效率提升解析

196 0
|
3月前
|
供应链 监控 调度
|

ERP系统中的销售订单管理与订单跟踪解析

【7月更文挑战第25天】 ERP系统中的销售订单管理与订单跟踪解析

163 2
|
3月前
|
监控 数据挖掘 数据安全/隐私保护
|

ERP系统中的报价与报价管理模块解析

【7月更文挑战第25天】 ERP系统中的报价与报价管理模块解析

120 3
|
3月前
|
人工智能 Python
|

模型评估与选择:避免过拟合与欠拟合

【7月更文第18天】在人工智能的探险旅程中,打造一个既聪明又可靠的模型可不简单。就好比在茫茫人海中找寻那位“知心朋友”,我们需要确保这位“朋友”不仅能在训练时表现优异,还要能在新面孔面前一样游刃有余。这就引出了模型评估与选择的关键议题——如何避免过拟合和欠拟合,确保模型既不过于复杂也不过于简单。今天,我们就来一场轻松的“模型相亲会”,通过交叉验证、混淆矩阵、ROC曲线这些实用工具,帮你的模型找到最佳伴侣。

67 2
|
3月前
|
供应链 Python
|

Demand Forecasting模型解释与Python代码示例

Demand Forecasting模型解释与Python代码示例

115 1
|
3月前
|
机器学习/深度学习 数据采集 算法
|

Python实现GWO智能灰狼优化算法优化支持向量机回归模型(svr算法)项目实战

Python实现GWO智能灰狼优化算法优化支持向量机回归模型(svr算法)项目实战

113 1
来自: 人工智能平台PAI  版块
|
4月前
|
文字识别 异构计算 Python
|

关于云端Jupyter Notebook的使用过程与感想

在自学Python时,由于家庭电脑使用冲突和设备老旧,转向云端平台。体验了多个服务:1. 魔搭modelscope(最喜欢,赠送资源丰富,社区活跃),2. Colaboratory(免费GPU,但有时重启,建议用阿里云),3. Deepnote(免费环境有限,但GPT-4代码生成功能强大),4. 飞桨aistudio(适合PaddlePaddle用户),5. ModelArts(曾有免费实例,现难找)。综合来看,阿里云的稳定性与服务更优,尤其是魔搭的自动代码修正功能。对于AIGC,推荐魔搭和付费版PAI-DSW。欢迎分享更多云端Jupyter平台体验。

153 1
|
4月前
|
分布式计算 大数据 数据处理
|

浅谈几个经典大数据处理框架

【6月更文挑战第15天】本文介绍企业如何在数据洪流中保持竞争力需借助可扩展平台和数据策略。数据管道整合多元数据源,便于分析和流转。Kappa架构专注于实时处理(如通过Kafka、Spark Streaming),适合实时响应场景;Lambda架构结合批处理与实时处理(如Spark、Hadoop与Flink),平衡实时性和批处理,易于开发和维护。Apache Beam提供统一模型,适用于流处理和批处理,提升代码复用和效率。这两种架构满足现代应用对数据一致、性能和灵活性的需求。

209 3
|
4月前
|
消息中间件 存储 网络协议
|

即时通讯需要用到哪些技术手段?

该文探讨了即时通讯技术,涉及网络协议(TCP/IP、UDP、HTTP/HTTPS)在IM中的应用,数据传输与同步(消息队列、长轮询、WebSocket、数据同步)技术,安全性保障(加密、认证授权、防止攻击)措施,以及多媒体处理(音频、视频处理和实时传输)和用户界面交互设计的重要性。文章旨在帮助读者理解并应用相关技术。

198 1
|
4月前
|
机器学习/深度学习 监控 数据挖掘
|

数据并非都是正态分布:三种常见的统计分布及其应用

这篇文章除了介绍线性模型在减肥app预测中的不切实际性,还探讨了不同统计分布在体重管理和数据分析中的应用。文章提到了正态分布和泊松分布,前者常用于描述围绕平均值对称分布的连续数据,如体重;后者适合计数数据,如体重变化次数。正态分布以其钟形曲线闻名,泊松分布则描述独立事件的数量。文章还简要介绍了卡方分布在检验分类变量关系时的作用。最后,文章指出了在线性回归中假设数据正态分布的原因,包括便于统计推断和最小化估计误差。

261 5
|
4月前
|
Serverless SQL 容灾
|

实时数仓Hologres V2.2发布,Serverless Computing降本20%

实时数仓Hologres V2.2发布,Serverless Computing降本20%

58257 65
来自: 实时数仓 Hologres  版块
|
5月前
|
数据采集 存储 NoSQL
|

爬虫在金融领域的应用:股票数据收集

本文探讨了网络爬虫在金融领域的应用,特别是在收集股票价格数据方面的实践。文章介绍了使用Scrapy框架和代理IP技术来构建爬虫,以应对反爬策略和提高数据采集效率。通过安装Scrapy和PyMongo,创建Scrapy项目,配置代理中间件,以及编写爬虫代码,实现了从Yahoo Finance抓取股票信息并存储至MongoDB。这种方法能有效助力市场分析和投资决策,提升数据采集的效率与质量。

200 0
|
5月前
|
计算机视觉
|

【YOLOv8改进】动态蛇形卷积(Dynamic Snake Convolution)用于管状结构分割任务

YOLO目标检测专栏介绍了DSCNet,它针对血管和道路等管状结构的分割任务进行优化。DSCNet采用动态蛇形卷积(DSConv)聚焦细长结构,多视角融合策略增强全局形态理解,且通过持久同调的连续性约束损失改善拓扑连续性。DSConv在2D和3D数据集上表现优于传统方法,实现更高精度和连续性。该技术已应用于yolov8,提升对管状结构的检测效果。

175 0
|
5月前
|
消息中间件 关系型数据库 MySQL
|

Maxwell 概述、安装、数据同步【一篇搞定】!

Maxwell 是一个由 Zendesk 开源的用于 MySQL 数据库实时数据捕获和同步的工具,支持多种数据库系统,以 JSON 格式输出变更数据。它实时监控数据库中的更新,将变化传递给其他系统,常用于实时数据管道、数据仓库和事件驱动架构。Maxwell 具有实时性、可配置性和高性能等特点。其工作流程包括 Binlog 解析、数据解析、重构、发布到消息队列(如 Kafka)以及事件处理。安装时需注意 JDK 版本,并配置 MySQL、Zookeeper 和 Kafka。此外,Maxwell 支持定向监听特定库表,并能进行历史和增量数据同步。

578 1

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

1
今日
64079
内容
106
活动
438010
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务