|
存储 运维 监控
|

阿里云大数据计算平台的自动化、精细化运维之路

作者简介:     范伦挺   阿里巴巴 基础架构事业群-技术专家   花名萧一,2010年加入阿里巴巴,现任阿里巴巴集团大数据计算平台运维负责人。团队主要负责阿里巴巴各类离在线大数据计算平台(如MaxCompute、AnalyticDB、StreamComput

12134 0
来自: 大数据计算 MaxCompute  版块
|
10天前
|
机器学习/深度学习 存储 PyTorch
|

PyTorch自定义学习率调度器实现指南

本文将详细介绍如何通过扩展PyTorch的 ``` LRScheduler ``` 类来实现一个具有预热阶段的余弦衰减调度器。我们将分五个关键步骤来完成这个过程。

28 2
|
12天前
|
机器学习/深度学习 数据采集 人工智能
|

使用Python实现深度学习模型:智能音乐创作与生成

使用Python实现深度学习模型:智能音乐创作与生成

33 3
|
14天前
|
算法
|

基于ACO蚁群优化的UAV最优巡检路线规划算法matlab仿真

该程序基于蚁群优化算法(ACO)为无人机(UAV)规划最优巡检路线,将无人机视作“蚂蚁”,巡检点作为“食物源”,目标是最小化总距离、能耗或时间。使用MATLAB 2022a版本实现,通过迭代更新信息素浓度来优化路径。算法包括初始化信息素矩阵、蚂蚁移动与信息素更新,并在满足终止条件前不断迭代,最终输出最短路径及其长度。

31 0
|
17天前
|
人工智能 缓存 搜索推荐
|

百度/Bing/Google搜索引擎使用技巧

本文分享了百度、Bing和Google三大搜索引擎的实用技巧,涵盖精确匹配、排除关键词、站内及文件类型搜索等,如使用双引号进行精确搜索“人工智能应用”,排除特定词如“人工智能 -游戏”,以及在特定网站如“site:baidu.com 人工智能”内查找内容等,帮助提高搜索效率和准确性。

56 7
来自: 智能搜索推荐  版块
|
17天前
|
机器学习/深度学习 数据可视化 Swift
|

CAS-ViT:用于高效移动应用的卷积加法自注意力视觉Transformer

这是8月份再arxiv上发布的新论文,我们下面一起来介绍这篇论文的重要贡献

53 10
|
24天前
|
数据采集 存储 数据处理
|

通过load->model()加载数据模型:在采集中实现动态数据处理

本文介绍了在现代网络爬虫技术中,动态数据处理的重要性和实现方法。文章以采集小红书短视频为例,详细讲解了如何通过`load->model()`方法加载数据模型来处理动态数据。首先,强调了动态数据处理在爬虫技术中的必要性,尤其是对于需要实时更新或用户交互的网页。接着,通过安装必要的Python库,使用代理IP技术,设置User-Agent和Cookie,以及动态加载数据模型的步骤,展示了如何构建一个高效的爬虫系统。文章还提供了完整的代码示例,包括环境准备、代理IP配置、请求头设置、数据模型加载和数据解析等关键步骤,成功应用于小红书短视频数据的采集。

56 13
|
2月前
|
运维 Prometheus 监控
|

OceanBase 的运维与监控最佳实践

【8月更文第31天】随着分布式数据库解决方案的需求日益增长,OceanBase 作为一种高性能的分布式数据库系统,在众多场景下得到了广泛应用。为了确保 OceanBase 集群的稳定运行,合理的运维与监控是必不可少的。本文将探讨 OceanBase 的日常运维管理与监控策略,并提供相应的代码示例。

64 2
|
2月前
|
机器学习/深度学习 算法 数据挖掘
|

6种有效的时间序列数据特征工程技术(使用Python)

在本文中,我们将探讨使用日期时间列提取有用信息的各种特征工程技术。

106 0
|
2月前
|
并行计算 算法 大数据
|

Dask 与图形处理:大规模图数据的并行分析

【8月更文第29天】在大数据时代,图数据结构因其能够高效表达实体之间的复杂关系而变得越来越重要。然而,处理大规模图数据集往往需要高效的并行计算框架。Dask 是一个灵活的并行计算库,它能够与 Python 的现有科学计算生态系统无缝集成。本文将介绍如何利用 Dask 来处理和分析大规模的图数据结构。

73 4
|
2月前
|
机器学习/深度学习 PyTorch TensorFlow
|

ONNX 模型互操作性的最佳实践

【8月更文第27天】随着深度学习技术的发展,越来越多的框架被开发出来以满足不同的需求。然而,不同的框架之间缺乏互操作性可能会限制模型的部署和迁移能力。Open Neural Network Exchange (ONNX) 格式旨在解决这个问题,它提供了一种标准化的方法来表示机器学习模型,从而实现了不同框架之间的模型转换和共享。本文将探讨如何在不同的深度学习框架之间高效地转换和部署模型,并提供一些实际的代码示例。

62 1
|
2月前
|
JSON 自然语言处理 API
|

对接开源大模型应用开发平台最佳实践

本文介绍如何使用OpenSearch LLM智能问答版对接大模型应用开发平台构建RAG系统。

260 8
来自: 智能搜索推荐  版块
|
2月前
|
数据采集 测试技术 数据安全/隐私保护
|

Playwright测试中避免使用no-wait-for-timeout的原因

在Web应用自动化测试中,Playwright作为首选框架,其稳定性至关重要。不当使用`no-wait-for-timeout`会导致测试结果不稳定、不符合真实用户体验且难以调试。推荐采用显式等待策略和合理设置超时时间,结合代理IP技术提高测试成功率和数据多样性。示例代码展示了如何在Playwright中配置代理IP进行数据抓取及分类统计。遵循这些最佳实践可确保测试既可靠又贴近实际用户场景。

86 4
|
2月前
|
搜索推荐 算法 UED
|

必应SEO优化步骤:提升网站在必应搜索引擎中的排名

本文深入剖析了必应(Bing)搜索引擎的优化策略,为网站管理员提供了一套完整的必应SEO优化步骤。文章内容兼具深度与独特见解,旨在帮助读者在激烈的网络竞争中脱颖而出。助力您的网站迈向更高的排名。

285 3
来自: 智能搜索推荐  版块
|
2月前
|
机器学习/深度学习 数据采集 TensorFlow
|

使用Python实现深度学习模型:智能垃圾分类与环境保护

使用Python实现深度学习模型:智能垃圾分类与环境保护 【8月更文挑战第7天】

87 2
|
2月前
|
SQL API Apache
|

官宣|Apache Flink 1.20 发布公告

Apache Flink 1.20.0 已发布,这是迈向 Flink 2.0 的最后一个小版本,后者预计年底发布。此版本包含多项改进和新功能,涉及 13 个 FLIPs 和 300 多个问题解决。亮点包括引入物化表简化 ETL 管道开发,统一检查点文件合并机制减轻文件系统压力,以及 SQL 语法增强如支持 `DISTRIBUTED BY` 语句。此外,还进行了大量的配置项清理工作,为 Flink 2.0 铺平道路。这一版本得益于 142 位贡献者的共同努力,其中包括来自中国多家知名企业的开发者。

801 7
来自: 实时计算 Flink  版块
|
3月前
|
存储 JSON 自然语言处理
|

OSS数据源一站式RAG最佳实践

本文介绍了如何使用OpenSearch LLM智能问答版通过OSS数据源一站式构建RAG系统。

7088 11
来自: 智能搜索推荐  版块
|
3月前
|
机器学习/深度学习 自然语言处理 搜索推荐
|

云上智能客服机器人:重塑客户服务体验的新篇章

未来,云上智能客服机器人将继续深化深度学习技术的应用,通过跨领域的知识融合和模型训练提升其在复杂场景下的理解和决策能力。同时,机器人将更加注重多模态交互技术的发展以提供更加自然流畅的交互体验。 4.2 情感智能与人性化服务 随着情感智能技术的不断发展,云上智能客服机器人将更加注重情感交互和人性化服务。机器人将能够识别用户的情感状态和需求偏好提供更加贴心和温暖的服务体验。

161 7
|
3月前
|
存储 传感器 安全
|

云上智能物联网平台:构建未来智联世界的基石

四、未来发展趋势 4.1 边缘计算的融合 随着物联网设备数量的不断增加和数据量的快速增长,边缘计算将成为云上智能物联网平台的重要组成部分。通过将计算能力和数据存储能力下沉到边缘侧,可以减少数据传输延迟和带宽消耗,提高系统的响应速度和稳定性。

126 7
|
3月前
|
存储 边缘计算 人工智能
|

云上物联网:连接万物,驱动智能未来

标准化与互操作性:随着物联网设备的不断增多和应用场景的日益广泛,标准化和互操作性将成为云上物联网发展的重要趋势。通过制定统一的标准和规范,实现不同品牌、不同型号物联网设备之间的互联互通和互操作,将大大提升云上物联网的灵活性和可扩展性。 边缘计算与云端协同:未来的云上物联网将更加注重

119 7
|
3月前
|
安全 关系型数据库 MySQL
|

MySQL装机全攻略:从下载到安全配置的详细指南

出于安全考虑,建议禁止root用户通过远程连接登录MySQL数据库。可以通过修改用户权限或配置防火墙规则来实现。 创建新用户并授权: 根据实际需求,创建具有不同权限的用户账户,并为他们分配必要的数据库和表权限。这样既可以满足业务需求,又可以降低安全风险。

80 0
|
3月前
|
自然语言处理 监控 BI
|

ERP系统中的多语言与多币种支持

【7月更文挑战第25天】 ERP系统中的多语言与多币种支持

147 3
|
3月前
|
运维 监控 调度
|

ERP系统中的生产计划与调度

【7月更文挑战第25天】 ERP系统中的生产计划与调度

90 2
|
3月前
|
供应链 监控 调度
|

ERP系统中的销售订单处理与交付跟踪解析

【7月更文挑战第25天】 ERP系统中的销售订单处理与交付跟踪解析

171 0
|
3月前
|
监控 数据可视化 搜索推荐
|

ERP系统中的财务预测与成本分析解析

【7月更文挑战第25天】 ERP系统中的财务预测与成本分析解析

132 0
|
3月前
|
监控 数据可视化 数据挖掘
|

ERP系统中的数据分析与决策支持解析

【7月更文挑战第25天】 ERP系统中的数据分析与决策支持解析

143 0
|
3月前
|
监控 数据安全/隐私保护 Python
|

ERP系统中的员工培训与知识管理解析

【7月更文挑战第25天】 ERP系统中的员工培训与知识管理解析

116 2
|
3月前
|
供应链 监控 算法
|

ERP系统中的库存优化与成本控制解析

【7月更文挑战第25天】 ERP系统中的库存优化与成本控制解析

139 2
|
3月前
|
人工智能 搜索推荐 API
|

一键解锁:快速上手文心一言指令编程实践

【7月更文第18天】随着人工智能技术的飞速发展,对话式AI已经成为连接人与信息的新桥梁。百度的“文心一言”(ERNIE)作为国内领先的预训练语言模型,以其强大的语义理解和生成能力,正逐步改变我们获取信息和交互的方式。本文旨在为开发者提供一份快速上手指南,通过实际代码示例,深入浅出地介绍如何利用文心一言API进行指令编程,解锁AI对话新体验。

101 7
|
3月前
|
移动开发 小程序 前端开发
|

uniap开发微信小程序如何在线预览pdf文件

这是一段关于在线预览和处理PDF的多方案说明,包括使用JavaScript库PDF.js(如`pdfh5.js`)实现H5页面预览,提供QQ群和技术博客链接以获取帮助和支持。还介绍了两个适用于Uni-app的插件,一个用于H5、小程序和App中的PDF预览和下载,另一个专门解决手机端PDF预览问题。此外,还详细描述了在Uni-app中使用微信小程序API`wx.openDocument`显示PDF的步骤,包括上传文件、配置权限和编写代码。

378 0
|
3月前
|
Prometheus Cloud Native 关系型数据库
|

实时计算 Flink版操作报错合集之实时计算 Flink版操作报错合集之当从保存点恢复并添加新的表时,出现了org.apache.flink.util.FlinkRuntimeException异常,该怎么办

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

121 0
来自: 实时计算 Flink  版块
|
3月前
|
SQL 关系型数据库 MySQL
|

实时计算 Flink版产品使用问题之集群重启后,所有的Jobs任务丢失,如何快速恢复

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

147 2
来自: 实时计算 Flink  版块
|
3月前
|
存储 资源调度 前端开发
|

JavaScript 使用axios库发送 post请求给后端, 给定base64格式的字符串数据和一些其他参数, 使用表单方式提交, 并使用onUploadProgress显示进度

使用 Axios 发送包含 Base64 数据和其他参数的 POST 请求时,可以通过 `onUploadProgress` 监听上传进度。由于整个请求体被视为一个单元,所以进度可能不够精确,但可以模拟进度反馈。前端示例代码展示如何创建一个包含 Base64 图片数据和额外参数的 `FormData` 对象,并在上传时更新进度条。后端使用如 Express 和 Multer 可处理 Base64 数据。注意,实际进度可能不如文件上传精确,显示简单加载状态可能更合适。

260 0
|
3月前
|
关系型数据库 API Apache
|

Flink CDC:基于 Apache Flink 的流式数据集成框架

本文整理自阿里云 Flink SQL 团队研发工程师于喜千(yux)在 SECon 全球软件工程技术大会中数据集成专场沙龙的分享。

17758 11
来自: 实时计算 Flink  版块
|
3月前
|
机器学习/深度学习 数据采集 算法
|

Python实现支持向量机SVM回归模型(SVR算法)项目实战

Python实现支持向量机SVM回归模型(SVR算法)项目实战

173 4
来自: 人工智能平台PAI  版块
|
3月前
|
机器学习/深度学习 数据采集 运维
|

Python基于孤立森林算法(IsolationForest)实现数据异常值检测项目实战

Python基于孤立森林算法(IsolationForest)实现数据异常值检测项目实战

159 0
来自: 人工智能平台PAI  版块
|
4月前
|
供应链 API UED
|

逆向海淘代购案例解读:类似Pandabuy淘宝代购集运系统搭建攻略

逆向海淘模式下,Pandabuy式代购集运系统搭建涉及市场定位、供应链管理、平台开发与优化、支付物流及用户体验。系统提供丰富商品选择,集成多平台API,确保数据同步。关键点包括确定目标用户,建立稳定供应链,优化网站与支付流程,合作可靠物流,并提供客服支持以提升用户满意度。通过这样的攻略,可构建一站式跨境购物解决方案。

123 0
|
4月前
|
数据采集 XML API
|

淘宝商品评论数据采集教程丨淘宝商品评论数据接口(Taobao.item_review)

**摘要:** 本教程指导如何使用淘宝(Taobao.item_review)接口采集商品评论。步骤包括注册开发者账号,创建应用获取API密钥,发送请求(如num_iid, page, size参数),解析JSON或XML返回数据,并遵循使用规则与安全注意事项。接口允许获取商品评论列表,含评论内容、评论者信息等,适用于数据分析和市场研究。务必保护API密钥并遵守使用政策。

119 1
|
4月前
|
人工智能 自然语言处理 算法
|

阿里云PAI大模型评测最佳实践

在大模型时代,模型评测是衡量性能、精选和优化模型的关键环节,对加快AI创新和实践至关重要。PAI大模型评测平台支持多样化的评测场景,如不同基础模型、微调版本和量化版本的对比分析。本文为您介绍针对于不同用户群体及对应数据集类型,如何实现更全面准确且具有针对性的模型评测,从而在AI领域可以更好地取得成就。

41648 15
来自: 人工智能平台PAI  版块
|
4月前
|
并行计算 数据处理 开发者
|

NumPy高效数组操作与性能调优手册

NumPy是Python数据科学的基础库,以其高效的数组操作著称。本文深入探讨了NumPy的数组基础,如创建和操作数组,并介绍了向量化运算、避免Python循环等高效技巧。此外,文章还提出了性能优化策略,包括使用内置函数、并行计算、减少数据类型转换、使用视图及有效管理内存,以帮助开发者在处理大规模数据时充分利用NumPy的性能优势。通过这些策略,可以实现更高效、快速的数据处理。【6月更文挑战第10天】

123 4
|
4月前
|
存储 数据挖掘 大数据
|

湖仓一体全面开启实时化时代

本文整理自阿里云开源大数据平台负责人王峰(莫问)老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享,主要介绍在新一代湖仓架构上如何进行实时化大数据分析。

50841 12
来自: 实时计算 Flink  版块
|
4月前
|
算法 决策智能
|

基于GA-PSO遗传粒子群混合优化算法的CDVRP问题求解matlab仿真

该文介绍了车辆路径问题(Vehicle Routing Problem, VRP)中的组合优化问题CDVRP,旨在找寻满足客户需求的最优车辆路径。在MATLAB2022a中运行测试,结果显示了算法过程。核心程序运用了GA-PSO混合算法,包括粒子更新、交叉、距离计算及变异等步骤。算法原理部分详细阐述了遗传算法(GA)的编码、适应度函数、选择、交叉和变异操作,以及粒子群优化算法(PSO)的粒子表示、速度和位置更新。最后,GA-PSO混合算法结合两者的优点,通过迭代优化求解CDVRP问题。

221 0
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
|

从提示工程到代理工程:构建高效AI代理的策略框架概述

该文探讨了AI代理的发展,特别是ChatGPT等模型如何展示了AI系统的潜力。文章提出从提示工程转向代理工程,定义了代理能力需求,并提出一个框架来设计和实施AI代理。代理工程涉及明确代理的任务、所需行动、能力及熟练度,通过现有技术满足这些需求。文章强调了广泛和特定知识的熟练度、精确信息获取以及代理的结构设计和协调。随着技术进步,该框架为AI代理的未来发展提供了基础。

224 0
|
4月前
|
机器学习/深度学习 Python
|

sigmoid函数

本文探讨了高等数学中的sigmoid函数,它在神经网络中的应用,特别是在二分类问题的输出层。sigmoid函数公式为 $\frac{1}{1 + e^{-x}}$,其导数为 $sigmoid(x)\cdot(1-sigmoid(x))$。文章还展示了sigmoid函数的图像,并提供了一个使用Python绘制函数及其导数的代码示例。

104 2
|
4月前
|
Python
|

通过f-string编写简洁高效的Python格式化输出代码

Python 3.6中引入的f-string是Python中最常用的特征之一,它可以让我们编写更干净、更高效和更易于维护的代码,我们今天就由浅入深来详细介绍使用它的一些技巧。

445 4
|
5月前
|
计算机视觉
|

【YOLOv8改进】Shape-IoU:考虑边框形状与尺度的指标(论文笔记+引入代码)

YOLO目标检测专栏探讨了边框回归损失的创新方法,强调了目标形状和尺度对结果的影响。提出的新方法Shape-IoU关注边框自身属性,通过聚焦形状和尺度提高回归精度。实验显示,该方法提升了检测效果,超越现有技术,在多个任务中达到SOTA。论文和代码已公开。

216 3
|
5月前
|
机器学习/深度学习 算法 Python
|

机器学习:归一化

这段内容主要讨论了归一化的目的和两种类型的归一化方法。归一化是为了确保在梯度下降过程中,不同维度的参数以相似的幅度调整,避免因数据尺度差异导致的优化问题。文中提到了最大值最小值归一化和标准归一化,后者更不易受到离群值的影响,并且可以使数据符合正态分布。通过Python代码示例展示了如何使用`StandardScaler`进行标准归一化。

99 2
|
5月前
|
SQL 分布式计算 Hadoop
|

org.apache.hadoop.security.AccessControlException Permission denied: user=anonymous, access=WRITE...

在尝试通过 HiveServer2 远程执行 DDL 操作时遇到权限错误,错误信息显示匿名用户(`anonymous`)无权执行写操作。解决方案包括:1) 使用 `hdfs dfs -chmod -R +777 /warehouse` 给目录授权(不推荐,仅适用于测试环境);2) 配置 Hive 和 Hadoop,创建具有权限的用户,如 `ad`,并将该用户添加到 Hive 的管理员角色和 Hadoop 的 proxyuser 配置中,然后重启相关服务。通过 `beeline` 测试连接和操作,确认权限问题已解决。

146 0
|
5月前
|
SQL 存储 Java
|

Hive 特殊的数据类型 Array、Map、Struct

在Hive中,`Array`、`Map`和`Struct`是三种特殊的数据类型。`Array`用于存储相同类型的列表,如`select array(1, "1", 2, 3, 4, 5)`会产生一个整数数组。`Map`是键值对集合,键值类型需一致,如`select map(1, 2, 3, "4")`会产生一个整数到整数的映射。`Struct`表示结构体,有固定数量和类型的字段,如`select struct(1, 2, 3, 4)`创建一个无名结构体。这些类型支持嵌套使用,允许更复杂的结构数据存储。例如,可以创建一个包含用户结构体的数组来存储多用户信息

285 0
|
5月前
|
SQL 关系型数据库 MySQL
|

实时计算 Flink版操作报错之如何解决报错:Could not acquire the minimum required resources.

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

255 0
来自: 实时计算 Flink  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
64080
内容
106
活动
438013
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务