|
Docker 容器
|

两个docker能用同一个端口吗 - 蓝易云

然后,你可以在另一个容器中运行相同的应用,让它监听容器的80端口,并将其映射到主机的8081端口。

543 0
|
编解码 人工智能 自然语言处理
|

扩散模型的多元化应用:药物发现、文本生成、时间序列预测等

AlphaFold3是DeepMind的蛋白质结构预测软件,它引入扩散模型以提升预测准确性。扩散模型通过逐步添加和去除噪声来理解和生成数据,应用广泛,包括图像、音频、文本和时间序列数据的处理。在图像领域,它们擅长合成、编辑和超分辨率;在文本处理中,扩散模型在代码合成和问答任务中表现出色;在音频和视频生成方面也有重要应用;同时,它们在时间序列预测和增强模型鲁棒性方面也展现出潜力。随着技术发展,扩散模型将在更多领域发挥作用。

532 0
|
关系型数据库 MySQL 数据处理
|

实时计算 Flink版产品使用合集之在同步MySQL的时候卡在某个binlog文件处如何解决

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

233 1
来自: 实时计算 Flink  版块
|
SQL Java 关系型数据库
|

实时计算 Flink版产品使用合集之怎么连接 Elasticsearch

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

170 3
来自: 实时计算 Flink  版块
|
消息中间件 存储 数据处理
|

实时计算 Flink版产品使用合集之有没有rocketMq的connector

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

337 1
来自: 实时计算 Flink  版块
|
消息中间件 SQL 关系型数据库
|

实时计算 Flink版产品使用合集之读取kafka数据然后入库到starrocks,出现未知问题如何解决

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

432 1
来自: 实时计算 Flink  版块
|
数据采集 搜索推荐 数据安全/隐私保护
|

使用httpx异步获取高校招生信息:一步到位的代理配置教程

2024年中国高考临近,考生需及时获取高校招生信息。使用Python httpx库的异步功能可提高爬虫效率,尤其在处理大量请求时。结合爬虫代理IP,能避免IP封禁,确保数据抓取的连续性。文章介绍了招生趋势、特点,如多样化政策、多平台信息发布、个性化招生等,并提供了使用httpx异步请求和代理的代码示例,帮助开发者高效抓取高校专业与课程设置。

325 0
|
TensorFlow 算法框架/工具 异构计算
|

TensorFlow检测GPU是否可用

TensorFlow检测GPU是否可用

471 0
|
机器学习/深度学习 算法 Unix
|

循环编码:时间序列中周期性特征的一种常用编码方式

循环编码是深度学习中处理周期性数据的一种技术,常用于时间序列预测。它将周期性特征(如小时、日、月)转换为网络可理解的形式,帮助模型识别周期性变化。传统的one-hot编码将时间特征转换为分类特征,而循环编码利用正弦和余弦转换,保持时间顺序信息。通过将时间戳转换为弧度并应用sin和cos,每个原始特征只映射到两个新特征,减少了特征数量。这种方法在神经网络中有效,但在树模型中可能需谨慎使用。

1330 5
|
监控 算法 Go
|

Golang深入浅出之-Go语言中的服务熔断、降级与限流策略

【5月更文挑战第4天】本文探讨了分布式系统中保障稳定性的重要策略:服务熔断、降级和限流。服务熔断通过快速失败和暂停故障服务调用来保护系统;服务降级在压力大时提供有限功能以保持整体可用性;限流控制访问频率,防止过载。文中列举了常见问题、解决方案,并提供了Go语言实现示例。合理应用这些策略能增强系统韧性和可用性。

854 0
|
前端开发 Go
|

Golang深入浅出之-Go语言中的异步编程与Future/Promise模式

【5月更文挑战第3天】Go语言通过goroutines和channels实现异步编程,虽无内置Future/Promise,但可借助其特性模拟。本文探讨了如何使用channel实现Future模式,提供了异步获取URL内容长度的示例,并警示了Channel泄漏、错误处理和并发控制等常见问题。为避免这些问题,建议显式关闭channel、使用context.Context、并发控制机制及有效传播错误。理解并应用这些技巧能提升Go语言异步编程的效率和健壮性。

654 5
|
机器学习/深度学习 人工智能 NoSQL
|

人工智能平台PAI产品使用合集之机器学习PAI EasyRec训练时,怎么去除没有意义的辅助任务的模型,用于部署

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

651 1
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 自然语言处理 搜索推荐
|

探索文本向量化的新高峰:合合信息acge_text_embedding 模型原创

文本向量化方法包括词袋模型、TF-IDF、词嵌入和预训练模型(如BERT、GPT)。词嵌入如Word2Vec、GloVe和FastText捕捉单词语义,预训练模型则保留上下文信息。C-MTEB是中文文本嵌入评估平台,测试模型在检索、相似性、分类等任务的性能。合合信息的acge_text_embedding模型在C-MTEB中表现优秀,适用于情感分析、文本生成等任务,具有高分类聚类准确性、资源效率和场景适应性。技术突破涉及数据集优化、模型训练策略和持续学习,提供Demo展示如何使用acge模型计算句子相似度。acge_text_embedding是提升文本处理效率和智能化的有力工具。

1260 2
|
存储 分布式计算 网络协议
|

流知识超详细总结!一文搞懂!

流知识超详细总结!一文搞懂!

164 6
|
机器学习/深度学习 自然语言处理 索引
|

Moirai:Salesforce的时间序列预测基础模型

过去几个月,时间序列基础模型发展迅速,包括TimeGPT、Lag-Llama、Google的TimesFM、Amazon的Chronos和Salesforce的Moirai。本文聚焦于Moirai,这是一个用于时间序列预测的通用模型,尤其强调零样本推理能力。Moirai处理各种数据频率、适应未知协变量并生成概率预测。文章介绍了Moirai的三个关键特性:多尺寸补丁投影层、任意变量注意力和混合分布。此外,还对比了Moirai与Chronos和TimeGPT,发现Moirai在性能上未超越Chronos,后者在数据效率上更优,但不支持多变量预测。

594 2
|
SQL 分布式计算 监控
|

Sqoop数据迁移工具使用与优化技巧:面试经验与必备知识点解析

【4月更文挑战第9天】本文深入解析Sqoop的使用、优化及面试策略。内容涵盖Sqoop基础,包括安装配置、命令行操作、与Hadoop生态集成和连接器配置。讨论数据迁移优化技巧,如数据切分、压缩编码、转换过滤及性能监控。此外,还涉及面试中对Sqoop与其他ETL工具的对比、实际项目挑战及未来发展趋势的讨论。通过代码示例展示了从MySQL到HDFS的数据迁移。本文旨在帮助读者在面试中展现Sqoop技术实力。

826 2
|
消息中间件 API 数据处理
|

Flink常见面试问题(附答案)

Apache Flink是开源的流批处理框架,提供低延迟、高吞吐的数据处理。与Hadoop不同,Flink专注于实时数据流。其核心特性包括事件时间和处理时间的概念,事件时间通过水印处理乱序事件。Flink通过检查点实现容错,支持滚动、滑动和会话窗口进行流数据处理。状态后端用于管理应用程序状态,水印用于处理延迟数据。Flink与Kafka集成能保证事件顺序,支持多种连接器如Kafka、JDBC等。其处理延迟数据、乱序事件的能力,以及Exactly-Once语义,使其在大规模数据处理中具有优势。Flink还支持表格API和DataStream API,以及多种容错和性能优化策略。

838 2
|
数据可视化 BI
|

探索ERP系统的移动端应用与移动办公解决方案

探索ERP系统的移动端应用与移动办公解决方案

471 2
|
算法 异构计算
|

推测解码:在不降低准确性的情况下将LLM推理速度提高2 - 3倍

在本篇文章我们将详细讨论推测解码,这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现,并看看它与原始transformer 实现相比到底能快多少。

507 10
|
物联网 调度 异构计算
|

使用GaLore在本地GPU进行高效的LLM调优

GaLore是一种新的优化策略,它通过梯度低秩投影减少VRAM需求,使得大型语言模型(如70亿参数的模型)能在消费级GPU上进行微调,而不减少参数数量。与LoRA相比,GaLore内存效率更高,且性能相当或更优。它在反向传播期间逐层更新参数,降低了计算负荷。虽然GaLore训练时间较长,但它为个人爱好者提供了在有限资源下训练大模型的可能性。相关代码示例和性能对比显示了其优势。

391 0
|
机器学习/深度学习 运维
|

Moment:又一个开源的时间序列基础模型

MOMENT团队推出Time-series Pile,一个大型公共时间序列数据集,用于预训练首个开源时间序列模型家族。模型基于Transformer,采用遮蔽预训练技术,适用于预测、分类、异常检测和输入任务。研究发现,随机初始化比使用语言模型权重更有效,且直接预训练的模型表现出色。MOMENT改进了Transformer架构,调整了Layer norm并引入关系位置嵌入。模型在长期预测和异常检测中表现优异,但对于数值预测的效果尚不明朗。论文贡献包括开源方法、数据集创建和资源有限情况下的性能评估框架。

849 0
|
关系型数据库 MySQL Apache
|

Flink CDC产品常见问题之直接升级里面的Debezium版本失败如何解决

Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。

350 0
来自: 实时计算 Flink  版块
|
JSON DataWorks 监控
|

DataWorks报错问题之连接doris报错如何解决

DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。

180 0
|
SQL DataWorks 关系型数据库
|

DataWorks报错问题之dataX数据导入报错如何解决

DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。

503 1
|
SQL DataWorks 机器人
|

DataWorks常见问题之导致钉钉群的机器人发报警消息如何解决

DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。

279 7
|
前端开发 Java API
|

淘系接口推荐:淘宝图片搜索商品数据接口,轻松获取相似商品

淘系接口推荐:淘宝图片搜索商品数据接口,轻松获取相似商品

1038 6
|
人工智能 算法 数据处理
|

App Inventor 2 Personal Image Classifier (PIC) 拓展:自行训练AI图像识别模型,开发图像识别分类App

这里仅仅介绍一下AI图像识别App的实现原理,AI的基础技术细节不在本文讨论范围。通过拓展即可开发出一款完全自行训练AI模型,用于特定识别场景的App了。

425 1
|
SQL JSON Apache
|

Flink SQL问题之复杂JSON解析如何解决

Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。

1054 0
来自: 实时计算 Flink  版块
|
SQL Prometheus Cloud Native
|

Flink启动问题之job启动失败如何解决

Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。

854 1
来自: 实时计算 Flink  版块
|
存储 自然语言处理 Python
|

Python中文词汇与英文词频统计

本文介绍了如何使用Python进行英文和中文词频统计。对于英文,借助内置库按空格分隔单词并处理特殊字符;对于中文,需安装jieba分词库。代码实现中,通过读取文件、分词、统计词频并输出到文件。运行时,通过命令行提供文本和结果文件路径。此技能在学术研究、语言分析和文本挖掘领域颇有价值。

554 4
|
安全 前端开发 中间件
|

Python面试题:Django Web框架基础与进阶

【4月更文挑战第17天】本文详细梳理了Django面试中常考的基础和进阶问题,包括MTV架构、ORM、数据库迁移、视图模板、中间件、信号、表单验证、用户认证授权等,并指出易错点及规避策略。提供代码示例展示模型和视图的实现,助力开发者在面试中脱颖而出。

688 12
|
数据采集 机器学习/深度学习 Python
|

掌握XGBoost:特征工程与数据预处理

掌握XGBoost:特征工程与数据预处理

898 3
|
机器学习/深度学习 人工智能 搜索推荐
|

Python进行AI声音克隆的端到端指南

人工智能语音克隆是一种捕捉声音的独特特征,然后准确性复制它的技术。这种技术不仅可以让我们复制现有的声音,还可以创造全新的声音。它是一种彻底改变内容创作的工具,从个性化歌曲到自定义画外音,开辟了一个超越语言和文化障碍的创意世界。

479 0
|
SQL OLAP HIVE
|

HQL的中级题目---炸裂函数、窗口函数

HQL的中级题目---炸裂函数、窗口函数

373 2
|
机器学习/深度学习 数据采集 人工智能
|

【AAAI 2024】解锁深度表格学习(Deep Tabular Learning)的关键:算术特征交互

近日,阿里云人工智能平台PAI与浙江大学吴健、应豪超老师团队合作论文《Arithmetic Feature Interaction is Necessary for Deep Tabular Learning》正式在国际人工智能顶会AAAI-2024上发表。本项工作聚焦于深度表格学习中的一个核心问题:在处理结构化表格数据(tabular data)时,深度模型是否拥有有效的归纳偏差(inductive bias)。

849 2
来自: 人工智能平台PAI  版块
|
程序员 开发者 Python
|

Python新手常见问题五:如何避免模块导入错误?

在Python编程中,模块的导入是每个开发者必须掌握的基础技能之一。模块化设计让代码更加有序、可复用和易于维护。然而,在实际操作过程中,新手程序员常常会遇到一些关于模块导入的问题,导致程序无法正常运行。本文将探讨几种常见的模块导入场景及容易犯错的操作,并提供相应的解决方案。

1527 4
|
机器学习/深度学习 SQL 算法
|

如何在因果推断中更好地利用数据?

本报告从两个方面来介绍我们如何利用更多的数据来做好因果推断,一个是利用历史对照数据来显式缓解混淆偏差,另一个是多源数据融合下的因果推断。

403 1
|
API PHP 开发者
|

大麦网 API 接口商品详情信息 API

为了让更多用户了解到大麦网的商品详情,并能够方便地获取相关信息,大麦网推出了商品详情 API 接口。本文将介绍大麦网商品详情 API 接口的作用、使用方法和注意事项,帮助广大开发者更加方便地接入大麦网的产品。

2012 1

python-sorted()函数

python-sorted()函数

106 0
|
存储 分布式计算 Apache
|

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

65521 1
|
存储 SQL 弹性计算
|

Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓

新增弹性计算组实例,解决实时数仓场景下分析性能、资源隔离、高可用、弹性扩缩容等核心问题,同时新增多种用户分析函数与实时湖仓Paimon格式支持,COUNT DISTINCT优化显著提升查询效率。

151151 27
来自: 实时数仓 Hologres  版块
|
人工智能 文字识别 Java
|

AI工具【OCR 01】Java可使用的OCR工具Tess4J使用举例(身份证信息识别核心代码及信息提取方法分享)

【2月更文挑战第1天】Lept4J和Tess4J都是基于Tesseract OCR引擎的Java接口,可以用来识别图像中的文本,本次介绍Tess4J

1493 0
|
人工智能 算法 开发工具
|

通义千问Qwen-72B-Chat基于PAI的低代码微调部署实践

本文将以 Qwen-72B-Chat 为例,介绍如何通过PAI平台的快速开始(PAI-QuickStart)部署和微调千问大模型。

108094 2
来自: 人工智能平台PAI  版块
|
数据安全/隐私保护
|

FileInfo的重要属性和方法

FileInfo类提供与静态File类相同的功能,但是您可以通过手动编写用于从文件读取或写入字节的代码来对文件的读/写操作具有更多控制权。

292 1
|
SQL 分布式计算 分布式数据库
|

Hive命令大全

Hive命令大全

261 2
|
Linux Shell 数据安全/隐私保护
|

Linux配置代理请求

Linux配置代理请求

300 0
|
存储 数据处理 Python
|

python的set集合:如何利用Python的Set集合来优化数据处理

python的set集合:如何利用Python的Set集合来优化数据处理

128 0
|
编译器 数据处理 Python
|

Python的xlrd模块在Anaconda中的安装

本文介绍在Anaconda环境下,安装Python读取.xls格式表格文件的库xlrd的方法~

807 1
|
存储 监控 网络协议
|

Zookeeper监控之四字监控

Zookeeper监控之四字监控

403 0
|
算法 调度 Python
|

Python高级算法——贪心算法(Greedy Algorithm)

Python高级算法——贪心算法(Greedy Algorithm)

869 3