|
消息中间件 存储 数据处理
|

实时计算 Flink版产品使用合集之有没有rocketMq的connector

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

337 1
来自: 实时计算 Flink  版块
|
消息中间件 SQL 关系型数据库
|

实时计算 Flink版产品使用合集之读取kafka数据然后入库到starrocks,出现未知问题如何解决

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

434 1
来自: 实时计算 Flink  版块
|
机器学习/深度学习 数据可视化 PyTorch
|

使用Python实现深度学习模型:生成对抗网络(GAN)

使用Python实现深度学习模型:生成对抗网络(GAN)

398 3
|
Java Shell Linux
|

环境变量配置

环境变量配置

350 0
|
机器学习/深度学习 并行计算 测试技术
|

BiTCN:基于卷积网络的多元时间序列预测

该文探讨了时间序列预测中模型架构的选择,指出尽管MLP和Transformer模型常见,但CNN在预测领域的应用较少。BiTCN是一种利用两个时间卷积网络来编码历史和未来协变量的模型,提出于《Parameter-efficient deep probabilistic forecasting》(2023年3月)。它包含多个由扩张卷积、GELU激活函数、dropout和全连接层组成的临时块,有效地处理序列数据。实验表明,BiTCN在具有外生特征的预测任务中表现优于N-HiTS和PatchTST。BiTCN的效率和性能展示了CNN在时间序列预测中的潜力。

699 1
|
存储 缓存 安全
|

Golang深入浅出之-Go语言中的并发安全容器:sync.Map与sync.Pool

Go语言中的`sync.Map`和`sync.Pool`是并发安全的容器。`sync.Map`提供并发安全的键值对存储,适合快速读取和少写入的情况。注意不要直接遍历Map,应使用`Range`方法。`sync.Pool`是对象池,用于缓存可重用对象,减少内存分配。使用时需注意对象生命周期管理和容量控制。在多goroutine环境下,这两个容器能提高性能和稳定性,但需根据场景谨慎使用,避免不当操作导致的问题。

395 7
|
存储 分布式计算 网络协议
|

流知识超详细总结!一文搞懂!

流知识超详细总结!一文搞懂!

164 6
|
数据安全/隐私保护 Python
|

python代码加密以及注意事项分享

假设你已经有了一个 Python 程序 `main.py`。确保它在你的环境中可以正常运行。

400 0
|
项目管理 开发工具 git
|

Python面试题:Git版本控制与协作开发

【4月更文挑战第19天】本文聚焦于Python面试中Git版本控制与协作开发的考察点,涵盖Git基础、协作流程及实战示例。面试者需理解仓库、提交、分支等核心概念,掌握常用命令,熟悉主干开发和GitFlow策略。在协作开发中,要掌握Pull Request工作流,有效处理合并冲突,并善用标签与里程碑。注意避免混淆工作区、忽视代码审查和直接在远程分支上工作等常见错误。通过实例展示了如何在GitFlow策略下合并分支和解决冲突,强调持续学习与实践以提升Git技能。

158 1
|
Java Go
|

Golang深入浅出之-Go语言指针面试必知:理解与使用指针

【4月更文挑战第21天】Go语言中的指针允许直接操作内存,常用于高效数据共享和传递。本文介绍了指针的基础知识,如声明、初始化和解引用,以及作为函数参数使用。此外,讨论了`new()`与`make()`的区别和内存逃逸分析。在结构体上下文中,指针用于减少复制开销和直接修改对象。理解指针与内存管理、结构体的关系及常见易错点,对于面试和编写高性能Go代码至关重要。

335 2
|
机器学习/深度学习 数据可视化 PyTorch
|

OneFlow深度学习框架介绍:新手快速上手指南

【4月更文挑战第12天】OneFlow是一款高性能的深度学习框架,由一流科技公司研发,以其数据流编程模型、动态图执行和高效分布式训练等功能脱颖而出。其易用性、卓越性能和强大的分布式训练能力使其在AI领域备受关注。新手可以通过简单的安装和基础程序快速上手,利用OneFlow的Module构建模型,结合损失函数和优化器进行训练。此外,OneFlow支持ONNX模型导入导出、TensorBoard可视化及与其他Python库集成,助力无缝对接现有生态。深入了解和实践OneFlow,可提升深度学习开发效率。

422 2
|
机器学习/深度学习 自然语言处理 索引
|

Moirai:Salesforce的时间序列预测基础模型

过去几个月,时间序列基础模型发展迅速,包括TimeGPT、Lag-Llama、Google的TimesFM、Amazon的Chronos和Salesforce的Moirai。本文聚焦于Moirai,这是一个用于时间序列预测的通用模型,尤其强调零样本推理能力。Moirai处理各种数据频率、适应未知协变量并生成概率预测。文章介绍了Moirai的三个关键特性:多尺寸补丁投影层、任意变量注意力和混合分布。此外,还对比了Moirai与Chronos和TimeGPT,发现Moirai在性能上未超越Chronos,后者在数据效率上更优,但不支持多变量预测。

596 2
|
存储 分布式计算 Apache
|

官宣|Apache Paimon 毕业成为顶级项目,数据湖步入实时新篇章!

Apache Paimon 在构建实时数据湖与流批处理技术领域取得了重大突破,数据湖步入实时新篇章!

3521 6
来自: 实时计算 Flink  版块
|
算法 异构计算
|

推测解码:在不降低准确性的情况下将LLM推理速度提高2 - 3倍

在本篇文章我们将详细讨论推测解码,这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现,并看看它与原始transformer 实现相比到底能快多少。

507 10
|
缓存 前端开发 JavaScript
|

深入理解React Hooks:原理、应用与最佳实践

【4月更文挑战第6天】React Hooks是16.8版引入的更新,允许在函数组件中处理状态和生命周期。useState用于添加状态,返回状态值和更新函数。useEffect处理副作用,根据依赖项执行和清理。其他Hooks如useContext和useReducer进一步扩展功能。Hooks适用于状态管理、生命周期逻辑、性能优化和跨组件共享。最佳实践包括明确依赖、避免滥用、编写自定义Hook和遵循规则。它们提高了代码可读性和复用性,通过理解原理和实践,开发者能更好地掌握React开发。

898 1
|
JavaScript 前端开发 算法
|

JavaScript 中前置自增与后置自增:区别、应用场景

【4月更文挑战第6天】JavaScript中的前置自增`++a`先增后用,返回新值,适合复合赋值和循环计数;后置自增`a++`先用后增,返回原值,适用于保留变量原值的操作。二者差异在于运算时机和返回值,选择时要考虑递增时机和表达式中使用的值。在复杂表达式中应避免混用,注重代码清晰度和一致性。理解这些差异能提高代码效率,避免逻辑错误。

635 1
|
人工智能 算法 PyTorch
|

TorchAcc:基于 TorchXLA 的分布式训练框架

阿里云研究员、阿里云人工智能平台 PAI 技术负责人--林伟在GTC 2024 大会 China AI Day 线上中文演讲专场上介绍了TorchAcc,这是一个基于 PyTorch/XLA 的大模型分布式训练框架。

108531 13
来自: 人工智能平台PAI  版块
|
API 开发者
|

1688API接口推荐:1688口令转换真实链接接口

1688平台的item_password接口用于将淘口令短链接转为商品链接。开发者需注册获取API key和secret,通过POST或GET请求接口,输入淘口令代码和参数,返回结果包含商品ID和详细链接。商品详情可进一步通过商品详情接口获取。注意遵守1688平台的规定和条款,确保合法使用API。

478 0
|
机器学习/深度学习 算法 物联网
|

LoRA及其变体概述:LoRA, DoRA, AdaLoRA, Delta-LoRA

LoRA可以说是针对特定任务高效训练大型语言模型的重大突破。它被广泛应用于许多应用中。在本文中,我们将解释LoRA本身的基本概念,然后介绍一些以不同的方式改进LoRA的功能的变体,包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA。

999 2
|
JSON 自然语言处理 安全
|

微调大型语言模型进行命名实体识别

大型语言模型的目标是理解和生成与人类语言类似的文本。它们经过大规模的训练,能够对输入的文本进行分析,并生成符合语法和语境的回复。这种模型可以用于各种任务,包括问答系统、对话机器人、文本生成、翻译等。

420 1
|
分布式计算 DataWorks 监控
|

DataWorks报错问题之报错DataWorks overflow如何解决

DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。

320 0
|
存储 人工智能 自然语言处理
|

从API到Agent:万字长文洞悉LangChain工程化设计

给“AI外行人士”引入一下LangChain,试着从工程角度去理解LangChain的设计和使用。同时大家也可以将此文档作为LangChain的“10分钟快速上手”手册,本意是希望帮助需要的同学实现AI工程的Bootstrap。

777 2
|
SQL 关系型数据库 MySQL
|

flink cdc 同步问题之如何提高用户速度

Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。

240 0
来自: 实时计算 Flink  版块
|
消息中间件 关系型数据库 MySQL
|

Flink CDC产品常见问题之flinkcdc3同步mysql到doris的时候语句不同步如何解决

Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。

681 1
来自: 实时计算 Flink  版块
|
网络安全 Python Windows
|

pyspark--完美解决 Could not find a version that satisfies the requirement 安装包名字 (from versions: )

pyspark--完美解决 Could not find a version that satisfies the requirement 安装包名字 (from versions: )

817 9
|
SQL 存储 BI
|

数仓学习---数仓开发之ADS层

数仓学习---数仓开发之ADS层

885 1
|
算法
|

【MATLAB】语音信号识别与处理:滑动平均滤波算法去噪及谱相减算法呈现频谱

【MATLAB】语音信号识别与处理:滑动平均滤波算法去噪及谱相减算法呈现频谱

404 0
|
SQL JSON 分布式计算
|

DataWorks产品使用合集之DataWorks一键maxcompute数据同步的操作步骤是什么

DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

267 1
|
SQL JSON Apache
|

Flink SQL问题之复杂JSON解析如何解决

Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。

1056 0
来自: 实时计算 Flink  版块
|
SQL Java Apache
|

Flink内存问题之内存溢出如何解决

Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。

879 3
来自: 实时计算 Flink  版块
|
机器学习/深度学习 消息中间件 算法
|

Flink ML的新特性解析与应用

本文整理自阿里巴巴算法专家赵伟波,在 Flink Forward Asia 2023 AI特征工程专场的分享。

130046 5
来自: 实时计算 Flink  版块
|
存储 自然语言处理 Python
|

Python中文词汇与英文词频统计

本文介绍了如何使用Python进行英文和中文词频统计。对于英文,借助内置库按空格分隔单词并处理特殊字符;对于中文,需安装jieba分词库。代码实现中,通过读取文件、分词、统计词频并输出到文件。运行时,通过命令行提供文本和结果文件路径。此技能在学术研究、语言分析和文本挖掘领域颇有价值。

554 4
|
算法
|

MATLAB | 插值算法 | 二维griddata插值法 | 附数据和出图代码 | 直接上手

MATLAB | 插值算法 | 二维griddata插值法 | 附数据和出图代码 | 直接上手

1192 0
|
机器学习/深度学习 JSON 物联网
|

ORPO偏好优化:性能和DPO一样好并且更简单的对齐方法

ORPO是另一种新的LLM对齐方法,这种方法甚至不需要SFT模型。通过ORPO,LLM可以同时学习回答指令和满足人类偏好。

601 0
|
机器学习/深度学习 算法 测试技术
|

OpenAI Gym 中级教程——环境定制与创建

OpenAI Gym 中级教程——环境定制与创建

538 0
|
SQL Java HIVE
|

使用 Paimon + StarRocks 极速批流一体湖仓分析

本文整理自阿里云智能高级开发工程师王日宇,在 Flink Forward Asia 2023 流式湖仓(二)专场的分享。

80508 3
来自: 实时计算 Flink  版块
|
SQL 数据挖掘 数据安全/隐私保护
|

即席查询结果交互体验大升级,好用到爆

Dataphin v4.0提升了即席查询体验,新增支持多条SQL语句同时执行并查看独立日志,允许用户移动或隐藏列,以及全屏查看结果。此外,为增强数据安全,引入了禁止数据复制的功能。新版本还优化了细节,如单行详细信息查看和更灵活的列管理,旨在提高数据分析效率并保障数据安全。

293 1
|
机器学习/深度学习 算法 算法框架/工具
|

OpenAI Gym 中级教程——深入强化学习算法

OpenAI Gym 中级教程——深入强化学习算法

553 6
|
程序员 开发者 Python
|

Python新手常见问题五:如何避免模块导入错误?

在Python编程中,模块的导入是每个开发者必须掌握的基础技能之一。模块化设计让代码更加有序、可复用和易于维护。然而,在实际操作过程中,新手程序员常常会遇到一些关于模块导入的问题,导致程序无法正常运行。本文将探讨几种常见的模块导入场景及容易犯错的操作,并提供相应的解决方案。

1528 4
|
机器学习/深度学习 Python
|

Scikit-Learn 中级教程——网格搜索和交叉验证

Scikit-Learn 中级教程——网格搜索和交叉验证

724 6
|
SQL 关系型数据库 MySQL
|

Flink CDC 数据源问题之重复数据如何解决

Flink CDC数据源指的是使用Apache Flink的CDC特性来连接并捕获外部数据库变更数据的数据源;本合集将介绍如何配置和管理Flink CDC数据源,以及解决数据源连接和同步过程中遇到的问题。

372 0
来自: 实时计算 Flink  版块
|
存储 人工智能 运维
|

轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践

本文从轻喜到家的历史技术架构与痛点问题、架构升级需求与 OLAP 选型过程、最新技术架构及落地场景应用等方面,详细介绍了轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践经验。

1449 0
|
自然语言处理 算法
|

向量检索服务的优缺点

使用向量检索服务的好处是它可以将文本信息转化为向量表示,并进行相似度计算。这使得能够高效地搜索与查询进行语义匹配的文本

1102 3
来自: 智能搜索推荐  版块
|
Linux 网络虚拟化
|

Debian系统安装OpenVPN

Debian系统安装OpenVPN

1663 0
|
机器学习/深度学习 算法 PyTorch
|

挑战Transformer的新架构Mamba解析以及Pytorch复现

今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模”

1987 1
|
编译器 数据处理 Python
|

Python的xlrd模块在Anaconda中的安装

本文介绍在Anaconda环境下,安装Python读取.xls格式表格文件的库xlrd的方法~

808 1
|
SQL 数据可视化 数据挖掘
|

Hive窗口函数详细介绍

Hive窗口函数详细介绍

400 0
|
关系型数据库 MySQL BI
|

用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享

本文从用友畅捷通公司介绍及业务背景;数据仓库技术选型、实际案例及未来规划等方面,分享了用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓的实战经验。

1507 0
|
算法
|

【MATLAB】逐次变分模态分解SVMD信号分解算法

【MATLAB】逐次变分模态分解SVMD信号分解算法

932 0
|
存储 算法 区块链
|

Python算法——Merkle树

Python算法——Merkle树

287 2