|
2月前
|
存储 分布式计算 Apache
|

官宣|Apache Paimon 毕业成为顶级项目,数据湖步入实时新篇章!

Apache Paimon 在构建实时数据湖与流批处理技术领域取得了重大突破,数据湖步入实时新篇章!

2530 6
来自: 实时计算 Flink  版块
|
2月前
|
SQL 存储 JSON
|

Flink+Paimon+Hologres 构建实时湖仓数据分析

本文整理自阿里云高级专家喻良,在 Flink Forward Asia 2023 主会场的分享。

71933 7
来自: 实时计算 Flink  版块
|
2月前
|
SQL 关系型数据库 数据库
|

Flink CDC产品常见问题之SQLserver cdc 开启 cdc表没有记录如何解决

Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。

350 0
来自: 实时计算 Flink  版块
|
8月前
|
数据采集 供应链 监控
|

RPA助力企业管理,十大高频场景

rpa在财务、人力资源、客服、供应链管理、市场推广、质量管理、项目管理、数据分析、合规管理和业务流程优化等场景中的应用

431 0
|
8月前
|
存储 人工智能 分布式计算
|

【云栖2023】张治国:MaxCompute架构升级及开放性解读

本文根据2023云栖大会演讲实录整理而成,演讲信息如下 演讲人:张治国|阿里云智能计算平台研究员、阿里云MaxCompute负责人 演讲主题:MaxCompute架构升级及开放性解读 活动:2023云栖大会

60438 9
来自: 大数据计算 MaxCompute  版块
|
10月前
|
Python
|

相关系数 r 和决定系数 R2 的那些事

有人说相关系数(correlation coefficient, r)和决定系数(coefficient of determination, R2,读作R-Squared)都是评价两个变量相关性的指标,且相关系数的平方就是决定系数?这种说法对不对呢?请听下文分解!

254 0
|
11月前
|
SQL 关系型数据库 MySQL
|

基于阿里云 Flink+Hologres 搭建实时数仓

本文为您介绍如何通过实时计算 Flink 版和实时数仓 Hologres 搭建实时数仓。

2186 0
来自: 实时计算 Flink  版块
|
2月前
|
Web App开发 监控 安全
|

【网络安全】新的恶意软件:无文件恶意软件GhostHook正在广泛传播

GhostHook v1.0,一款由Native-One黑客组织开发的无文件浏览器恶意软件,正在网络犯罪论坛快速扩散,对多平台和浏览器构成威胁。这款恶意软件兼容Windows、Android、Linux和macOS,以及Google Chrome、Firefox、Opera和Edge等浏览器。它通过伪装的URL在社交论坛、邮件、即时消息和QR码中传播。无文件恶意软件利用内存驻留、系统工具和隐蔽性高的特点逃避检测,强调了对先进安全策略如EDR系统、网络监控和用户安全教育的需求。

328 0
来自: 智能搜索推荐  版块
|
2月前
|
SQL 关系型数据库 MySQL
|

实时计算 Flink版操作报错合集之报错:org.apache.flink.table.api.validationexception如何解决

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

225 1
来自: 实时计算 Flink  版块
|
2月前
|
数据建模 计算机视觉
|

SiMBA:基于Mamba的跨图像和多元时间序列的预测模型

微软研究者提出了SiMBA,一种融合Mamba与EinFFT的新架构,用于高效处理图像和时间序列。SiMBA解决了Mamba在大型网络中的不稳定性,结合了卷积、Transformer、频谱方法和状态空间模型的优点。在ImageNet 1K上表现优越,达到84.0%的Top-1准确率,并在多变量长期预测中超越SOTA,降低了MSE和MAE。代码开源,适用于复杂任务的高性能建模。[[论文链接]](https//avoid.overfit.cn/post/c21aa5ca480b47198ee3daefdc7254bb)

304 3
|
2月前
|
自然语言处理 搜索推荐 算法
|

【一文读懂】基于Havenask向量检索+大模型,构建可靠的智能问答服务

Havenask是阿里巴巴智能引擎事业部自研的开源高性能搜索引擎,深度支持了包括淘宝、天猫、菜鸟、高德、饿了么在内的几乎整个阿里的搜索业务。本文针对性介绍了Havenask作为一款高性能的召回搜索引擎,应用在向量检索和LLM智能问答场景的解决方案和核心优势。通过Havenask向量检索+大模型可以构建可靠的垂直领域的智能问答方案,同时快速在业务场景中进行实践及应用。

110632 63
来自: 智能搜索推荐  版块
|
2月前
|
SQL 存储 人工智能
|

Flink 在蚂蚁实时特征平台的深度应用

本文整理自蚂蚁集团高级技术专家赵亮星云,在 Flink Forward Asia 2023 AI 特征工程专场的分享。

745 3
来自: 实时计算 Flink  版块
|
2月前
|
数据格式
|

数仓学习---数仓开发之ODS层

数仓学习---数仓开发之ODS层

579 2
|
2月前
|
机器学习/深度学习 算法 数据挖掘
|

【MATLAB】BiGRU神经网络时序预测算法

【MATLAB】BiGRU神经网络时序预测算法

799 1
|
2月前
|
Prometheus 监控 关系型数据库
|

Linux监控之夜莺

Linux监控之夜莺

392 0
|
2月前
|
机器学习/深度学习 人工智能 Cloud Native
|

福利「Flink Forward Asia 2023 」视频合集!

2023 年 12 月 9 日,Flink Forward Asia 2023 在北京圆满结束。本届大会共有 70+ 演讲议题、30+ 一线大厂技术与实践分享。现所有专场回放视频已经出炉,并在开发者社区上线。

4602 2
来自: 实时计算 Flink  版块
|
2月前
|
自然语言处理 数据处理 调度
|

《Havenask分布式索引构建服务--Build Service》

Havenask是阿里巴巴智能引擎事业部自研的开源高性能搜索引擎,深度支持了包括淘宝、天猫、菜鸟、高德、饿了么在内几乎整个阿里的搜索业务。本文针对性介绍了Havenask分布式索引构建服务——Build Service,主打稳定、快速、易管理,是在线系统提升竞争力的一大利器。

100648 3
来自: 智能搜索推荐  版块
|
4月前
|
流计算 资源调度
|

Flink CDC 里这个问题有人遇到没?

157 1
来自:实时计算 Flink 版块
|
6月前
|
流计算
|

Flink这个 busy 是啥意思?

426 3
来自:实时计算 Flink 版块
|
8月前
|
人工智能 大数据 调度
|

【云栖2023】林伟:大数据AI一体化的解读

本文根据2023云栖大会阿里云研究员,阿里云计算平台事业部首席架构师,阿里云人工智能平台PAI和大数据开发治理平台DataWorks负责人---林伟演讲实录整理而成,演讲主题:”大数据AI一体化的解读“。

14560 1
来自: 人工智能平台PAI  版块
|
24天前
|
存储 SQL 测试技术
|

Flink⼤状态作业调优实践指南:状态报错与启停慢篇

本文整理自俞航翔、陈婧敏、黄鹏程老师所撰写的大状态作业调优实践指南。由于内容丰富,本文分享终篇状态报错与启停慢篇.

50374 58
来自: 实时计算 Flink  版块
|
2月前
|
机器学习/深度学习 运维 算法
|

[ICDE2024]多正常模式感知的频域异常检测算法MACE

阿里云计算平台大数据基础工程技术团队主导,与浙江大学合作的论文《Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection》被ICDE2024收录,该论文解决了云服务环境中不同服务存在不同正常模式,而传统神经网络一个训练好的模型只能较好捕捉一种或少数几种正常模式的问题,该论文提出的方法可以使用一个统一模型对不同服务进行检测,就达到比为每一个服务定制一个模型的SOTA方法更好的效果。

342 4
来自: 大数据运维SREWorks  版块
|
2月前
|
缓存 网络协议 算法
|

Linux内核必读五本书籍(强烈推荐)

Linux内核必读五本书籍(强烈推荐)

105 0
|
2月前
|
机器学习/深度学习 人工智能 资源调度
|

GPU计算资源智能调度:过去、现在和未来

随着AI和大数据技术发展,GPU成为关键计算组件。文章探讨了GPU计算资源调度从静态到动态再到智能调度的演变,现以机器学习优化资源利用率。未来趋势包括自适应调度、跨平台、集群级调度和能源效率优化,旨在提升GPU性能,推动人工智能和大数据领域进步。

216 0
|
2月前
|
机器学习/深度学习 关系型数据库 MySQL
|

大模型中常用的注意力机制GQA详解以及Pytorch代码实现

GQA是一种结合MQA和MHA优点的注意力机制,旨在保持MQA的速度并提供MHA的精度。它将查询头分成组,每组共享键和值。通过Pytorch和einops库,可以简洁实现这一概念。GQA在保持高效性的同时接近MHA的性能,是高负载系统优化的有力工具。相关论文和非官方Pytorch实现可进一步探究。

345 4
|
2月前
|
存储 数据采集 数据挖掘
|

python数据分析——数据分类汇总与统计

数据分类汇总与统计是指将大量的数据按照不同的分类方式进行整理和归纳,然后对这些数据进行统计分析,以便于更好地了解数据的特点和规律。

208 1
|
2月前
|
人工智能 前端开发 PyTorch
|

AI加速引擎PAI-TorchAcc:整体介绍与性能概述

PAI-TorchAcc(Torch Accelerator)是阿里云人工智能平台PAI开发的Pytorch上的大模型训练加速框架。PAI-TorchAcc提供了一套基于Pytorch的简洁、易用的接口,无需进行模型转换就可以无缝地接入HuggingFace上的模型,并用多种分布式策略进行训练加速。本文详细介绍PAI-TorchAcc的产品能力与性能。

114147 166
来自: 人工智能平台PAI  版块
|
2月前
|
数据采集 Web App开发 Java
|

Python 爬虫:Spring Boot 反爬虫的成功案例

Python 爬虫:Spring Boot 反爬虫的成功案例

196 0
|
2月前
|
人工智能 数据安全/隐私保护
|

如何实现AI检测与反检测原理

AI检测器用于识别AI生成的文本,如ChatGPT,通过困惑度和爆发性指标评估文本。低困惑度和低爆发性可能指示AI创作。OpenAI正研发AI文本水印系统,但尚处早期阶段。现有检测器对长文本较准确,但非100%可靠,最高准确率约84%。工具如AIUNDETECT和AI Humanizer提供AI检测解决方案,适用于学生、研究人员和内容创作者。

342 0
|
7月前
|
存储 SQL Java
|

王日宇:基于 StarRocks 和 Paimon 打造湖仓分析新范式

本文根据 StarRocks Summit 2023 演讲实录整理而成,主要分享了基于 StarRocks 和 Paimon 打造湖仓分析方案及背后的技术原来和未来规划。

1057 1
|
8月前
|
存储 算法 机器人
|

卡尔曼滤波 KF | 扩展卡尔曼滤波 EKF (思路流程和计算公式)

本文分析卡尔曼滤波和扩展卡尔曼滤波,包括:思路流程、计算公式、简单案例等。滤波算法,在很多场景都有应用,感觉理解其思路和计算过程比较重要。

697 0
|
10月前
|
存储 机器学习/深度学习 人工智能
|

向量数据库简介和5个常用的开源项目介绍

在人工智能领域,有大量的数据需要有效的处理。随着我们对人工智能应用,如图像识别、语音搜索或推荐引擎的深入研究,数据的性质变得更加复杂。这就是向量数据库发挥作用的地方。与存储标量值的传统数据库不同,向量数据库专门设计用于处理多维数据点(通常称为向量)。这些向量表示多个维度的数据,可以被认为是指向空间中特定方向和大小的箭头。

2037 1
|
2月前
|
JSON 安全 Java
|

2024年的选择:为什么Go可能是理想的后端语言

【4月更文挑战第27天】Go语言在2024年成为后端开发的热门选择,其简洁设计、内置并发原语和强大工具链备受青睐。文章探讨了Go的设计哲学,如静态类型、垃圾回收和CSP并发模型,并介绍了使用Gin和Echo框架构建Web服务。Go的并发通过goroutines和channels实现,静态类型确保代码稳定性和安全性,快速编译速度利于迭代。Go广泛应用在云计算、微服务等领域,拥有丰富的生态系统和活跃社区,适合作为应对未来技术趋势的语言。

162 0
|
2月前
|
存储 人工智能 自然语言处理
|

从API到Agent:万字长文洞悉LangChain工程化设计

给“AI外行人士”引入一下LangChain,试着从工程角度去理解LangChain的设计和使用。同时大家也可以将此文档作为LangChain的“10分钟快速上手”手册,本意是希望帮助需要的同学实现AI工程的Bootstrap。

239 2
|
2月前
|
关系型数据库 网络安全 对象存储
|

Flink报错问题之Flink报错java.io.EOFException: SSL peer shut down incorrectly如何解决

Flink报错通常是指在使用Apache Flink进行实时数据处理时遇到的错误和异常情况;本合集致力于收集Flink运行中的报错信息和解决策略,以便开发者及时排查和修复问题,优化Flink作业的稳定性。

283 1
来自: 实时计算 Flink  版块
|
2月前
|
存储 消息中间件 监控
|

曹操出行基于Hologres+Flink的实时数仓建设

曹操出行实时计算负责人-林震对于曹操出行基于Hologres+Flink的实时数仓建设进行演讲

147966 4
来自: 实时数仓 Hologres  版块
|
2月前
|
人工智能 机器人 图形学
|

2023 年最好的36款 AI 生产力工具(上)

本文主要展示了36 款 AI 应用,可以帮助读者更快、更好地工作。每个人都在与ChatGPT交流,从完整的博客文章到特定代码行的功能都在询问。其结果令人惊叹。虽然我们仍在探索如何将这项技术纳入我们的工作流程中,但明显的是,人工智能工具正在改变游戏规则。尽管ChatGPT是目前最受欢迎的,但它远不是首款进入市场的人工智能应用程序。

232 1
|
2月前
|
存储 测试技术 Apache
|

阿里云实时计算企业级状态存储引擎 Gemini 技术解读

本文整理自阿里云 Flink 存储引擎团队李晋忠,兰兆千,梅源关于阿里云实时计算企业级状态存储引擎 Gemini 的研究。

125523 4
来自: 实时计算 Flink  版块
|
7月前
|
关系型数据库 MySQL canal
|

mysql用canal还是flinkcdc 哪个比较好?

263 1
来自:实时计算 Flink 版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

7
今日
58714
内容
99
活动
437575
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务