2022 年下半年数据和人工智能技术预测

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 当我们从 2022 年展会的中场休息中脱颖而出时,是时候盘点一下我们今年在大数据、高级分析和人工智能方面取得的进展,并评估我们接下来可能会走向何方。

根据我们在 2022 年到目前为止的情况,Datanami 有信心在今年余下的时间里做出这五个预测。
image.png
数据可观察性继续运行
今年上半年对于数据可观察性来说意义重大,这让客户可以更好地了解数据流的情况并制定相关指标。随着数据对于决策制定变得越来越重要,该数据的健康和可用性也变得越来越重要。

我们看到许多数据可观察性初创公司获得了数亿美元的风险投资,其中包括Cribl(价值 1.5 亿美元的 D 轮融资);蒙特卡洛(D 系列价值 1.35 亿美元);Coralogix(D 系列价值 1.42 亿美元);和别的。其他制造新闻的公司包括推出元数据指标的Bigeye;StreamSets,被Software AG以 5.8 亿美元收购;IBM上个月收购了可观察性初创公司 Databand 。

这种势头将在 2022 年下半年继续,因为越来越多的数据可观察性初创公司走出困境,现有的初创公司寻求巩固其在这个新兴市场中的地位。

实时数据弹出
实时数据多年来一直处于次要地位,服务于一些小众用例,但实际上并未在常规企业中得到广泛使用。但是,由于过去几年的新冠疫情和相关的商业计划重组,实时数据进入主流科技圈的条件现在已经成熟。

“我认为流媒体终于发生了,” Databricks首席执行官 Ali Ghodsi 在最近的 Data + AI 峰会上表示,并指出该公司基于云的数据平台上的流媒体工作负载增长了 2.5 倍。“他们有越来越多的 AI 用例需要实时。”

内存数据库和内存数据网格也准备从实时复兴中受益(如果是这样的话)。RocksDB是一个快速分析数据库,它增强了 Kafka 等基于事件的系统,现在有一个名为 Speedb 的替代品。SingleStore在一个单一的关系框架中结合了 OLTP 和 OLAP 功能,在上个月的一轮融资中达到了 13 亿美元的估值。

还有StarRocks ,它最近获得了基于 Apache Doris的快速新 OLAP 数据库的资助;Imply于 5 月完成了 1 亿美元的 D 轮融资,以继续其基于 Apache Druid 的实时分析业务;DataStax将 Apache Pulsar 添加到其 Apache Cassandra 工具包中,筹集了 1.15 亿美元用于推动实时应用程序开发。Datanami预计这种对实时数据分析的关注将继续下去。
监管增长
GDPR生效已经四年了,让大数据用户受到关注,并加速了数据治理作为负责任数据计划的必要组成部分的兴起。在美国,监管数据访问的任务已经落到各州身上,加利福尼亚州在 CCPA 方面处于领先地位,它在许多方面模仿了 GPDR。但更多的州可能会效仿,这使美国公司的数据隐私等式变得复杂。

但 GDPR 和 CCPA 只是法规的开始。我们也处于第三方 cookie 的消亡之中,这使得公司更难跟踪用户的在线行为。谷歌决定将其平台上第三方 cookie 的终止时间推迟到 2023 年 1 月 1 日,这给了营销人员一些额外的时间来适应,但来自 cookie 的信息将难以复制。

除了数据法规之外,我们还处于关于使用人工智能的新法规的风口浪尖。欧盟于 2021 年推出了人工智能法案,专家预测它可能会在 2022 年底或 2023 年初成为法律。

数据表格式之战
一场经典的技术大战正在形成新的数据表格式,这将决定数据如何存储在大数据系统中,谁可以访问它,以及用户可以用它做什么。

最近几个月, Apache Iceberg作为数据表格式的潜在新标准获得了热潮。云数据仓库巨头Snowflake和AWS今年年初出来支持 Iceberg,后者提供交易和其他数据控制,并从 Netflix 和 Apple 的工作中脱颖而出。前 Hadoop 分销商Cloudera在 6 月份也支持了 Iceberg。

但是 Databricks 的人们提供了 Delta Lake 表格式的替代方案,它提供了与 Iceberg 类似的功能。Apache Spark 支持者最初以专有方式开发了 Delta Lake 表格式,这导致指责 Databricks 为客户设置锁定。但在 6 月的数据 + AI 峰会上,该公司宣布将把整个格式都开源,从而让任何人都可以使用它。

在洗牌中迷失的是Apache Hudi,它还提供了数据的一致性,因为它位于大数据存储库中并且可以被各种计算引擎访问。Onehouse是一家由 Apache Hudi 的创建者支持的企业,今年早些时候推出了一个基于 Hudi 的 Lakehouse 平台。

大数据生态系统喜欢竞争,因此在 2022 年剩余时间里观察这些格式的演变和竞争将会很有趣。
语言 AI 继续令人惊叹
人工智能的前沿逐月变得越来越锋利,而今天,人工智能的矛头是大语言模型,它越来越好。事实上,大型语言模型已经变得如此出色,以至于 6 月份的一位Google工程师声称该公司的 LaMDA 会话系统已经变得有感知力。

人工智能还没有感知能力,但这并不意味着它们对企业没有用处。提醒我们,Salesforce有一个名为 CodeGen 的大型语言模型 (LLM) 项目,该项目旨在理解源代码,甚至以不同的编程语言生成自己的代码。

上个月,Meta(Facebook 的母公司)推出了一个可以翻译 200 种语言的大型语言模型。我们还看到了通过 BigScience 大型开放科学开放访问多语言语言模型或BLOOM等项目使 AI 民主化的努力。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2天前
|
存储 人工智能 Serverless
阿里云《AI 剧本生成与动画创作》技术解决方案测评
本问是对《AI 剧本生成与动画创作》的用心体验。结论不是特别理想,在实际使用中仍存在一些问题。
53 22
|
4天前
|
人工智能 前端开发 Serverless
阿里云《AI 剧本生成与动画创作》解决方案技术评测
随着人工智能技术的发展,越来越多的工具和服务被应用于内容创作领域。阿里云推出的《AI 剧本生成与动画创作》解决方案,利用函数计算 FC 构建 Web 服务,结合百炼模型服务和 ComfyUI 工具,实现了从故事剧本撰写、插图设计、声音合成和字幕添加到视频合成的一站式自动化流程。本文将对该方案进行全面的技术评测,包括实现原理及架构介绍、部署文档指引、具体耗时分析以及实际使用体验。
59 16
|
15天前
|
机器学习/深度学习 人工智能 API
Aligner:自动修正AI的生成结果,北大推出残差修正模型对齐技术
介绍北大团队提出的 Aligner 模型对齐技术,通过学习对齐答案与未对齐答案之间的修正残差,提升大语言模型的性能。
77 28
|
29天前
|
人工智能 达摩院 计算机视觉
SHMT:体验 AI 虚拟化妆!阿里巴巴达摩院推出自监督化妆转移技术
SHMT 是阿里达摩院与武汉理工等机构联合研发的自监督化妆转移技术,支持高效妆容迁移与动态对齐,适用于图像处理、虚拟试妆等多个领域。
71 9
SHMT:体验 AI 虚拟化妆!阿里巴巴达摩院推出自监督化妆转移技术
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
DeepSeek逆天,核心是 知识蒸馏(Knowledge Distillation, KD),一项 AI 领域的关键技术
尼恩架构团队推出《LLM大模型学习圣经》系列,涵盖从Python开发环境搭建到精通Transformer、LangChain、RAG架构等核心技术,帮助读者掌握大模型应用开发。该系列由资深架构师尼恩指导,曾助力多位学员获得一线互联网企业的高薪offer,如网易的年薪80W大模型架构师职位。配套视频将于2025年5月前发布,助你成为多栖超级架构师。此外,尼恩还提供了NIO、Docker、K8S等多个技术领域的学习圣经PDF,欢迎领取完整版资源。
|
7天前
|
人工智能 负载均衡 搜索推荐
谷歌发布双思维AI Agent:像人类一样思考,重大技术突破!
谷歌近日推出基于“快慢思维”理论的双思维AI Agent系统,模仿人类大脑的两种思维模式:快速直观的Talker(系统1)和深思熟虑的Reasoner(系统2)。Talker负责日常对话与快速响应,Reasoner则处理复杂推理任务。该系统模块化设计,灵活高效,已在睡眠教练等场景中展现应用潜力,但仍面临工作负载平衡与推理准确性等挑战。论文详情见:https://arxiv.org/abs/2410.08328v1
33 1
|
25天前
|
存储 人工智能 安全
AI时代的网络安全:传统技术的落寞与新机遇
在AI时代,网络安全正经历深刻变革。传统技术如多因素身份认证、防火墙和基于密码的系统逐渐失效,难以应对新型攻击。然而,AI带来了新机遇:智能化威胁检测、优化安全流程、生物特征加密及漏洞管理等。AI赋能的安全解决方案大幅提升防护能力,但也面临数据隐私和技能短缺等挑战。企业需制定清晰AI政策,强化人机协作,推动行业持续发展。
58 16
|
1月前
|
人工智能 缓存 Ubuntu
AI+树莓派=阿里P8技术专家。模拟面试、学技术真的太香了 | 手把手教学
本课程由阿里P8技术专家分享,介绍如何使用树莓派和阿里云服务构建AI面试助手。通过模拟面试场景,讲解了Java中`==`与`equals`的区别,并演示了从硬件搭建、语音识别、AI Agent配置到代码实现的完整流程。项目利用树莓派作为核心,结合阿里云的实时语音识别、AI Agent和文字转语音服务,实现了一个能够回答面试问题的智能玩偶。课程展示了AI应用的简易构建过程,适合初学者学习和实践。
98 22
|
1月前
|
人工智能 Java 程序员
通义灵码AI编码助手和AI程序员背后的技术
通义灵码AI编码助手和AI程序员背后的技术,由通义实验室科学家黎槟华分享。内容涵盖三部分:1. 编码助手技术,包括构建优秀AI编码助手及代码生成补全;2. 相关的AI程序员技术,探讨AI程序员的优势、发展情况、评估方法及核心难点;3. 代码智能方向的展望,分析AI在软件开发中的角色转变,从辅助编程到成为开发主力,未来将由AI执行细节任务,开发者负责决策和审核,大幅提升开发效率。
146 12
|
1月前
|
人工智能 搜索推荐
AI视频技术的发展是否会影响原创内容的价值
AI视频技术的发展显著降低了视频制作的门槛与成本,自动完成剪辑、特效添加等繁琐工作,大大缩短创作时间。它提供个性化创意建议,帮助创作者突破传统思维,拓展创意边界。此外,AI技术使更多非专业人士也能参与视频创作,注入新活力与多样性,丰富了原创内容。总体而言,AI视频技术不仅提升了创作效率,还促进了视频内容的创新与多样化。

热门文章

最新文章