云原生能为新生代IT农民工带来黄金锄头吗?

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 最近IT行业有三个事件特别值得观察,首先是8月中旬正式发布的《北京市外来新生代农民工监测报告》,在这个报告中官方首次将从事软件和信息技术服务行业的人员列入农民工范畴,这种说法虽然得到广大程序员们的广泛认同,不过为什么软件开发与传统的农业生产越来越像,也值得深思。

上周OpenAI也发布了自动编码系统-Codex,这是一款可以将英文需求描述直接转换为代码的神奇工具。虽然Codex首发版本的表现还不能完全尽如人意,但AI编码技术的发展却给开发者们敲响了警钟,未来只要有创意和算力,也许真的就就万事俱备了,程序员也许并不是一个必选项。
最近国际IT咨询机构Forrest发布了《云原生开发者洞察白皮书》,对于云原生时代对于开发者的机遇、挑战、升级路径等等问题进行了探讨,对于《开发者白皮书》中的观点笔者深表赞同,云原生到底会如何影响未来的开发模式,对于这个问题,每一个开发者应该都会有自己的思考。
笔者认为云原生时代,开发者要学着利用Codex这样的新工具,在云原生的大农场上进行编程,而云原生则要提供一个真正能屏蔽底层的开发平台。云原生时代的开发最重要的是“人”“云”合一,而“人”“云”合一的关键则在于全栈,只有真正做到全栈融合才能将各技术领域内坑洼不平的丘陵,变成真正肥力十足的平原,挖掘出工具的潜力,发挥云原生的价值。

云原生想建黄金农场不容易

无论是k8s、容器还是最近火爆全网的Serverless、Dubbo,云原生相较于传统技术其最大的优势在于能够充分利用云原生平台的组件及工具链,屏蔽底层技术,使开发者耕耘的土地更像是一片广袤的农场,帮助开发者节省时间,但是想屏蔽底层必须要依靠打气熬力的功夫,光凭嘴说远远不够,尤其是在大数据及AI领域更是如此。
根据IDC的定义,大数据是指现有技术难以处理的数据,从历史来看,在谷歌提出大数据三驾马车的论文时,当时的关系型数据库技术的确难以处理大规模的数据。传统SQL在谷歌海量的查询记录面前,根本跑不出结果。也正是由于数据越来越大,人们对于数据库的看法开始转变,从一开始单纯认为数据库是加工车间,转变为数据库也需要是储存仓库,而数据已经是加工完成的成品,没有被重塑修改回滚的需求。而随着大数据应用的进一步拓展,业界发现价值密度更低的非结构化数据也有储存及挖掘的必要。比如客服的对话可能是语音、文字甚至是图像、视频,这都不是传统意义上数据库、数仓可以处理的结构化数据,因此用于储存非结构化的数据湖出现了。
在了解数据存储模型的演进过程后,我们可以看出关系型数据库、数据仓库与数据湖的底层构建模型并不相同,大数据领域各个技术栈几乎全部是由开源社区推动的,数据技术的快速发展却也带来了领域内部的无尽割裂。数据是AI乃至整个IT行业的血液,是业务开发链条上的重要一环,但各环节的兼容性不佳也引发了很多衍生问题。这其中最严重的是数据处理的时效性问题,大数据工程师往往需要在T+1日以后才能给出报表,但是产品经理却永远需要实时的用户画像,对于时效性的要求成为了技术与业务之间永远无法达成的协议。
当前,科技企业要处理的数据量还在迅速增长,从我了解到的情况,各大厂的数据量级正在以年化80%左右的速度增长,如果按照现在的迭代速度,大数据技术栈继续分化,那么云厂商如果拿不出全栈大数据解决方案,开发者的云原生开发也就根本无从谈起。因此只有提供包括数据采集、数据规范、数据开发、数据服务、数据治理、数据可视化在内的全栈式大数据工具,将数据集成开发平台与应用云平台与容器大数据平台打包交付,才是有竞争力的云原生产品。

AI落地,必走全栈之路

如果说大数据需要全栈解决方案是个锦上添花的选项,那么AI对全栈的需求则是必选项。从目前AI的发展趋势来看,最新的人工智能模型对于算力的要求往往都是非常高的,比如谷歌的T5,其整个模型的参数数量达到了惊人的 110 亿,甚至谷歌科学家直接在T5的论文指出:“越大的模型往往表现更好。这表现扩大规模可能仍然是实现更好性能的方式。“不过一般的创业公司如果没有雄厚的资金实力是不可能搭建这种级别的AI训练平台。
像去年火爆一时的GPT-3 的出现充分证明了大力就是能够出奇迹,这个训练集45TB,参数规模1750亿,预训练结果700G的AI模型一经问世就成为了大众瞩目的焦点。一时之间用GPT-3作诗、作曲乃至画画的应用层出不穷,不过GPT-3的训练成本高达上千万美元,这也进一步提升了AI领域的入门门槛,只有巨头才能玩得起AI。
不过另一个角度讲这样的趋势也推进了AI全栈技术与云的结合,只有将云、人与智能终端结合到一起,才能降低门槛,促进AI行业创新发展。而这种结合实际与全场景全栈AI是同一概念,只有算力不行,只有框架不行,只擅长训练集群也不行,只有把这些方面结合到一起,做到没有短板才能做好AI云,才能让AI充分发挥威力,体现价值。

云原生呼唤程序员的创造性

从Open AI官方的说法来看,Codex试图理解需求描述中的逻辑,并尽可能生成最好的代码。与其同门师兄Copilot一样,Codex也是基于GPT-3构建的。不过目前GPT-3的工作原理也就决定了Codex、Copilot等辅助工具本质上还是播种机和收割机,只能高效率的模仿,却很难进行创造性的自主、独立工作,也就是说目前AI在编程领域远未达到Alpha Go时刻,因此在这个编程工具辅助能力极大发展,基础底座被云原生打造成一片坦途的情况下,复制粘贴式的开发将逐渐失去价值,但对于程序员创造力与整合能力却要求更高了。
在云原生时代,有两种开发方向,一是云原生的底层基础开发,这点在上文的大数据和AI部分已经详细介绍过了,底层技术关键在于整合与打通,性能与资源的开销是最需要考虑的方面。二是基于云原生的开发,这需要对于云原生各模块的进行创造式的组合,从而形成新的生产力。由于辅助工具最擅长的就是模仿与简单的修补,这方面AI很可能比人类程序员强很多,因此无论是哪种开发方向,有创造力的大神级程序员都会比以往更加紧俏。
人云合一,方显原生本色,
去年哈佛大学孵化的脑机接口创业企业BrainCo也发布了其最新产品BrainOS,其主要的创新点在于脑机协同的操作系统,年初月华为发布了鸿蒙2.0操作系统,主打是端端协作的分布式操作系统,Codex、Copilot更是将程序员与AI工具结合的大幕正在开启。
未来,人云协同将成为云原生领域的核心,而人云协同将失去各行各业的智能化升级。不同于数字化转型,智能化是以人为中心,智能需要和人协同工作。因此,也许智能机器永远都无法取代人,但人与云达到最完善、最完美的共融共创的云原生,终将改变每个领域、每个行业以及每个人的生活方式。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5月前
|
运维 Cloud Native 持续交付
云原生架构的未来演进:打造灵活、高效的企业IT基础
随着数字化转型的不断深入,企业的IT基础设施正经历着从传统架构向云原生架构的根本转变。本文将探讨云原生技术的最新发展趋势,分析其在提高业务敏捷性、降低运维成本以及促进技术创新方面的关键作用。我们将重点讨论如何借助容器化、微服务、DevOps和持续交付等核心技术,构建一个能够适应快速变化市场需求的云原生生态系统。通过实际案例分析,揭示企业在迁移到云原生架构过程中面临的挑战与解决策略,为读者呈现一幅云原生技术赋能企业未来的蓝图。
|
1月前
|
运维 Cloud Native 安全
云原生技术:重塑现代IT架构的引擎
在当今数字化时代,企业正面临着前所未有的挑战与机遇。随着云计算技术的不断发展,云原生技术作为其核心驱动力之一,正在彻底改变企业的IT架构和运营模式。本文将深入探讨云原生技术的内涵、特点及其对企业数字化转型的影响,揭示其在现代IT架构中的核心地位和作用。同时,我们还将分析云原生技术面临的安全挑战,并展望未来的发展趋势,为企业在云原生领域的实践提供有益的参考。
|
1月前
|
Cloud Native Devops 持续交付
云原生技术:引领未来IT变革的核心动力
云原生技术,作为一种新型的软件开发和运行模式,正在迅速改变传统的IT架构。它通过容器化、微服务和DevOps等核心原则,使企业能够更快、更灵活地构建和部署应用程序,从而更好地适应数字化转型的需求。本文将深入探讨云原生技术的基本原理、应用场景及其在未来IT变革中的关键作用。
|
1月前
|
Cloud Native Devops 持续交付
云原生技术:引领未来IT架构的变革
本文深入探讨了云原生技术的崛起,及其如何通过容器化、微服务架构和DevOps实践等核心原则,推动现代IT基础设施向更加敏捷、高效和可扩展的方向演进。通过分析云原生技术的发展趋势和挑战,揭示了其对业务模式、开发流程和文化的深远影响,为读者呈现了一个全面而深刻的云原生世界视角。
58 4
|
1月前
|
Kubernetes Cloud Native 持续交付
深入理解云原生技术及其在现代IT架构中的应用
【9月更文挑战第18天】云原生技术,作为推动企业数字化转型的引擎,正以它独特的魅力重塑着信息技术的未来。本文将带你一探究竟,从云原生的基础概念出发,逐步深入到其核心组件、设计理念以及如何在实际应用中发挥巨大作用。你将了解到容器化、微服务架构、持续集成与持续部署(CI/CD)等关键实践,并见证它们如何帮助企业构建更加灵活、高效和可靠的应用。
|
1月前
|
运维 Cloud Native Devops
云原生技术:重塑现代IT架构的新引擎
在当今数字化转型的浪潮中,云原生技术以其敏捷、高效和可扩展的特性,正引领着一场IT架构的革命。本文旨在深入探讨云原生的概念、核心组件及其在现代企业中的应用价值,揭示其如何助力企业实现更快的创新速度、更高的资源利用率以及更优的用户体验。不同于传统的云计算模式,云原生从一开始就为云环境量身打造,通过容器化、微服务、DevOps等关键技术,解锁了软件开发和运维的新范式。
|
1月前
|
Cloud Native 持续交付 云计算
云原生技术在现代IT架构中的革新角色
随着数字化转型的浪潮席卷全球,企业对信息技术的需求日益增长。本文将探讨云原生技术如何推动现代IT架构的创新和优化,包括容器化、微服务架构、持续集成与持续部署(CI/CD)等核心概念。通过实际案例分析,我们将了解这些技术是如何帮助企业提升灵活性、加速产品上市时间并降低运营成本的。文章旨在为读者提供云原生技术的全面视角,揭示其在现代IT战略中不可或缺的地位。
|
2月前
|
Cloud Native 持续交付 云计算
云原生技术的未来展望:构建更加动态和灵活的IT环境
【7月更文挑战第59天】 随着数字化转型的加速,企业对信息技术基础设施的需求日益增长,尤其是对灵活性、可扩展性和敏捷性的追求。云原生技术作为一种新兴的IT架构范式,以其独特的优势正逐渐成为推动业务创新和实现快速响应市场变化的关键力量。本文将深入探讨云原生技术的发展现状,分析其核心组件如容器化、微服务、DevOps和持续集成/持续部署(CI/CD)等,并预测这些技术如何塑造未来云计算的蓝图,以及企业如何利用这些技术构建一个更加动态和灵活的IT环境。
|
2月前
|
Kubernetes Cloud Native 开发者
云原生技术在现代IT架构中的应用与挑战
【8月更文挑战第27天】 随着云计算的飞速发展,云原生技术已经成为推动企业数字化转型的重要力量。本文将深入探讨云原生技术的核心概念、优势以及在实际应用中遇到的挑战,并通过具体代码示例展示如何利用云原生技术优化IT架构。
|
2月前
|
Cloud Native 持续交付 云计算
云原生之旅:从传统IT到现代应用的蜕变
在数字化浪潮中,云原生技术成为推动企业创新和效率提升的关键力量。本文将带您一探云原生的核心概念、优势以及实施路径,揭示如何通过拥抱云原生架构,实现从传统IT向灵活、高效的现代应用转型。
52 2