解析大数据与工业之德国工业4.0

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云解析 DNS,旗舰版 1个月
简介: 在云栖Tech Day第二十四期《工业大数据助务智能制造》中,博拉科技CEO周公爽为大家带来《大数据与工业4.0》的分享。以下是本次分享的主要内容。

云栖Tech Day第二十四期《工业大数据助务智能制造》,博拉科技CEO周公爽为大家带来《大数据与工业4.0》的分享,分享的主要内容如下:

博拉科技主营三大业务:一个是机器人自动化,主要是汽车零部件行业;第二个是工业物联网系统,我们特指MES系统,是根据国际ISA95标准设计的MES系统;第三块是基于大数据采集和分析的SaaS运维平台,主要针对数控领域。今天分享的主题跟德国工业4.0有关,我们来看看德国作为工业4.0的倡导者和发起者,他们目前是怎么看待工业4.0,他们是如何来落地工业4.0的。

8b5f826c5adec485d4ca3a46db9e50e5cdb897da

将分几个环节去讲:什么是工业4.0?什么是CPS?工业4.0的技术架构,工业4.0带来的影响,挑战和机遇,还有德国目前工业4.0实施的案例等几个环节。

f894e0e1bed6b0503aa75ca2d5ba9c2248490409

工业4.0有什么特征呢?第一个特征是产品的独立性,第二个特征是柔性化生产。德国讲柔性化生产主要针对汽车行业,我们有BAT,他们有BBA,宝马、奔驰、奥迪,三家都是全球顶级汽车生产企业。德国第一个考虑的柔性化生产就是怎么在汽车生产线上实现柔性化生产。宝马位于慕尼黑尼的总部工厂,他们已经做到了什么呢?宝马3系跟宝马4系混线生产,但是换线的时间还是蛮长的,也许在未来德国工业4.0实现的时候,3系、4系、7系都可以同时并行生产,在生产的过程当中这一辆车可能是3系,喷的颜色是红色的,下一辆可能是7系,喷的颜色是白色的。但是这一点现在宝马还做不到,他们正往这个方向去发展,这就是柔性化制造。第三个特征是效率,工业4.0、工业互联网或中国制造2025我们觉得首先要提升的是生产效率和生产质量。第四个特征是人体工程设计,以客户为核心,工业4.0的终极阶段是C2M或C2B,就Customer to Manufactory或者Customer To Business。就是说它最终是完全是针向客户的,工厂直接面向客户。在这个里面咱们国内有一家企业,稍微往前走了一步,叫青岛的红领集团,红领是最先提出C2M概念的企业,比工业4.0的发布还早,已经在自己工厂里验证了很多年。他们通过扫描人体各个体位的数据参数,建立人体版型数据库,然后根据这个数据库调用不同西服的标准版型数据,然后去做匹配,做出最优的西服来,这个红领已经往前走了一步。做柔性化生产,人最灵活也最合适的,但是机器来做就没那么容易。

cde6ca316ccb2e587a477721404f09c1abc5d3ca

德国的工业4.0有两个最基本的技术,第一个技术叫CPS,信息物理系统(Cyber物理系统)。第二个是物联网,这个物联网特指IIOT,工业物联网。那么什么是CPS,这个简单讲是传感器和执行处理器构成的一个网络,网络终端跟终端之间可以相互交换数据,并且把物理跟虚拟有机的结合在一起,这个是工业4.0关于CPS最基本的一个定义。

什么是CPS?通俗的讲,CPS是传感器和执行处理器构建的一个网络,网络终端之间相互交换数据,借助这个网络将物理跟虚拟的设备有机连接一起,构成CPS系统。

83823dcf317c219453b1d6f7f59b4693b9d9574e

十八世纪的时候,1784年,英国纺织机非常强大,但是以人工为主。在这个阶段发明了蒸汽机,第一次把蒸汽机的往复运动变成了纺织机的机械化运动,所以这个是第一次工业革命,属于蒸汽机时代的第一个工业革命。而第二次工业革命是福特的T型车流水线,但是为什么德国人在这里画的是杀猪流水线,因为德国的杀猪流水线在十九世纪初的时候就已经有了,福特跑到德国看了杀猪流水线之后回去改造了汽车生产线,实现了规模化生产,所以第二次工业革命其实是规模化生产引领的。第三次工业革命是以电子编程技术应用为基础的信息化革命,持续到现在为止都没有结束,我们叫工业3.0。我们浙江省很多中小企业连工业3.0都没有达到,处于工业2.0到工业3.0之间。最后一个是工业4.0,关于4.0最终会是什么样子,至少我们能看到,在4.0阶段,各个终端之间可以相互通信的,各个终端之间可能有一定的自我意识。

61848098d55794eac165e2be4f0d87f6f735978e

上面这张图我们叫工业4.0的九大技术特征,不是来自于德国而是来自于美国。是美国波士顿Consulting Group做出来的。第一个技术叫做增材制造或3D打印,但是这里不仅仅指的是拿个打印塑料模具等应用,更多的是在工业领域实现金属增材3D打印;第二个技术是AR增强现实,强调增强现实在工业领域中的应用;第三个技术是大数据和分析;第四个是自主的机器人,特别强调是自主机器人,我们现在在工业场合上用的机器人都是编程实现的,或者是示教实现的,人告诉它怎么做它就会怎么做,未来工业4.0下的机器人是具备自我意识的;第五个技术是Simulation仿真,仿真是工业4.0当中非常重要的一个环节,特别是在设计阶段;第六个技术是纵向集成、横向集成、端对端集成。第七个技术是物联网,工业物联网;第八项技术是赛博空间的安全性,虚拟空间的安全性是非常重要的,如果不安全,我们的工业数据就不能很好的互联互通;最后一个技术是云计算,云计算技术架构,数据是生产资料,计算是生产力,未来的计算是一种服务,就像用电一样,只要连上WIFI,连上网就可以享受云计算。

工业4.0的九大技术特征,从技术维度上看,都已经逐步成熟。但是要将九大技术很好的与制造结合在一起,实现工业4.0,还有较大的难度。但是随着时间的推移,不仅仅强调数据是生产资料,计算是生产力,制造也会变成一种服务,未来将会实现EaaS:Every thing as a service。

371489c341f9a2ce161479162dd6e2509ef42cff

增材制造:举两个我们身边的案例,第一个案例是下沙一家做牙齿的公司,通过扫描口腔牙齿根部的形状生产3D牙齿模型,利用3D打印机把整个牙齿打印出来,然后再种植到牙床上。这样的制造方式,是完全按照人体结构而设计的牙齿,更加符合人体工学原理。这种类型的3D打印、增材制造技术会不断衍生到其他行业。第二个案例是海创园做助听器的企业,它可以扫描耳腔内部的结构,然后直接把助听器的轮廓采用3D打印的方式打印出来,在结合标准化的集成电路模块,做成适合不同人体的助听器。

在工业上,特别是在航空航天和汽车这个领域,目前零部件这一块的增材制造国内这边已经在不断的尝试和不断的测试了,我认为在增材制造这一块未来会产生很多的商业价值。

a18d38a513fa827892413f71672bf72f20c1f61e

第二个支撑技术是自主机器人,我在去年上半年的时候参加了温岭专门针对鞋类行业的机器换人会议。在会议上针对鞋行业自动化提出几种解决方案,基本上是把人的部分工作用非标自动化替代掉了,没有实现柔性化生产,也没有实现按需定制生产。而位于慕尼黑的阿迪达斯Speed factory,他们采用自主意识的工业机器人来实现运动鞋的柔性化制造,具体体现在可以根据客户需要定制他们想要的鞋子,并且由Speed Factory自动生产。我们衍生到工业领域,目前的工业机器人自动化解决方案基本上采用人工示教或人工编程的方式来实现机器人动作,当然还有第三种方式,就是机器人的离线编程,利用离线编程技术可以为不同曲面生成自动运动路径,但是这样的编程方式还是无法实现所谓的自主机器人。

自主机器人的特征表现为:利用现场的传感器网络、视觉图像让机器人能像人一样做特定场景下的自主运动。未来工业机器人会应用人工智能技术,让它具备一定的思维能力,自主判断特定场景下的工作状况,自由设计运动路径。目前包括KUUA、Faunc、ABB等厂家都已经往这个方向走。

7d2054760810b817a3f85923a73f3cdb80e2b6d5

在9月26、27号的中国智能制造大会上,我们有不少企业演示了VR和AR在工业领域的应用,但是目前更多的停留在游戏、培训上,还未真正与工业领域结合。但实际上AR在未来的生产、装配环节可以作为一个辅助系统,比如实际的线路板装配过程中,通过AR眼镜可以看到辅助的刻度、标识和工具,更好在在此过程中实现精准装配。比如设计师在现场摩托车架的基础上,将外观设计叠加上去,通过VR眼镜可以看到整体摩托车效果,从而实现边设计边查看真实效果的目的。VR在工业领域的应用将会越来越广泛,并且在此技术上将会衍生出更多的VR产品和工业应用领域。

e12ac2b789c19ba2630c6bd87382f59375edd6b1

仿真是工业4.0技术机构中非常重要的一项技术。我们在给XX汽车厂专供的生产线的时候,我们会利用仿真软件,对整条生产线进行数字化建模。我们在做这件事情的时候,只停留在很多示意性的上面,包括场地的布局,包括机器人的摆放的位置,包括工装、夹具的摆放位置,这些更多的起到一个示意的作用,起到一个交流的作用,但实际上目前的软件已经完全可以支撑,非常精确的把整个模型完全之后并且进行仿真,仿真完之后实际做出来会比较接近。我们说了一个概念叫数字双胞胎,一个是物理的一个是虚拟的,现在在仿真这个环节初步是能够做到的,但是可能在实际的应用过程当中,我们差距还是比较大的。

b5a87ecbf6af4f88df0860cf8e1881c11f68c3f6

德国工业4.0在工业物联网的定义上跟我们国内完全不一样,它直接把机器学习、大数据、传感数据和M2M(Machine to Machine)的概念全部放在工业物联网里面,认为这就是工业物联网就应该收集大量的机器设备的数据以及传感的数据,并结合机器学习和大数据分析。德国工业4.0制定完之后,他们自己也觉得现在在这个领域最大的问题是缺少标准,各个厂家各做各的,Fanuc机床有Fanuc的协议,三菱机床有三菱的协议,另外有更多的设备采用了Modbus、Profibus、DeviceNet、CC-link等工业协议,要实现互通互联,需要做不少工作。在流程(钢铁、水泥、石化等)行业,DCS系统能够很好的把不同工业总线协议连接在一起,但是需要做大量的工作。而离散行业,要实现不同设备之间的互联,存在较大的难度。

工业物联网是大数据分析的前提,大数据的各种分析算法,比如采用深度卷积算法来做工艺预测或者寿命预测,而要做这些预测数据是关键。如果大量杂乱无章的数据上来,而关键的数据少而不全,那么数据怎么清洗都是没有用的,还是无法提取有效信息。所以工业物联网的核心是怎么实现特定环节、特定工序上面关键数据的采集,这些数据不是说越大越好,而是要把关键的数据、有用的数据采集进来,然后才有分析的价值。我们在做大数据分析的时候往往只会关注数据量的大小,其实这是一种误导,重点应该关注核心数据的采集和不同维度数据的采集。从这个角度来讲,能够实现工业现场关键数据的采集,是至关重要的,并且也蕴含在巨大的机会。

cb069ab663c24fee76e5319f631ba57be17dcc7f

在工业4.0里面有三个概念,第一个是纵向集成,第一个是横向集成,最后一个是端对端集成,三个集成的顺序不能换,现有众向集成,然后扩展到横向集成,最后才能实现端对端集成。可以非常简单的去理解纵向集成,我们企业里面从销售、营销、物流、生产、财务各个环节的数据如果能够打通的话,我们认为,纵向集成就算完成了,所以可以回到专业上来讲,ERP、WMS、PLM、PDM,MES系统在企业内部都打通,数据都能够很顺畅的在企业内部流转,就可以认为完成了纵向集成。

ba6c70b7709256cf407cba235fd5fef6976de180

横向集成特指企业价值链的集成,企业跟代理商、供应商、合作伙伴、客户的数据全部打通,实现企业间的分享和协作,从价值链角度实现横向集成。纵向集成和横向集成是未来做C2M、C2B的基础,企业内部各环节数据打通,并结合企业与企业间,企业与客户间数据打通的基础上,我们才能够真正实现按需定制,按需生产和客户定制规模生产。

a1446d0bda1edc6ef9d1069e1c9ddf1009f6285f

工业4.0如果真的实现了,那么我们的工业生产会怎么改变呢?传统的生产方式是:经过第一道工序、第二道工序到最后一道工序,变成最终的产品。产品经过检验再进行包装,然后再到物流,工序与工序之前、设备与工序之间、设备与人之间是单项的数据流动,这是典型的大规模生产方式。目前中小企业普遍应对多品种、小批量的生产,是采用大量的人工实现,因为人是最灵活的。

如果到达工业4.0阶段,更高程度的自动化取代了低附加值的人工岗位,整个生产过程中产品、设备、人互相交换数据,实现多品种、小批量的灵活生产,并且根据客户需求,实现定制化规模生产。同时,工业4.0的不断推进也带来商业模式上的变化。

dca2acb0471119ad687ff792c915776490c56646

这里举例的西门子,但是更合适的GE的例子。GE是最早对航空发动机运行数据进行实时采集的公司,GE的发动机装到波音737、747上,在飞行的过程当中,发动机不断产生TB量级的数据,数据不断的反馈到GE公司总部,从而实现对海量数据进行分析、运算,从而实现发动机故障预测和寿命预测。

GE的汽轮机在全球范围内大概有一万多台,现在这一万多台的运行数据正在实时的送往机翼的数据中心,GE借助于些数据能够很快速的预测出,哪一台设备有问题,哪台设备哪个部件有问题,并且是提前一个月实现预测,这样可以及时对全球的汽轮机进行维护。所以GE说自己已经不是一家设备供应商,而是一个软件公司和服务公司,因为GE现在不卖发动机,它的发动机是免费送的,GE要保证这架飞机在未来的15年到20年之内没有故障,他们保证的是飞机时间,按飞行时间收费。

所以,随着工业4.0的不断推进,会出现更多新颖的商业模式,制造也是一样,也许未来的数控设备生产企业不是卖设备了,未来是卖加工能力,就像我们现在的云计算一样,卖的是计算能力,制造业未来也应该会变成一种卖加工时间、加工能力、加工精度。目前国内已经有部分企业开始尝试这么做了,沈阳机床厂现在卖加工效率和加工时间,通过客户生产产品的效率和数量来收费。

44dd9ee2333c235ef783135099433fa91475ac68

德国目前工业4.0的实际实施情况,只有6%的企业现在已经往工业4.0方向走,并且已经走出了第一步,也许未来的十年,这些企业能够率先实现工业4.0; 只有18%的企业刚刚开始尝试朝着4.0方向做技术改进和技术升级;另外76%的企业对工业4.0的概念还是特别理解,可能在自动化的基础上尝试做信息化和智能化,但是很多企业不感兴趣,为什么呢?德国有2000~3000家隐形冠军,在不谈工业4.0的情况下,未来10年这些隐形冠军依然会存在,为什么?因为它们做的是高附加值的制造服务,而这个制造服务它承载着品牌价值,与它几代人传承下来的生产工艺、生产品质相叠加,不会轻易被新入行的竞争对手超越,包括来自中国的竞争对手。所以德国的隐形冠军们并没有太多意愿去上工业4.0,他们认为现在做得很好,未来持续不断的改进自动化、生产工艺,依然可以做得更好。

举个例子,德国有一家企业叫夏特集团,它是全球第一的壁纸供应商,目前年销售额在6亿欧元左右,是名副其实的隐形冠军。它也没有意愿去上更多的信息化和智能化系统,但是它在研发全球唯一的一台3D打印机,通过这台3D打印机可以打印出他们任何想要的壁纸纹理,打印出他们任何想要的形状,并且能够实现规模生产。这台设备现在还没有量产,停留在实验阶段,隐形冠军们更愿意在设备上做投入,把设备做得非常之先进,这是德国工匠精神和务实作风的体现。所以很多隐形冠军们更愿意去做改进工艺、改进设备,而不是做虚无缥渺的云计算和大数据。德国工业4.0整体的实施效果并没有想象中那么好,它还受到什么因素的制约呢?德国有公会组织,如果把工人都用智能机器人替换的话,工会会找你麻烦。体制商业上的各种规则,阻碍了德国工业4.0推进的进程。反观我们中国就不一样,我们现在每个月、每个地方至少有一次经信组织的工业化信息化两化融合会议,或机器换人会议,还包括民间组织的各种工业大数据会议、物联网会议。我们推行中国制造2025是政府引导的行为,这非常有利于中国制造2025的推广和应用。而且企业从去年下半年开始自发做机器换人和物联网项目实施,在技术改造和技术升级上需求日益迫切。我们中国的制造业现在面临的问题是非常严重,从2013年开始,人口红利逐渐消失,劳动力成本不断攀升,很多世界级工厂往东南亚方向迁移,中国制造业的低成本竞争优势正在逐渐消失,制造业转型迫在眉睫。

44dd9ee2333c235ef783135099433fa91475ac68

工业4.0带来了什么机会?第一个机会是:增材制造,增材制造领域可能会产生很多的创业型公司和大型公司,涵盖医疗领域、在生物领域、消费品领域、在工业领域。第二个机会是纵向集成,浙江省拥有3.6万家中小企业,上MES的企业不多,做ERP、PDM、PLM、MES、WMS的数据集成,打通企业内部的数据流,未来可能有很大的增长空间。未来三年,工业物联网会呈现爆发式增长,工业领域蕴含着巨大的机会。第三个机会是制造服务,数据是生产资料,计算是生产力,那么能不能把制造做成服务?能不能把加工做成服务?第四个机会是人工智能在工业领域的应用,比如工艺预测、寿命预测、智能决策等。

中国经济的发展不能光靠虚拟经济,不能光靠互联网,实体经济是才是基础支撑。未来要将虚拟经济和实体经济结合,两者并驾齐驱的持续发展,才能做好中国经济。未来在工业4.0、中国制造2025推进的过程中,会产生大量互联网+实体经济而产生的商业新模式、新制造、新服务。

a54c99324e6bb68bf54d9760ee3e37f36cea985a

大数据的分析、人工智能等算法现在都是比较成熟的,那么对于工业数据分析,真正的核心是什么?对于很多大数据算法工程师来说,只要工业现场的数据能够收集上来,就能够做很好的分析和预测;而实际上恰恰最难的就是怎么把工业现场的数据收集上来,怎么把有效数据收集上来。

我们建议在工业现场数据采集的过程中,一定要采用标准的总线协议实现数据采集。这里我推荐两个标准,一个是IEC61131—3,一个是OPC—UA标准。IEC61131—3是可编程设备的语言标准,OPC—UA是可编程设备与外界通信的数据库标准。通过OPC数据库服务器,就能把大量能够接入可编程设备的数据写入到OPC数据中,外部设备再通过数据库交换数据,从而实现数据采集。我们以汽车零部件工厂的生产为例,汽车零部件生产中有一个压铸环节,压铸机把铝水压成铝铸件,而压铸机其实是一个控制系统,这个控制系统可能是三菱、Fanuc、西门子,也可能是新泰、华中数控等。我们可以通过与控制器通信从而收集压铸机的状态数据和运行参数。但是仅仅拿到这个维度的数据还是不够的,我们还要有环境的数据,比如说现场的振动、温度、压力等数据采集上来,更进一步,将设备的维保历史数据,以及生产的历史数据都收集上来,就构成了多维度的注塑机生产数据,利用这样来多维度的数据就可以很好的进行设备寿命预测、PHM管理、工艺预测。这就是大数据在工业领域的应用。

a4b9db9f75eb32e9a006dda5ea06bb5a44bab9bf

接下来讲一下德国工业4.0先驱企业做的一些案例,从汉堡港的智能应用开始讲。汉堡港是真正实现了把物流、集装箱、船只等连接在一起的数据平台,有效的连接了货物供应商、物流供应商、港口和客户。每个集装箱上都内置传感器,可以很清楚的查到这个集装箱是在物流车上的轨迹情况,港口的放置情况和船只的运输轨迹,客户可清晰查询货物的当前位置,以及预期到达的时间。这是汉堡港往智能化走出的第一步。

ef9d27dd457488ac259a527bbbcaef8d7158f5c6

接下来的案例是德国上线的Drive Now,是汽车共享服务平台,有点像国内的滴滴,但是它做的模式有点不同,首先它用的车就不一样,它用的是BMW的新能源I系列车,比如BMW I2,其次还有BMW的MINI汽车。Drive Now做了一件什么事情呢?比如我现在当前这个位置,我马上要去另外一个地方,我打开手机APP查看周边有没有可以使用的空闲车辆,如果有我就可以开走这个车,具体费用根据车型和开车里程自动结算。如果我到达了目的地,我可以把车放在那边,然后完成一次车辆共享服务。Drive Now是基于车辆分享的平台,在现实中非常有意义。

96713da9f3bde03bf77e392563207d73abe35865

这个案例是SK Solution做的,在国内我们称呼为智慧工地。在智慧工地解决方案中存在大量的搭吊,并行作业的搭吊存在严重的干涉安全事故,海康卫视的视觉检测方案中就包含了塔吊的实时视频监测和安全防护。在塔吊上安装视频摄像机,通过视频图像数据,自动判断该塔吊的运行轨迹是否与周边的搭吊存在干涉。在这个过程中,还涉及塔吊和塔吊之间的实时通信。也就意味着每台塔吊安装智能摄像机终端的同时,终端与终端之间互相交换数据,从而实现安全防护。这样的理念,与工业4.0中的CPS不谋而合。

SK Solution做了更多的事情,就是它实现机器的智能化管理,以及机器与机器之间的数据连接,进一步将人跟机器连接在一起,从而实现人与机器、机器与机器之间的互联互通。当吊机运转靠近人的时候,佩戴在人身上的终端能够感知到这个情况,通知工作人员当前的危险状态,另外,吊机会自动的停止以防止危险情况的发送。其实,实现这些功能,技术上不是难点,难点在于商业上的应用和推广。

7e6d9db534cac224dfe6f367b4088c02b2d579b7

这个案例是一台无人驾驶的拖拉机,它负责自动摘草莓。如果大家做过自动化的话,就应该知道自动摘草莓是一件多么难的事情。因为:1.草莓在草莓树上的分布是不均匀的,随机的 2.草莓是非常软的 3.要做一个机构能够自动的识别草莓树上有没有草莓,而且能够把它成功的摘下来是一件很难的事情。

德国人不仅仅做到了自动摘草莓,还能用这台机器自动灌溉、自动施肥,所以它已经是一台智能机器人了。而且大家不要看这仅仅只是一个农业机械,没有多大的应用前景。事实上,2015年这个市场的需求量是6亿欧元,预计到2020年有120亿欧元,这个市场还在不断的攀升。

上述的案例只是德国实施的一小部分,还有更多企业已经走在工业4.0实施的道路上。这次刚好去德国参观了宝马、保时捷工厂,也参观了多家德国隐行冠军企业,同时去了德国国家创新研究中心,给我的一个感受是什么呢?德国在工业自动化上、生产工艺上做的非常好,从各个方面都透露出工匠精神,值得我们向他们学习。但是德国在互联网上的发展相对来说比较滞后,跟我们中国有一定的差距。

接下来的智能制造这个领域,我觉得我们完全可以发挥好互联网的优势,继续补工业基础的课程,将互联网和工业很好的结合起来,我们的工业一定能发展的更好。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
机器学习/深度学习 搜索推荐 大数据
深度解析:如何通过精妙的特征工程与创新模型结构大幅提升推荐系统中的召回率,带你一步步攻克大数据检索难题
【10月更文挑战第2天】在处理大规模数据集的推荐系统项目时,提高检索模型的召回率成为关键挑战。本文分享了通过改进特征工程(如加入用户活跃时段和物品相似度)和优化模型结构(引入注意力机制)来提升召回率的具体策略与实现代码。严格的A/B测试验证了新模型的有效性,为改善用户体验奠定了基础。这次实践加深了对特征工程与模型优化的理解,并为未来的技术探索提供了方向。
96 2
深度解析:如何通过精妙的特征工程与创新模型结构大幅提升推荐系统中的召回率,带你一步步攻克大数据检索难题
|
1月前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
83 1
|
1月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(一)
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(一)
45 0
|
1月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(二)
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(二)
79 0
|
3月前
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
3月前
|
存储 缓存 NoSQL
深入解析Memcached:内部机制、存储结构及在大数据中的应用
深入解析Memcached:内部机制、存储结构及在大数据中的应用
|
3月前
|
机器学习/深度学习 算法 大数据
【2023年MathorCup高校数学建模挑战赛-大数据竞赛】赛道A:基于计算机视觉的坑洼道路检测和识别 python 代码解析
本文提供了2023年MathorCup高校数学建模挑战赛大数据竞赛赛道A的解决方案,涉及基于计算机视觉的坑洼道路检测和识别任务,包括数据预处理、特征提取、模型建立、训练与评估等步骤的Python代码解析。
77 0
【2023年MathorCup高校数学建模挑战赛-大数据竞赛】赛道A:基于计算机视觉的坑洼道路检测和识别 python 代码解析
|
8天前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
28 2
|
1月前
|
缓存 Java 程序员
Map - LinkedHashSet&Map源码解析
Map - LinkedHashSet&Map源码解析
68 0
|
1月前
|
算法 Java 容器
Map - HashSet & HashMap 源码解析
Map - HashSet & HashMap 源码解析
57 0

推荐镜像

更多
下一篇
无影云桌面