说说这些年做的云计算和大数据项目

简介: 入行十几年了,做了不少分布计算、并行计算、内存计算、海量数据处理的项目,按照现在的分类,这些都属于云计算/大数据范畴。今天说说我做过的其中三个项目,只三个
         入行十几年了,做了不少分布计算、并行计算、内存计算、海量数据处理的项目,按照现在的分类,这些都属于云计算/大数据范畴。今天说说我做过的其中三个项目,只三个。
         第 一个是我们接到的视频分享网站的视频转码的订单,网站名字就不说了,有替人宣传嫌疑。他们情况是这样,视频网站的内容用MP4格式在网页上播放,但是上传 的格式多种多样,我们必须把这些视频统一转换成MP4格式,视频转码的工作想必大家都在自己的电脑上试过,通常一个100M左右的视频转码需要20分钟以 上(CPU是Pentium IV)。为了提高转码效率,让用户以接近实时得到结果,必须在收完视频后,立即将一个视频拆分成多个单元,分散到多台计算机上进行转码,然后回收所有转码 视频,按照顺序再次组合成一个新视频。我估计现在视频网站都是这个套路。我们这个团队最早是做流媒体起家的,工作没什么难度,轻车熟路,很快就完成了。只 要机器足够多,视频差不多可以以接近实时的状态完成转码。后来又再一次改进,从用户上传视频开始立即进行转码,收到一段转一段,用户的视频上传完毕,我们 的转码工作也完成,用户可以马上看到自己上传的转码后视频,基本上是零延时,并且稳定性、效率都高于对方提出的要求。做完这个,合作方老板很满意,接着又 给了一个CDN的项目。现在我们仍保持着合作的关系。    
         第二个有点玄乎, 项目可以写一篇论文,题目是《关于空中移动目标运行轨迹和落点的问题》。这个项目是XXX发下来的,实质就是炮弹打导弹,大概是想看看能不能打着,论证技 术可行性。当时人还在某单位,因为研究领域和空气动力学毫不相关,所以这方面的知识基本属于文盲,知道的也就是那么几个有限的名词和数学公式,但是这正好 符合XXX的要求,不需要我们懂这些高深的理论,他们派人和我们合作这个项目。我们的工作就是把很多传感器(他们没明说,但是地球人都明白这东西应该是雷 达)接收的数据,包括当前多少公里范围内的空气的风速、风向、地表的曲面率,还有其它一些指标在收集后(这些瞬间产生的三维数据的数据量非常大),分散到 一大堆计算机上去执行(测试时准备了100个节点),并且要很快计算出结果(必须比空中运动的目标快)。这其实和现在的SPARK、STORM做的工作很 象,要依赖大内存、高性能CPU、和高速网络,跳过硬盘这个瓶颈,才能得以实现快速计算。这个项目花了很长时间,主要是与合作方的沟通改进,然后是再沟通 再改进,循环往复,周而复始。后来终于完成了,据说做了试验,可行性很高,上面领导很满意,还摆了庆功酒。反正我没见着也没喝着。其实他们怎么计算的,我 到最后也没有搞明白,问过一次,说是秘密。  
         第三个和两桶油的页岩气有关。当 前的背景是在四川涪陵(这个地方还产榨菜)发现了大面积的天然气,按照自然规律,油气是共生的,所以两桶油想通过采集页岩样本,分析这个地区地下有没有石 油资源,如果有,是不是具有开采价值。这套程序原本已经是有的,艾克森.美孚石油公司开发的,跑在CARY-1向量机上。那套机器是上世纪七八十年代的超 级计算机,在当时已经不能满足需要,属于进博物馆之列。有些数据分析理论已经过时,需要调整。两桶油最不满意的还是速度太慢,计算一次要几小时几天才能出 结果。这一次又是合作,两桶油出熟悉采油的技术专家,我们出并行计算的码农,前前后后合作弄了大半年,算是完成了。这次我们用了新的并行算法,效率提高了 一大截。和上次炮弹打导弹一样,整个项目静悄悄开始,静悄悄结束,后面怎么样就不知道了。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7天前
|
存储 大数据 数据挖掘
云计算与大数据:从基础设施到实际应用
云计算与大数据:从基础设施到实际应用
254 0
|
1天前
|
存储 大数据 云计算
大数据与云计算
大数据与云计算
16 2
|
7天前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之要查看MaxCompute Studio中的项目中的计算任务代码,我该怎么操作
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7天前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之该怎么创建MaxCompute的项目
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7天前
|
存储 机器学习/深度学习 大数据
云计算与大数据:合作与创新
本文探讨了大数据技术与云计算的背景和发展,大数据的5V特征(量、速度、多样、复杂、不确定)及云计算的3S特点(服务、共享、可扩展)。两者相互依赖,云计算为大数据提供计算与存储资源。核心算法涉及分布式计算、数据挖掘和机器学习,如线性回归、逻辑回归等。通过代码示例展示了Hadoop的MapReduce、Scikit-learn的KNN和TensorFlow的线性回归应用。未来趋势包括数据量增长、实时处理、AI与ML集成及数据安全挑战。附录解答了大数据、云计算等相关问题。
334 3
|
7天前
|
分布式计算 容灾 大数据
MaxCompute( 原名ODPS)大数据容灾方案与实现(及项目落地实例)专有云
一,背景与概述    复杂系统的灾难恢复是个难题,具有海量数据及复杂业务场景的大数据容灾是个大难题。    MaxCompute是集团内重要数据平台,是自主研发的大数据解决方案,其规模和稳定性在业界都是领先的。
2120 16
|
7天前
|
分布式计算 容灾 大数据
MaxCompute( 原名ODPS)大数据容灾方案与实现(及项目落地实例)专有云
一,背景与概述    复杂系统的灾难恢复是个难题,具有海量数据及复杂业务场景的大数据容灾是个大难题。    MaxCompute是集团内重要数据平台,是自主研发的大数据解决方案,其规模和稳定性在业界都是领先的。
310 0
|
7天前
|
传感器 数据采集 监控
基于Springcloud可视化项目:智慧工地可视化大数据云平台源码
终端层,充分利用物联网技术和移动应用提高现场管控能力。通过传感器、摄像头等终端设备,实现对项目建设过程的实时监控、智能感知、数据采集和高效协同,提高作业现场的管理能力。
36 5
|
7天前
|
存储 大数据 数据挖掘
python数据分析——大数据和云计算
大数据和云计算作为当代信息技术的两大核心驱动力,正在以前所未有的速度改变着我们的生活、工作和思维方式。它们不仅为各行各业的创新提供了强大的技术支持,更是推动了整个社会的数字化转型。 从大数据的角度来看,它的核心价值在于通过对海量数据的收集、存储、分析和挖掘,发现其中的关联性和趋势,从而为决策提供更为科学、精准的依据。无论是商业领域的市场预测、消费者行为分析,还是公共服务领域的城市规划、交通管理,大数据都发挥着不可或缺的作用。同时,随着物联网、传感器等技术的普及,大数据的来源和种类也在不断扩展,这使得我们能够更全面地认识世界,把握规律。
54 0

热门文章

最新文章