大数据工程是什么-和大数据工程相关的问题-阿里云开发者社区

回答

数道云大数据工程教学实训平台底层数据处理平台采用云计算技术实现，基于云计算的基础设施层能充分保障资源的有效利用率和资源的动态伸缩性，云基础设施层上搭建了基于VMware、Hyper-v或KVM等的虚拟化层，该虚拟化层能充分保证业务的连续性和平台运行的可靠性。建立在虚拟化层上的统一数据挖掘平台波若能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析，而基于Hadoop 的大数据开发平台（波若）能为大数据算法分析和大数据处理提供基础平台。位于架构最上层的大数据工程教学实训平台为培养大数据时代的数据科学家提供实训平台。

sdydata 2019-12-02 02:01:58 0 浏览量回答数 0

回答

数道云大数据工程教学实训平台底层数据处理平台采用云计算技术实现，基于云计算的基础设施层能充分保障资源的有效利用率和资源的动态伸缩性，云基础设施层上搭建了基于VMware、Hyper-v或KVM等的虚拟化层，该虚拟化层能充分保证业务的连续性和平台运行的可靠性。建立在虚拟化层上的统一数据挖掘平台波若能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析，而基于Hadoop 的大数据开发平台（波若）能为大数据算法分析和大数据处理提供基础平台。位于架构最上层的大数据工程教学实训平台为培养大数据时代的数据科学家提供实训平台。

sdydata 2019-12-02 02:01:58 0 浏览量回答数 0

回答

数道云大数据工程教学实训平台底层数据处理平台采用云计算技术实现，基于云计算的基础设施层能充分保障资源的有效利用率和资源的动态伸缩性，云基础设施层上搭建了基于VMware、Hyper-v或KVM等的虚拟化层，该虚拟化层能充分保证业务的连续性和平台运行的可靠性。建立在虚拟化层上的统一数据挖掘平台波若能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析，而基于Hadoop 的大数据开发平台（波若）能为大数据算法分析和大数据处理提供基础平台。位于架构最上层的大数据工程教学实训平台为培养大数据时代的数据科学家提供实训平台。

sdydata 2019-12-02 02:02:11 0 浏览量回答数 0

Quick BI 数据可视化分析平台

2020年入选全球Gartner ABI魔力象限，为中国首个且唯一入选BI产品

回答

数道云大数据工程教学实训平台底层数据处理平台采用云计算技术实现，基于云计算的基础设施层能充分保障资源的有效利用率和资源的动态伸缩性，云基础设施层上搭建了基于VMware、Hyper-v或KVM等的虚拟化层，该虚拟化层能充分保证业务的连续性和平台运行的可靠性。建立在虚拟化层上的统一数据挖掘平台波若能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析，而基于Hadoop 的大数据开发平台（波若）能为大数据算法分析和大数据处理提供基础平台。位于架构最上层的大数据工程教学实训平台为培养大数据时代的数据科学家提供实训平台。

sdydata 2019-12-02 02:01:58 0 浏览量回答数 0

回答

数道云大数据工程教学实训平台底层数据处理平台采用云计算技术实现，基于云计算的基础设施层能充分保障资源的有效利用率和资源的动态伸缩性，云基础设施层上搭建了基于VMware、Hyper-v或KVM等的虚拟化层，该虚拟化层能充分保证业务的连续性和平台运行的可靠性。建立在虚拟化层上的统一数据挖掘平台波若能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析，而基于Hadoop 的大数据开发平台（波若）能为大数据算法分析和大数据处理提供基础平台。位于架构最上层的大数据工程教学实训平台为培养大数据时代的数据科学家提供实训平台。

sdydata 2019-12-02 02:01:58 0 浏览量回答数 0

问题

Android解析JSON数据结果为空是怎么回事

为什么Android解析JSON数据时，修改老罗的工程后能正常解析出数据，但把该工程移动到自己建立的大工程下解析出来的数据就为空呢？正常数据时{line1[{id=1,name=2},{id=2,name=3}]},在自己工程下解析出来的却...

爵霸 2019-12-01 19:39:45 968 浏览量回答数 1

回答

又叫做大数据工程教学实训平台，是武汉数道云科技有限公司针对于高校、培训机构的大数据平台搭建的方案。数道云大数据提供专业的Hadoop、spark等大数据主流课程，助力高校大数据分析课程教学，培养大数据多种实用型技术人才。基于数据的采集、存储、计算和大数据框架平台管理，让学生掌握对大数据的离线、实时处理和部分数据分析进行深度理解和把握。通过大数据实训平台，掌握大数据平台并且对大数据架构和挖掘的基本技能和方法，为将来在企业挖掘分析大数据做决策打下基础。

sdydata 2019-12-02 02:02:25 0 浏览量回答数 0

问题

什么是大数据工程教学实训平台？

大数据工程教学实训平台...

游客4c3lpvjn33j5i 2019-12-01 19:39:03 186 浏览量回答数 1

回答

抱着怀疑的态度用大数据，那么它就可信。我的观点是统计数据也一定可信，要获得越可信的数据，成本就越高，大数据一定程度是对现实的一个妥协，假设了数据量越大，我们获得可信数据的可能性就越大，然后通过工程方法和算法获取有用信息，不然怎么叫数据挖掘呢，garbage in garbage out.

openrec 2019-12-02 00:31:52 0 浏览量回答数 0

问题

大数据工程教学实训平台能什么呢？实现什么样的效果呢？主要有哪些行业及领域可以使用？

大数据工程教学实训平台能什么呢？实现什么样的效果呢？主要有哪些行业及领域可以使用？...

游客4c3lpvjn33j5i 2019-12-01 19:39:24 361 浏览量回答数 1

回答

是针对高校、培训机构培养人才的专项课程！波若大数据工程教学实训平台的建设能让学生既掌握必要的理论基础，又能将大数据分析理论和方法用于解决实际问题。基于Hadoop实战项目，在大数据实战环境中，通过动手实操，让学员在短时间内掌握使用平台开发Hadoop程序，以完成高效的大数据存储、清洗和分析。

sdydata 2019-12-02 02:02:25 0 浏览量回答数 0

回答

大数据工程教学实训平台又称大数据挖掘实战中心，是武汉数道云科技有限公司的一款关于高校的产品解决方案，将云存储资源、服务器资源和网络资源整合，然后通过Vmware等虚拟化搭建私有云平台，在私有云平台上搭建统一的数据挖掘平台和基于Hadoop的大数据分析平台。

sdydata 2019-12-02 02:02:11 0 浏览量回答数 0

问题

制造业正迈入工业大数据时代

"作为年度科技盛会，以“飞天•进化 Apsara Evolution”为主题的2016年云栖大会在杭州云栖小镇隆重召开。全球数万多名IT从业人员奔赴现场，共同描绘云计算发展趋势和蓝图，展现云...

福利达人 2019-12-01 21:15:55 524 浏览量回答数 0

问题

将MYSQL数据库中的某个表导入MSSQL数据库的问题

一个网站采用.NET程序、MSSQL数据库。想要把原来的MYSQL数据库的数据导入到现在的MSSQL数据库中。这样需要多大的工程。如何做？求大神帮忙一下...

落地花开啦 2019-12-01 19:50:10 1158 浏览量回答数 1

问题

怎样入门大数据学习？

一名想学大数据的大二软件工程学生。...

梦想工程师 2019-12-01 19:28:42 871 浏览量回答数 2

回答

最基础：计算机组成原理，操作系统，数据结构，数据库，软件工程深层的：分布式中间件，大数据，AI相关。

海贼王fans 2019-12-02 01:01:40 0 浏览量回答数 0

回答

nosql数据库也是区分使用方式，例如memcache/redis是用于缓存，大部分情况下只落到内存，数据不会在磁盘上存储，所有查询都在内存完成（当然redis也有将数据落到磁盘的模式）mongodb是所有数据都会落盘，内存部分只是为了加快查询速度，起缓存作用至于为什么使用nosql数据库，这得分很多场景，我这边只说下问题中说的数据缓存场景使用内存做缓存适用于比较简单的工程项目，例如单机单进程、访问量不大、不考虑分布式、缓存策略不复杂等等，这种情况下不引入外部依赖反而能减少运维上的负担但是一旦工程项目需要更健壮或者需要分布式部署之类，redis这类nosql缓存服务就发挥作用了，能提供以下几点便利：应用进程（例如nodejs）重启缓存数据不丢可以很方便设置缓存的生效时间（当然在node里用定时器实现也可以，只是要重新造轮子）轻松实现多机多进程之间共享缓存数据（例如：请求A发送到进程a中触发了缓存，当后面同样的请求A再发送到进程b时进程可以直接利用进程a写入的缓存）

willkan 2019-12-02 01:54:11 0 浏览量回答数 0

回答

一、开发套件 1. 数据开发套件：（1）大数据开发：集成可视化开发环境，可实现数据开发、调度、部署、运维、及数仓设计、数据质量管理等功能，（2）BI报表工具，海量数据的实时在线分析、丰富的可视化效果，助您轻松完成数据分析、业务探查等，所见即所得。（3）机器学习工具，集数据处理、特征工程、建模、离线预测为一体的机器学习平台,优质算法汇集,可视化编辑。 2. 应用开发套件：（1）面向通用数据应用场景：提供数据应用开发的基础级工具，加速基础数据服务开发。如个性化推荐工具、数据可视化工具、快速BI站点搭建工具搭数、规则引擎工具等。（2）面向行业垂直应用场景：提供行业相关性很高，适合特定场景的数据工具，如面向政府县级区域经济的可视化套件。二、解决方案数加针对不同的业务场景，基于平台提供的开发套件与行业服务商的能力，将多方产品串联，提供行业解决方案，如敏捷BI解决方案、交通预测解决方案、智能问答机器人等，一方面客户可以自行参考解决方案，以自助的方式完成解决方案的实施。另一方面，客户也可以咨询行业服务商或者阿里云大数据平台官方，根据客户场景，提供定制化的端到端的解决方案实施。三、数据市场访问：https://market.aliyun.com/chn/data 除了阿里云大数据官方的数据应用，我们会联合合作伙伴、ISV等来丰富大数据应用，打造大数据生态，以普惠大数据为使命，给用户提供更多更好的数据应用、数据API。

LiuWH 2020-03-24 09:49:44 0 浏览量回答数 0

问题

AirTrain：Airbnb 的通用数据产品平台

Airbnb 工程经理龙玺在QCon上做了主题为《AirTrain：Airbnb 的通用数据产品平台》的演讲，就Airrbnb的数据基础架构，大数据应用模式演进与数据产品开发中的问题及解决方案等进...

福利达人 2019-12-01 21:08:02 413 浏览量回答数 0

回答

快不了。广义上的数据挖掘工程师还包括算法工程师、机器学习工程师、深度学习工程师等，这些职位负责建立和优化算法模型，并进行算法的工程化实施。一般来说，数据挖掘有两个门槛：第一个门槛是数学首先，机器学习的第一个门槛是数学知识。机器学习算法需要的数学知识集中在微积分、线性代数和概率与统计当中，具有本科理工科专业的同学对这些知识应该不陌生，如果你已经还给了老师，我还是建议你通过自学或大数据学习社区补充相关知识。所幸的是如果只是想合理应用机器学习算法，而不是做相关方向高精尖的研究，需要的数学知识啃一啃教科书还是基本能理解下来的。第二个门槛是编程跨过了第一步，就是如何动手解决问题。所谓工欲善其事必先利其器，如果没有工具，那么所有的材料和框架、逻辑、思路都给你，也寸步难行。因此我们还是得需要合适的编程语言、工具和环境帮助自己在数据集上应用机器学习算法。对于有计算机编程基础的初学者而言，Python是很好的入门语言，很容易上手，同时又活跃的社区支持，丰富的工具包帮助我们完成想法。没有编程基础的同学掌握R或者平台自带的一些脚本语言也是不错的选择。那么数据挖掘如何入行呢。我们的建议如下： Make your hands dirty 数据挖掘和机器学习的工作流程：数据建模：将业务问题抽象为数学问题；数据获取：获取有代表性的数据，如果数据量太大，需要考虑分布式存储和管理；特征工程：包括特征预处理与特征选择两个核心步骤，前者主要是做数据清洗，好的数据清洗过程可以使算法的效果和性能得到显著提高，这一步体力活多一些，也比较耗时，但也是非常关键的一个步骤。特征选择对业务理解有一定要求，好的特征工程会降低对算法和数据量的依赖。模型调优：所谓的训练数据都是在这个环节处理的，简单的说就是通过迭代分析和参数优化使上述所建立的特征工程是最优的。这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程，只有大家自己多实践，多积累项目经验，才会有自己更深刻的认识。翻过了数学和编程两座大山，就是如何实践的问题，其中一个捷径就是积极参加国内外各种数据挖掘竞赛。国外的Kaggle和国内的阿里天池比赛都是很好的平台，你可以在上面获取真实的数据和队友们一起学习和进行竞赛，尝试使用已经学过的所有知识来完成这个比赛本身也是一件很有乐趣的事情。另外就是企业实习，可以先从简单的统计分析和数据清洗开始做起，积累自己对数据的感觉，同时了解企业的业务需求和生产环境。我们通常讲从事数据科学的要”Make your hands dirty”，就是说要通过多接触数据加深对数据和业务的理解，好厨子都是食材方面的专家，你不和你的“料”打交道，怎么能谈的上去应用好它。摆脱学习的误区初学机器学习可能有一个误区，就是一上来就陷入到对各种高大上算法的追逐当中。动不动就讨论我能不能用深度学习去解决这个问题啊。实际上脱离业务和数据的算法讨论是毫无意义的。上文中已经提到，好的特征工程会大大降低对算法和数据量的依赖，与其研究算法，不如先厘清业务问题。任何一个问题都可以用最传统的的算法，先完整的走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数据、特征和算法搞透。真正积累出项目经验才是最快、最靠谱的学习路径。自学还是培训很多人在自学还是参加培训上比较纠结。我是这么理解的，上述过程中数学知识需要在本科及研究生阶段完成，离开学校的话基本上要靠自学才能补充这方面的知识，所以建议那些还在学校里读书并且有志于从事数据挖掘工作的同学在学校把数学基础打好，书到用时方恨少，希望大家珍惜在学校的学习时间。除了数学以外，很多知识的确可以通过网络搜索的方式自学，但前提是你是否拥有超强的自主学习能力，通常拥有这种能力的多半是学霸，他们能够跟据自己的情况，找到最合适的学习资料和最快学习成长路径。如果你不属于这一类人，那么参加职业培训(www.ppvke.com)也许是个不错的选择，在老师的带领下可以走少很多弯路。另外任何学习不可能没有困难，也就是学习道路上的各种沟沟坎坎，通过老师的答疑解惑，可以让你轻松迈过这些障碍，尽快实现你的“小”目标。数据挖掘和机器学习这个领域想速成是不太可能的，但是就入门来说，如果能有人指点一二还是可以在短期内把这些经典算法都过一遍，这番学习可以对机器学习的整体有个基本的理解，从而尽快进入到这个领域。师傅领进门，修行靠个人，接下来就是如何钻进去了，好在现在很多开源库给我们提供了实现的方法，我们只需要构造基本的算法框架就可以了，大家在学习过程中应当尽可能广的学习机器学习的经典算法。学习资料至于机器学习的资料网上很多，大家可以找一下，我个人推荐李航老师的《统计机器学习》和周志华老师的《机器学习》这两门书，前者理论性较强，适合数学专业的同学，后者读起来相对轻松一些，适合大多数理工科专业的同学。搜索“AI时代就业指南”可了解更多大数据相关职业规划信息------------------------- 楼上推荐的书，我只能呵呵了，把他介绍的两本看完你还是一头雾水。数据挖掘：说白了，就是高级的回归，但残差已经没有假设分布了，衡量模型好坏也不用p值了，就是高级的回归技术（对于因变量是离散的情况，是高级的分类技术），当然还有无指导的机器学习方法。数据挖掘一定要结合软件来学，目前国内这方面最新的比较精炼的书当推吴喜之的《复杂数据统计方法》，这本书是结合R软件来实现的，如果你想做应用，这本书配合R软件，结合回归分析和广义回归模型，我认为应该够用了。如果你想做这方面的研究，那《统计学习基础》，范明翻译的，黑斯蒂写的这本书那是必须得看的，绝对的经典。建议买一本收藏。。

青衫无名 2019-12-02 01:21:43 0 浏览量回答数 0

问题

Unlock bigdata analytics efficiency with storage disaggregation

软件工程经理张建在2017云栖大会·北京峰会中做了题为《Unlock bigdata analytics efficiency with storage disaggregation》的分享,就数据发展趋势，大数据的挑战&#x...

福利达人 2019-12-01 21:25:56 492 浏览量回答数 0

回答

纯粹从语言的运行效率，即对一些成熟算法的具体实现来说，node.js在运行时间上可以说毫无优势。跑在jvm上的java为什么能统治工程界这么多年，干啥都用它？因为它设计完善，实现良好，风险可控，且性能很高。目前唯一的弊端就是内存占用量比脚本语言大很多。目前jvm的网络性能已经超过C++直逼原生C。说node.js效率高，主要指的是I/O效率高，因为它在底层对所有I/O强制进行异步。目前互联网的几乎一切性能问题基本上都是I/O问题。一般单机小网站在流量大到一定程度时，首先扛不住的是数据库，数据库性能差就是因为I/O。开发效率好像也没什么语言比java低，这个不用考虑，当工程量大到一定程度，各种语言之间的开发难度都会趋于一致。

蛮大人123 2019-12-02 01:54:59 0 浏览量回答数 0

回答

有编程能力和数据挖掘能力的工程师最火，包括：数据挖掘工程师、机器学习工程师，算法工程师。今年3月份时，谷歌开发的人工智能AlphaGo打败了全球最顶尖的围棋高手，轰动全世界，AI时代正式拉开序幕。实际上，人工智能这一概念早在上世纪一大批科幻小说陆续发表时，就已被人们接受，而随着科技的发展，人工智能的发展前景更是日益清晰。一个人工智能的诞生需要无数个工程师挥洒汗水。其中，负责开发学习算法、使机器能像人类一样思考问题的数据挖掘工程师更是无比重要。什么人能完成人工智能的开发任务呢。必须指出，人工智能和一般的计算机程序有极大的差别，它应当具有“能够自主学习知识”这一特点，这一特点也被称为“机器学习”。而自学习模型(或者说机器学习能力开发)正是数据挖掘工程师的强项，人工智能的诞生和普及需要一大批数据挖掘工程师。那么在AI时代，如何才能掌握相关的技能，成为企业需要的数据挖掘人才呢。第一个门槛是数学首先，机器学习的第一个门槛是数学知识。机器学习算法需要的数学知识集中在微积分、线性代数和概率与统计当中，具有本科理工科专业的同学对这些知识应该不陌生，如果你已经还给了老师，我还是建议你通过自学或大数据学习社区补充相关知识。所幸的是如果只是想合理应用机器学习算法，而不是做相关方向高精尖的研究，需要的数学知识啃一啃教科书还是基本能理解下来的。第二个门槛是编程跨过了第一步，就是如何动手解决问题。所谓工欲善其事必先利其器，如果没有工具，那么所有的材料和框架、逻辑、思路都给你，也寸步难行。因此我们还是得需要合适的编程语言、工具和环境帮助自己在数据集上应用机器学习算法。对于有计算机编程基础的初学者而言，Python是很好的入门语言，很容易上手，同时又活跃的社区支持，丰富的工具包帮助我们完成想法。没有编程基础的同学掌握R或者平台自带的一些脚本语言也是不错的选择。 Make your hands dirty 接下来就是了解机器学习的工作流程和掌握常见的算法。一般机器学习步骤包括：数据建模：将业务问题抽象为数学问题；数据获取：获取有代表性的数据，如果数据量太大，需要考虑分布式存储和管理；特征工程：包括特征预处理与特征选择两个核心步骤，前者主要是做数据清洗，好的数据清洗过程可以使算法的效果和性能得到显著提高，这一步体力活多一些，也比较耗时，但也是非常关键的一个步骤。特征选择对业务理解有一定要求，好的特征工程会降低对算法和数据量的依赖。模型调优：所谓的训练数据都是在这个环节处理的，简单的说就是通过迭代分析和参数优化使上述所建立的特征工程是最优的。这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程，只有大家自己多实践，多积累项目经验，才会有自己更深刻的认识。翻过了数学和编程两座大山，就是如何实践的问题，其中一个捷径就是积极参加国内外各种数据挖掘竞赛。国外的Kaggle和国内的阿里天池比赛都是很好的平台，你可以在上面获取真实的数据和队友们一起学习和进行竞赛，尝试使用已经学过的所有知识来完成这个比赛本身也是一件很有乐趣的事情。另外就是企业实习，可以先从简单的统计分析和数据清洗开始做起，积累自己对数据的感觉，同时了解企业的业务需求和生产环境。我们通常讲从事数据科学的要”Make your hands dirty”，就是说要通过多接触数据加深对数据和业务的理解，好厨子都是食材方面的专家，你不和你的“料”打交道，怎么能谈的上去应用好它。摆脱学习的误区初学机器学习可能有一个误区，就是一上来就陷入到对各种高大上算法的追逐当中。动不动就讨论我能不能用深度学习去解决这个问题啊。实际上脱离业务和数据的算法讨论是毫无意义的。上文中已经提到，好的特征工程会大大降低对算法和数据量的依赖，与其研究算法，不如先厘清业务问题。任何一个问题都可以用最传统的的算法，先完整的走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数据、特征和算法搞透。真正积累出项目经验才是最快、最靠谱的学习路径。自学还是培训很多人在自学还是参加培训上比较纠结。我是这么理解的，上述过程中数学知识需要在本科及研究生阶段完成，离开学校的话基本上要靠自学才能补充这方面的知识，所以建议那些还在学校里读书并且有志于从事数据挖掘工作的同学在学校把数学基础打好，书到用时方恨少，希望大家珍惜在学校的学习时间。除了数学以外，很多知识的确可以通过网络搜索的方式自学，但前提是你是否拥有超强的自主学习能力，通常拥有这种能力的多半是学霸，他们能够跟据自己的情况，找到最合适的学习资料和最快学习成长路径。如果你不属于这一类人，那么参加职业培训也许是个不错的选择，在老师的带领下可以走少很多弯路。另外任何学习不可能没有困难，也就是学习道路上的各种沟沟坎坎，通过老师的答疑解惑，可以让你轻松迈过这些障碍，尽快实现你的“小”目标。机器学习这个领域想速成是不太可能的，但是就入门来说，如果能有人指点一二还是可以在短期内把这些经典算法都过一遍，这番学习可以对机器学习的整体有个基本的理解，从而尽快进入到这个领域。师傅领进门，修行靠个人，接下来就是如何钻进去了，好在现在很多开源库给我们提供了实现的方法，我们只需要构造基本的算法框架就可以了，大家在学习过程中应当尽可能广的学习机器学习的经典算法。学习资料至于机器学习的资料网上很多，大家可以找一下，我个人推荐李航老师的《统计机器学习》和周志华老师的《机器学习》这两门书，前者理论性较强，适合数学专业的同学，后者读起来相对轻松一些，适合大多数理工科专业的同学。

管理贝贝 2019-12-02 01:21:46 0 浏览量回答数 0

问题

【精品问答】大数据技术、大数据计算五十问第一期

我们为大家为大家准备了【精品问答】大数据五十问第一期，大数据时代，大家需要更加了解大数据，以下是小秘整理的大数据五十问：大数据考研or自学? 【大咖问答】对话《深入浅出 Nod...

问问小秘 2019-12-01 21:51:57 100 浏览量回答数 1

问题

海洋大数据及其在海洋渔业中的应用

"作为年度科技盛会，以“飞天•进化 Apsara Evolution”为主题的2016年云栖大会在杭州云栖小镇隆重召开。全球数万多名IT从业人员奔赴现场，共同描绘云计算发展趋势和蓝图，展现云...

福利达人 2019-12-01 21:16:06 462 浏览量回答数 0

回答

**Hadoop大数据平台厂商，数道云大数据，是一家高科技大数据公司。致力于ApacheHadoop生态大数据软件研发，提供大数据采集、大数据存储管理平台、大数据舆情（情报）监控、大数据分析和挖掘平台、大数据可视化等产品。关于具体的操作，都会有专业的工程师指导进行。**

sdydata 2019-12-02 02:02:11 0 浏览量回答数 0

问题

云计算/大数据人才培养实践

"作为年度科技盛会，以“飞天•进化 Apsara Evolution”为主题的2016年云栖大会在杭州云栖小镇隆重召开。全球数万多名IT从业人员奔赴现场，共同描绘云计算发展趋势和蓝图，展现云...

福利达人 2019-12-01 21:15:36 469 浏览量回答数 0

回答

“程序设计 = 算法 + 数据结构”是瑞士计算机科学家Niklaus Wirth于1976年出版的一本书的书名，很快就成了在计算机工作者之间流传的一句名言。斗转星移，尽管新技术方法不断涌现，这句名言依然焕发着无限的生命力，它借助面向对象知识的普及，使数据结构技术更加完善和易于使用。由此，也说明了数据结构在计算机学科中的地位和不可替代的独特作用。然而，在可视化程序设计的今天，借助于集成开发环境我们可以很方便、快捷地开发部署应用程序，程序设计似乎不再只是计算机专业的人员的专利，很多人以为，只要掌握了几种开发工具就可以成为编程高手了，其实这是一个误区。纵然，我们可以很熟练地掌握一门程序设计语言、熟练地运用各种IDE开发应用程序，但是我们写出的代码是否是优良的。我们的设计是否合理。代码执行是否是高效的。代码风格是否是有美感的。更甚的说我们所写出代码的是否是艺术。在长达几年的时间内，我总是陷在了一个误区里面：即认为工程能力和算法能力是不相干的两回事，我们似乎可以很轻松地完成一个工程项目，至少我在做一些MIS系统的时候一直都是这么认为的，甚至觉得根本不需要所谓的算法或数据结构。当时一直想不通的是为什么Google、百度这样牛的公司却对ACMer们如此青睐，对于这种招聘的标准感到疑惑不解。为什么他们不在技术（多线程、网络编程、分布式系统等）上做要求，却偏偏只关注这么一小块的算法设计。我曾经反复地告诉自己“程序设计 = 算法 + 数据结构”在70年代提出是受限于计算机硬件，当时的内存不足、计算能力不强，程序需要设计足够精巧细致。再看当前主流的计算机配置，比70年代的大型机运算能力还要强大，我们好像完全不用担心算法设计的问题。报着这样的想法，我向来都不太重视算法，而且工程中对算法的需求并不多。只是有一天，我突然发现我只是片面地关注其中一个方面，硬件能力是提升了，但同时人们所面对的信息、数据、运算任务的规模也是极大的膨胀了，而且膨胀的规模比硬件本身运算能力提升的规模还要大很多。算法和数据结构不仅没有贬值，反而比之前那个时代显得更为重要。试想，在互联网迅猛发展的今天，一个中等规模的企业每天所产生的数据量能达到GB级甚至TB级。要处理这样的海量数据不是说单纯的硬件运算能力上来就解决了的，设计优良的算法和数据结构设计能够在1分钟之内完成任务，而一个糟糕的设计则可能需要1个小时的运行。一般认为，一个数据结构是由数据元素依据某种逻辑联系组织起来的，这种对数据元素间逻辑关系的描述称为数据结构。许多大型系统的构造经验表明，系统实现的困难程度和系统构造的质量都严重的依赖于是否选择了最优的数据结构。许多时候，确定了数据结构后，算法就容易得到了。当然，有些情况下事情也会反过来，我们根据特定算法来选择数据结构与之适应。算法则可以理解为有基本运算及规定的运算顺序所构成的完整的解题步骤，或者看成按照要求设计好的有限的确切的计算序列，并且这样的步骤和序列可以解决一类问题。总的来说，数据结构和算法并不是一门教你编程的课，它们可以脱离任何的计算机程序设计语言，而只需要从抽象意义上去概括描述。说的简单一点，数据结构是一门告诉你数据在计算机里如何组织的课程，而算法是一门告诉你数据在计算机里如何运算的课程，前者是结构学、后者是数学。程序设计就像盖房子，数据结构是砖、瓦，而算法则是设计图纸。你若想盖房子首先必须要有原材料（数据结构），但这些原材料并不能自动地盖起你想要的房子，你必须按照设计图纸（算法）一砖一瓦地去砌，这样你才能拥有你想要的房子。数据结构是程序设计这座大厦的基础，没有基础，无论设计有多么高明，这座大厦不可能建造起来。算法则是程序设计之灵魂，它是程序设计的思想所在，没有灵魂没有思想那不叫程序，只是一堆杂乱无章的符号而已。在程序设计中，数据结构就像物质，而算法则是意识，这在哲学上可以理解为：意识是依赖与物质而存在的，物质是由意识而发展的。双方相互依赖，缺一不可。当然最经典的数据结构是有限的，包括线性表、栈、队列、串、数组、二叉树、树、图、查找表等，而算法则是琳琅满目的，多种多样的。就好像数据结构是人体的各种组织、器官，算法则是人的思想。你可以用自己的思想去支配你的身体各个可以运动的器官随意运动。如果你想吃苹果，你可以削皮吃，可以带皮吃，只要你愿意，甚至你可以不洗就吃。但无论如何，你的器官还是你的器官，就那么几样，目的只有一个就是吃苹果，而方式却是随心所欲的。这就是算法的灵活性、不固定性。因此可以这样说：数据结构是死的，而算法是活的。我花了四年时间才走出这个误区，值得庆幸的是不算太晚，而我的梦想是要做一名优秀的架构师，缺乏数据结构和算法的深厚功底，很难设计出高水平的具有专业水准的架构和应用，数据结构和算法则是我实现梦想最坚实的基石。现在，也正是我需要开始沉淀的时刻。程序设计这项伟大的工程，教授于我的将不仅仅是技术这么简单，我期待它能给我以更深的思考与感悟，激发我对生命的热爱，对理想的执着，对卓越的追求。

琴瑟 2019-12-02 01:22:02 0 浏览量回答数 0

问题

阿里云获PCI-DSS认证及新加坡MTCS最高安全评级

新加坡，2016年6月15日 ─ 阿里巴巴旗下阿里云今日宣布，已完成新加坡数据中心的扩建工程，正式启用该数据中心第二个可用区（Availability Zone）。同时&...

flora.wang 2019-12-01 21:24:36 6946 浏览量回答数 2

回答

数据结构是非常重要的，举个例子，如果要在一堆数中查找一个数，挨个遍历查询，是非常有失效率的，使用平衡树或者哈希表，则能高效查询，尤其是数据量极大时，譬如几十万到多少亿的数据量，将会有极其明显的效率差距。可能高效的程序只需要1ms，暴力查找要几小时类似的例子还有很多，算法也是如此而设计模式，只有做大型工程才有用，能够更合理的组织代码，便于开发和维护，小程序是体现不出来什么作用的

寒凝雪 2019-12-02 01:22:17 0 浏览量回答数 0

问答

大数据工程

云产品推荐

热门关键词

更多推荐