• 关于

    机器对机器是什么

    的搜索结果

回答

大数据这个词概括的领域有点广,当前工业界伴随着数据量的爆炸基本都进入了机器学习时代,并往人工智能前进。所以不妨认为机器学习是大数据时代最重要的技术方向,来谈谈如何学习机器学习如果毫无基础,机器学习的视频教程首推 Andrew Ng的这个Coursera 课程:https://www.coursera.org/learn/machine-learning非常适合入门建立起对机器学习的初步概念和理解。如果有一定的基础,希望全面系统的从头开始学习,兼顾理论和实践,我推荐台湾大学 《機器學習基石》和《機器學習技法》系列课程。地址:https://www.youtube.com/user/hsuantien/playlists (需要您能访问youtube)其实学习机器学习之前最好对机器学习的基本概念,解决的是什么样的问题,大致的原理有个简要的了解。可以阅读下《写个大家看的机器学习书》这个系列文章,相信能帮助你事半功倍。https://zhuanlan.zhihu.com/p/25328686
八汰 2019-12-02 03:21:26 0 浏览量 回答数 0

问题

请教一个问题,MongoDB对资源要求是什么样的?

请教一个问题,MongoDB对资源要求是什么样的? 我们现在100G数据,搞3分片3副本,需要什么的机器多少台,可以承担这个数据? 我们现在在一个单机库里面...
茶什i 2019-12-01 21:49:29 21 浏览量 回答数 1

回答

数据挖掘和机器学习的区别和联系,周志华有一篇很好的论述《机器学习和 数据挖掘》可以帮助大家理解。 数据挖掘受到很多学科领域的影响,其中数据库、机器学习、统计学无疑影响 最大。简言之,对数据挖掘而言,数据库提供数据管理技术,机器学习和统计学 提供数据分析技术。 由于统计学往往醉心于理论的优美而忽视实际的效用,因此,统计学界提供的 很多技术通常都要在机器学习界进一步研究,变成有效的机器学习算法之后才能 再进入数据挖掘领域。从这个意义上说,统计学主要是通过机器学习来对数据挖 掘发挥影响,而机器学习和数据库则是数据挖掘的两大支撑技术。 从数据分析的角度来看,绝大多数数据挖掘技术都来自机器学习领域,但机器 学习研究往往并不把海量数据作为处理对象,因此,数据挖掘要对算法进行改造, 使得算法性能和空间占用达到实用的地步。同时,数据挖掘还有自身独特的内容, 即关联分析。 而模式识别和机器学习的关系是什么呢,传统的模式识别的方法一般分为两种: 统计方法和句法方法。句法分析一般是不可学习的,而统计分析则是发展了不少机 器学习的方法。也就是说,机器学习同样是给模式识别提供了数据分析技术。 至于,数据挖掘和模式识别,那么从其概念上来区分吧,数据挖掘重在发现知识, 模式识别重在认识事物。 机器学习的目的是建模隐藏的数据结构,然后做识别、预测、分类等。因此,机器 学习是方法,模式识别是目的。 总结一下吧。只要跟决策有关系的都能叫 AI(人工智能),所以说 PR(模式识别)、 DM(数据挖掘)、IR(信息检索) 属于 AI 的具 体应用应该没有问题。 研究的东西则 不太一样, ML(机器学习) 强调自我完善的过程。 Anyway,这些学科都是相通的。
珍宝珠 2019-12-02 03:22:18 0 浏览量 回答数 0

问题

接入视频直播,三星4.3机器上黑屏,但是小米机器上是对的。

接入视频直播,三星4.3机器上黑屏,但是小米机器上打开直播界面是可以进行直播的,有画面。 用阿里的直播demo在三星 4.3上进行测试,也是可以的,, ...
若曦 2019-12-01 21:38:06 1912 浏览量 回答数 0

回答

成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努力和经验。而要成为一名合格的机器学习算法工程师(以下简称算法工程师)更是难上加难,因为在掌握工程师的通用技能以外,还需要掌握一张不算小的机器学习算法知识网络。 下面我们就将成为一名合格的算法工程师所需的技能进行拆分,一起来看一下究竟需要掌握哪些技能才能算是一名合格的算法工程师。 1.基础开发能力 所谓算法工程师,首先需要是一名工程师,那么就要掌握所有开发工程师都需要掌握的一些能力。 有些同学对于这一点存在一些误解,认为所谓算法工程师就只需要思考和设计算法,不用在乎这些算法如何实现,而且会有人帮你来实现你想出来的算法方案。这种思想是错误的,在大多数企业的大多数职位中,算法工程师需要负责从算法设计到算法实现再到算法上线这一个全流程的工作。 笔者曾经见过一些企业实行过算法设计与算法实现相分离的组织架构,但是在这种架构下,说不清楚谁该为算法效果负责,算法设计者和算法开发者都有一肚子的苦水,具体原因不在本文的讨论范畴中,但希望大家记住的是,基础的开发技能是所有算法工程师都需要掌握的。 2.概率和统计基础 概率和统计可以说是机器学习领域的基石之一,从某个角度来看,机器学习可以看做是建立在概率思维之上的一种对不确定世界的系统性思考和认知方式。学会用概率的视角看待问题,用概率的语言描述问题,是深入理解和熟练运用机器学习技术的最重要基础之一。 概率论内容很多,但都是以具体的一个个分布为具体表现载体体现出来的,所以学好常用的概率分布及其各种性质对于学好概率非常重要。 对于离散数据,伯努利分布、二项分布、多项分布、Beta分布、狄里克莱分布以及泊松分布都是需要理解掌握的内容; 对于离线数据,高斯分布和指数分布族是比较重要的分布。这些分布贯穿着机器学习的各种模型之中,也存在于互联网和真实世界的各种数据之中,理解了数据的分布,才能知道该对它们做什么样的处理。 此外,假设检验的相关理论也需要掌握。在这个所谓的大数据时代,最能骗人的大概就是数据了,掌握了假设检验和置信区间等相关理论,才能具备分辨数据结论真伪的能力。例如两组数据是否真的存在差异,上线一个策略之后指标是否真的有提升等等。这种问题在实际工作中非常常见,不掌握相关能力的话相当于就是大数据时代的睁眼瞎。 在统计方面,一些常用的参数估计方法也需要掌握,典型的如最大似然估计、最大后验估计、EM算法等。这些理论和最优化理论一样,都是可以应用于所有模型的理论,是基础中的基础。 3.机器学习理论 虽然现在开箱即用的开源工具包越来越多,但并不意味着算法工程师就可以忽略机器学习基础理论的学习和掌握。这样做主要有两方面的意义: 掌握理论才能对各种工具、技巧灵活应用,而不是只会照搬套用。只有在这个基础上才能够真正具备搭建一套机器学习系统的能力,并对其进行持续优化。否则只能算是机器学习搬砖工人,算不得合格的工程师。出了问题也不会解决,更谈不上对系统做优化。 学习机器学习的基础理论的目的不仅仅是学会如何构建机器学习系统,更重要的是,这些基础理论里面体现的是一套思想和思维模式,其内涵包括概率性思维、矩阵化思维、最优化思维等多个子领域,这一套思维模式对于在当今这个大数据时代做数据的处理、分析和建模是非常有帮助的。如果你脑子里没有这套思维,面对大数据环境还在用老一套非概率的、标量式的思维去思考问题,那么思考的效率和深度都会非常受限。 机器学习的理论内涵和外延非常之广,绝非一篇文章可以穷尽,所以在这里我列举了一些比较核心,同时对于实际工作比较有帮助的内容进行介绍,大家可在掌握了这些基础内容之后,再不断探索学习。 4.开发语言和开发工具 掌握了足够的理论知识,还需要足够的工具来将这些理论落地,这部分我们介绍一些常用的语言和工具。 5.架构设计 最后我们花一些篇幅来谈一下机器学习系统的架构设计。 所谓机器学习系统的架构,指的是一套能够支持机器学习训练、预测、服务稳定高效运行的整体系统以及他们之间的关系。 在业务规模和复杂度发展到一定程度的时候,机器学习一定会走向系统化、平台化这个方向。这个时候就需要根据业务特点以及机器学习本身的特点来设计一套整体架构,这里面包括上游数据仓库和数据流的架构设计,以及模型训练的架构,还有线上服务的架构等等。这一套架构的学习就不像前面的内容那么简单了,没有太多现成教材可以学习,更多的是在大量实践的基础上进行抽象总结,对当前系统不断进行演化和改进。但这无疑是算法工程师职业道路上最值得为之奋斗的工作。在这里能给的建议就是多实践,多总结,多抽象,多迭代。 6.机器学习算法工程师领域现状 现在可以说是机器学习算法工程师最好的时代,各行各业对这类人才的需求都非常旺盛。典型的包括以下一些细分行业: 推荐系统。推荐系统解决的是海量数据场景下信息高效匹配分发的问题,在这个过程中,无论是候选集召回,还是结果排序,以及用户画像等等方面,机器学习都起着重要的作用。 广告系统。广告系统和推荐系统有很多类似的地方,但也有着很显著的差异,需要在考虑平台和用户之外同时考虑广告主的利益,两方变成了三方,使得一些问题变复杂了很多。它在对机器学习的利用方面也和推荐类似。 搜索系统。搜索系统的很多基础建设和上层排序方面都大量使用了机器学习技术,而且在很多网站和App中,搜索都是非常重要的流量入口,机器学习对搜索系统的优化会直接影响到整个网站的效率。 风控系统。风控,尤其是互联网金融风控是近年来兴起的机器学习的又一重要战场。不夸张地说,运用机器学习的能力可以很大程度上决定一家互联网金融企业的风控能力,而风控能力本身又是这些企业业务保障的核心竞争力,这其中的关系大家可以感受一下。 但是所谓“工资越高,责任越大”,企业对于算法工程师的要求也在逐渐提高。整体来说,一名高级别的算法工程师应该能够处理“数据获取数据分析模型训练调优模型上线”这一完整流程,并对流程中的各种环节做不断优化。一名工程师入门时可能会从上面流程中的某一个环节做起,不断扩大自己的能力范围。 除了上面列出的领域以外,还有很多传统行业也在不断挖掘机器学习解决传统问题的能力,行业的未来可谓潜力巨大。
寒凝雪 2019-12-02 01:21:12 0 浏览量 回答数 0

回答

在对各种模式进行建模之后,便可以对各种模式进行识别了,例如待建模的模式是声音的话,那么这种识别便可以理解为语音识别。 深度学习是什么 深度学习是机器学习领域中对模式(声音:例如,人们可能认为;而这样一种技术在将来无疑是前景无限的。那么深度学习本质上又是一种什么样的技术呢,深度学习是一种能够模拟出人脑的神经结构的机器学习方式,从而能够让计算机具有人一样的智慧现在深度学习在机器学习领域是一个很热的概念,不过经过各种媒体的转载播报,这个概念也逐渐变得有些神话的感觉、图像等等)进行建模的一种方法,它也是一种基于统计的概率模型
晚来风急 2019-12-02 01:21:15 0 浏览量 回答数 0

问题

如果在机器端删除应用,如何通知平台更改其状态:报错

平台使用Activemq传递消息在机器上部署应用后, 我是一名学生,最近在学习Activemq这个消息中间件,简单的单向传递消息什么的已经弄明白了,但是我知道那些应用托管平台也都是使...
kun坤 2020-06-06 11:51:47 0 浏览量 回答数 1

回答

PHP 7 之后会有什么 —— JIT这是一个十分值得我们期待的版本,目前由 Zend 引擎的 Dmitry Stogov 主导。虽然它是基于 PHP 7.1 版本,但实际版本号尚未确定。JIT 是什么?为什么是 JIT?JIT (Just-In- Time 即时编译) 并非是新技术,很多语言例如 Java 早已实现。JIT 的思想很简单,即在程序运行时动态对程序进行编译,生成平台相关的机器码(比如运行它的机器 CPU 的本地代码),从而加快程序的运行速度。为什么是 JIT?不妨先来看看 PHP 文件的执行流程。PHP 文件的执行流程大致是首先引擎加载 PHP 文件,解释器逐条解释执行代码。引入 JIT 后,前面部分一样,重点是 JIT 编译器会根据 Runtime 信息对热点代码进行动态编译生成机器码,此后这部分代码就可以直接执行,不再需要解释器逐条解释执行,因此运行效率会得到提升。
孟志昂 2019-12-02 01:45:24 0 浏览量 回答数 0

问题

Salesforce爱因斯坦聊天机器人介绍

今年Dreamforce,爱因斯坦又迎来了一波更新,其中就包括了让许多客户期待已久的 爱因斯坦聊天机器人! 爱因斯坦机器人可以向客户问好,回答他们的问题,甚至可以进入...
赛思salesnow 2019-12-01 21:59:04 2144 浏览量 回答数 0

问题

人工智能技术百问——机器真的能取代人类吗

随着科技的飞速发展,“人工智能”无疑成为了当下最火的词。在这一领域,我们仍处于非常初级的阶段,很多事情我们还不了解。它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、...
yq传送门 2019-12-01 20:27:57 4467 浏览量 回答数 3

回答

一、平台与机器指令       无论哪种编程语言编写的应用程序都需要经过操作系统和处理器来完成程序的运行,因此这里的平台是又OS和CPU所构成的,所谓的平台无关就是指软件的运行不会因操作系统、处理器的变化而无法运行或出现运行错误。        每个平台都有自己独特的机器指令,所谓平台的机器指令就是可以被该平台直接识别、执行的一种由0和1组成的序列代码。相同的CPU和不同的OS所形成的平台的机器指令可能是不同的 二、何为与平台相关?      C/C++程序是依赖平台的:C/C++源程序所在的特定平台对其源文件进行编译、链接,生成机器指令,即根据当前平台的机器指令生成可执行文件,所以其可以在任何与当前平台相同的平台上运行这个可执行文件。但是,不能保证C/C++源程序所产生的可执行文件在所有平台上都能正确的运行,其原因是不同平台可能具有不同的机器指令。所以,一旦更换了平台,就可能需要修改源程序,并针对新的平台重新编译源程序,也就是与平台相关。 C/C++程序无法跨平台的根本原因是C/C++源程序的编译器针对平台进行编译,而不同的平台有不同的机器指令,所以无法跨平台。 三、Java为何可以跨平台       C/C++之所以不能跨平台,就是因为C/C++源程序是对平台编译的,所以与平台密切相关。如果有这样的一个环境:它既可以向下兼容(对平台兼容),又可以向上兼容(程序可以运行),那么不就可以跨平台了吗。基于这样的原理,Java在计算机的操作系统上又提供了一个Java运行环境——JRE(安装JDK)。       JRE由Java虚拟机,类库和一些核心文件组成,也就是说,只要平台提供了Java运行环境,Java编写的软件就可以在其上运行。        和C/C++不同的是,Java语言提供的编译器不针对特定的操作系统和CPU芯片进行编程,而是针对Java虚拟机把Java源程序编译成称为字节码的“中间代码”,然后Java虚拟机负责将字节码翻译成虚拟机所在平台的机器码,并让当前平台运行该机器码。 Java语言的运行原理: 在一个计算机上编译得到的字节码文件(就是.class文件),可以复制到任何一个安装了Java运行环境的计算机上直接运行。然后字节码文件由虚拟机负责解释执行,即Java虚拟机将字节码翻译成本地计算机的机器码,然后将机器码交给本地的操作系统运行。 由于在一个计算机上编译得到的字节码文件可以复制到任何一个安装了Java运行环境的计算机上直接使用,所以字节码其实是一种“中间代码”,这也就是为什么“Java语言能够一次编译,处处运行,也就是Java跨平台的原因。”所以称Java是一种“半编译,半解释的语言”,即源程序——>编译——>字节码——>字节码解释程序——>对应平台的机器语言。” 作者:糖人豆丁 来源:CSDN 原文:https://blog.csdn.net/newmemory/article/details/54949817 版权声明:本文为博主原创文章,转载请附上博文链接!
auto_answer 2019-12-02 01:50:00 0 浏览量 回答数 0

回答

有编程能力和数据挖掘能力的工程师最火,包括:数据挖掘工程师、机器学习工程师,算法工程师。 今年3月份时,谷歌开发的人工智能AlphaGo打败了全球最顶尖的围棋高手,轰动全世界,AI时代正式拉开序幕。实际上,人工智能这一概念早在上世纪一大批科幻小说陆续发表时,就已被人们接受,而随着科技的发展,人工智能的发展前景更是日益清晰。一个人工智能的诞生需要无数个工程师挥洒汗水。其中,负责开发学习算法、使机器能像人类一样思考问题的数据挖掘工程师更是无比重要。什么人能完成人工智能的开发任务呢。必须指出,人工智能和一般的计算机程序有极大的差别,它应当具有“能够自主学习知识”这一特点,这一特点也被称为“机器学习”。而自学习模型(或者说机器学习能力开发)正是数据挖掘工程师的强项,人工智能的诞生和普及需要一大批数据挖掘工程师。  那么在AI时代,如何才能掌握相关的技能,成为企业需要的数据挖掘人才呢。 第一个门槛是数学 首先,机器学习的第一个门槛是数学知识。机器学习算法需要的数学知识集中在微积分、线性代数和概率与统计当中,具有本科理工科专业的同学对这些知识应该不陌生,如果你已经还给了老师,我还是建议你通过自学或大数据学习社区补充相关知识。所幸的是如果只是想合理应用机器学习算法,而不是做相关方向高精尖的研究,需要的数学知识啃一啃教科书还是基本能理解下来的。 第二个门槛是编程 跨过了第一步,就是如何动手解决问题。所谓工欲善其事必先利其器,如果没有工具,那么所有的材料和框架、逻辑、思路都给你,也寸步难行。因此我们还是得需要合适的编程语言、工具和环境帮助自己在数据集上应用机器学习算法。对于有计算机编程基础的初学者而言,Python是很好的入门语言,很容易上手,同时又活跃的社区支持,丰富的工具包帮助我们完成想法。没有编程基础的同学掌握R或者平台自带的一些脚本语言也是不错的选择。 Make your hands dirty 接下来就是了解机器学习的工作流程和掌握常见的算法。一般机器学习步骤包括: 数据建模:将业务问题抽象为数学问题; 数据获取:获取有代表性的数据,如果数据量太大,需要考虑分布式存储和管理; 特征工程:包括特征预处理与特征选择两个核心步骤,前者主要是做数据清洗,好的数据清洗过程可以使算法的效果和性能得到显著提高,这一步体力活多一些,也比较耗时,但也是非常关键的一个步骤。特征选择对业务理解有一定要求,好的特征工程会降低对算法和数据量的依赖。 模型调优:所谓的训练数据都是在这个环节处理的,简单的说就是通过迭代分析和参数优化使上述所建立的特征工程是最优的。 这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程,只有大家自己多实践,多积累项目经验,才会有自己更深刻的认识。 翻过了数学和编程两座大山,就是如何实践的问题,其中一个捷径就是积极参加国内外各种数据挖掘竞赛。国外的Kaggle和国内的阿里天池比赛都是很好的平台,你可以在上面获取真实的数据和队友们一起学习和进行竞赛,尝试使用已经学过的所有知识来完成这个比赛本身也是一件很有乐趣的事情。 另外就是企业实习,可以先从简单的统计分析和数据清洗开始做起,积累自己对数据的感觉,同时了解企业的业务需求和生产环境。我们通常讲从事数据科学的要”Make your hands dirty”,就是说要通过多接触数据加深对数据和业务的理解,好厨子都是食材方面的专家,你不和你的“料”打交道,怎么能谈的上去应用好它。 摆脱学习的误区 初学机器学习可能有一个误区,就是一上来就陷入到对各种高大上算法的追逐当中。动不动就讨论我能不能用深度学习去解决这个问题啊。实际上脱离业务和数据的算法讨论是毫无意义的。上文中已经提到,好的特征工程会大大降低对算法和数据量的依赖,与其研究算法,不如先厘清业务问题。任何一个问题都可以用最传统的的算法,先完整的走完机器学习的整个工作流程,不断尝试各种算法深挖这些数据的价值,在运用过程中把数据、特征和算法搞透。真正积累出项目经验才是最快、最靠谱的学习路径。 自学还是培训 很多人在自学还是参加培训上比较纠结。我是这么理解的,上述过程中数学知识需要在本科及研究生阶段完成,离开学校的话基本上要靠自学才能补充这方面的知识,所以建议那些还在学校里读书并且有志于从事数据挖掘工作的同学在学校把数学基础打好,书到用时方恨少,希望大家珍惜在学校的学习时间。 除了数学以外,很多知识的确可以通过网络搜索的方式自学,但前提是你是否拥有超强的自主学习能力,通常拥有这种能力的多半是学霸,他们能够跟据自己的情况,找到最合适的学习资料和最快学习成长路径。如果你不属于这一类人,那么参加职业培训也许是个不错的选择,在老师的带领下可以走少很多弯路。另外任何学习不可能没有困难,也就是学习道路上的各种沟沟坎坎,通过老师的答疑解惑,可以让你轻松迈过这些障碍,尽快实现你的“小”目标。 机器学习这个领域想速成是不太可能的,但是就入门来说,如果能有人指点一二还是可以在短期内把这些经典算法都过一遍,这番学习可以对机器学习的整体有个基本的理解,从而尽快进入到这个领域。师傅领进门,修行靠个人,接下来就是如何钻进去了,好在现在很多开源库给我们提供了实现的方法,我们只需要构造基本的算法框架就可以了,大家在学习过程中应当尽可能广的学习机器学习的经典算法。 学习资料 至于机器学习的资料网上很多,大家可以找一下,我个人推荐李航老师的《统计机器学习》和周志华老师的《机器学习》这两门书,前者理论性较强,适合数学专业的同学,后者读起来相对轻松一些,适合大多数理工科专业的同学。
管理贝贝 2019-12-02 01:21:46 0 浏览量 回答数 0

回答

不声明字符集不等于没有设置字符集,mysql是有默认字符集这个东西的你的问题归纳起来无非就是latin-1保存的中文是两个字节,对不对?问题是你怎么知道这件事的呢?程序员很重要的一点就是要客观的去看待问题,而不是主观的论断。1- 从计算机的角度考虑,它知道什么是英文什么是中文吗?所以一个字节就是一个字节2- 不同编码导致了中文的长度不同,如GBK是2字节,UTF-8是3字节3- 你录入的中文是所你使用的电脑对其编码的,你看到的中文是你所使用的电脑对其解码的,mysql仅仅是存储,事实上那边根本不关心这个问题,就是按字节存储。所以为什么latin-1保存的中文是两个字节呢?因为你发送给mysql的就是两字节,那边就这么存了,mysql也从来没有表示过这两个字节代表什么。关于乱码,不好解释,做个不太恰当的描述吧。为了区别,我们将计算机能处理的字符编码称为 机器码 ,那么显示给人的时候要进行某种处理,从而现在有utf-8, gbk, latin-1等方式。那么如果mysql认为字符是latin-1,但是输出端认为字符集是gbk,那么什么事情会发生呢?mysql将数据用latin-1解码,恢复成 机器码 的格式,然后用gbk对机器码编码输出这就是乱码的根源,明明是gbk,你偏要告诉mysql是latin-1,然后输出的时候mysql自然会按照latin-1的解码方式去解码gbk格式的数据,还能对吗?
蛮大人123 2019-12-02 01:44:12 0 浏览量 回答数 0

回答

运维编排场景系列——基于镜像的日常发布 运维编排(OOS) 简介 什么是OOS Operation Orchestration Service,简称OOS,是全面、免费的云上自动化运维平台,提供运维任务的管理和执行。典型使用场景包括:事件驱动运维,批量操作运维,定时运维任务,跨地域运维等,OOS为重要运维场景提供审批,通知等功能。OOS帮您实现标准化运维任务,从而实践运维即代码(Operations as Code)的先进理念。关于OOS更详细的介绍请查阅 运维编排服务。 场景介绍 我们在使用ECS的时候要更时常地面临更新软件的问题,如运行的后端服务版本更新,安全打补丁等情况。我们可以使用ECS镜像来维护需要更新的程序版本,更新好镜像后对需要发布的机器更换下系统盘重新启动就能完成对单台机器的程序更新。对于在线上运行的机器我们需要分批的去更换系统盘。 总结下来,我们需要做的操作如下: 更新镜像 启动一台新的机器或者在一台上执行命令后打成一个镜像 用新镜像分批更新系统盘 对于以上操作我们一步一步的操作实在是太繁琐了,这种发布流程是对运维人员的考验,一个不留神可能就出错了,那么我们有没有自动化方案呢?有!使用运维编排 解决方案 机器分组 首先建议对机器进行分组,可以给机器打上相应tag,比如我们可以给我们的ecs按环境来分组env:test和env:product 这样比较方便管理,批量执行时候只需要选好相应的标签即可。 oos 打镜像 然后我们需要解决更新镜像的问题,有了ECS云助手我们有了到机器上执行命令的通道,而OOS可以编排云产品的API,我们可以将一系列命令编排起来执行。更新镜像的话我们可以帮可以按原有镜像启动一台ECS,在ECS上执行命令,执行成功后关闭当前实例并给当前实例打镜像生成镜像然后,然后再释放临时实例。如下图所示 oos 以上步骤可以用OOS模板一步搞定,请到OOS控制台执行更新镜像 oos 并填写相应的参数 oos 执行后,需要运行一段时间,我们可以看到运行的步骤和运行结果 oos 最后生成了一个新的镜像ID。 批量更新系统盘 这个步骤就相当于对每台机器执行,停止机器,等机器变成Stopped,更换系统盘,把机器启动,等机器到Running,循环直到所有机器操作完毕,这个过程如果对于机器少还可以手动完成,机器多的话手动操作那一定疯了。 oos 通过OOS也可以比较简单的解决这个问题,到OOS控制台搜索系统盘,找到批量更换系统盘模板oos 创建执行,选择实例,这里可以手动选择实例也可以按tag来,我之前已经给机器打好了标签env:test这里就用tag来操作,批次控制支持并发执行和分批执行,这两个的区别是并发执行永远保持n个允许中的,而分批执行是执行完第一批再执行第二批,我这里就选并发执行,每次1台。oos 点击执行,我们可以看到已经在运行中了,并且符合预期的在一台一台的执行 oos 等待操作成功,整个分批更换系统盘的操作就完成了。最后看控制台结果符合预期。 总结 我们通过以上步骤实现了一套ECS基于镜像的发布流程。如果我使用了负载均衡 ECS挂载到了SLB上,希望在替换系统盘前先从SLB移除下来 更换好再挂载上去实现无缝升级能做到吗? 这两个步骤有办法合并成一个模板吗? 有办法在提交代码后自动触发整个过程吗? oos 答案当然是肯定的,CI以后调用OOS aliyuncli或者sdk做集成触发模板就可以了,对于全自动整个过程,可以自定义模板来做,我们也整打算把这个功能变成一个公共模板来使用。我们帮助一个客户实现了整个流程大大的提升了客户的运维效率,带来自动化的同时为客户也提供了白屏化的操作工具。将整个发布过程变得顺畅透明安全。
1934890530796658 2020-03-24 12:15:55 0 浏览量 回答数 0

问题

greenplum 节点数以及shared buffer配置问题。

现场环境,60台x86机器的greenplum集群。机器内存256G,192个核。每台机器4个segment节点,4个mirror节点。每个segment的shared_buffer:256MB这么大的内存,这么多的CPU,这种配置肯定不合...
pis-j 2019-12-01 19:21:51 2559 浏览量 回答数 1

回答

什么是机器学习? 如果人类能够训练机器从过去的数据中学习呢?嗯,这被称为机器学习,但它不仅仅是学习,它还涉及理解和推理,所以今天我们将学习机器学习的基础知识。 插一段《Python3入门机器学习经典算法与应用》这门课程中的解释: 人类是怎么学习的?通过给大脑输入一定的资料,经过学习总结得到知识和经验,有当类似的任务时可以根据已有的经验做出决定或行动。 机器学习(Machine Learning)的过程与人类学习的过程是很相似的。机器学习算法本质上就是获得一个 f(x) 函数表示的模型,如果输入一个样本 x 给 f(x) 得到的结果是一个类别,解决的就是一个分类问题,如果得到的是一个具体的数值那么解决的就是回归问题。 机器学习与人类学习的整体机制是一致的,有一点区别是人类的大脑只需要非常少的一些资料就可以归纳总结出适用性非常强的知识或者经验,例如我们只要见过几只猫或几只狗就能正确的分辨出猫和狗,但对于机器来说我们需要大量的学习资料,但机器能做到的是智能化不需要人类参与。 简单的示例 保罗听新歌,他根据歌曲的节奏、强度和声音的性别来决定喜欢还是不喜欢。 为了简单起见,我们只使用速度和强度。所以在这里,速度是在 x 轴上,从缓慢到快速,而强度是在 y 轴上,从轻到重。我们看到保罗喜欢快节奏和高亢的歌曲,而他不喜欢慢节奏和轻柔的歌曲。 现在我们知道了保罗的选择,让我们看看保罗听一首新歌,让我们给它命名这首歌 A,歌曲 A 速度快,强度飙升,所以它就在这里的某个地方。看看数据,你能猜出球在哪里会喜欢这首歌? ![7.jpg](https://ucc.alicdn.com/pic/d eveloper-ecology/a61a1dd9937f4aa4bba873397609969b.jpg) 对,保罗喜欢这首歌。 通过回顾保罗过去的选择,我们能够很容易地对未知的歌曲进行分类。假设现在保罗听了一首新歌,让我们把它贴上 B 的标签,B 这首歌就在这里的某个地方,节奏中等,强度中等,既不放松也不快速, 既不轻缓也不飞扬。 现在你能猜出保罗喜欢还是不喜欢它吗?不能猜出保罗会喜欢或不喜欢它,其他选择还不清楚。没错,我们可以很容易地对歌曲 A 进行分类,但是当选择变得复杂时,就像歌曲B 一样。机器学习可以帮你解决这个问题。 让我们看看如何。在歌曲 B 的同一个例子中,如果我们在歌曲 B 周围画一个圆圈,我们会看到有四个绿色圆点表示喜欢,而一个红色圆点不喜欢。 如果我们选择占大多数比例的绿色圆点,我们可以说保罗肯定会喜欢这首歌,这就是一个基本的机器学习算法,它被称为 K 近邻算法, 这只是众多机器学习算法之一中的一个小例子。 但是当选择变得复杂时会发生什么?就像歌曲 B 的例子一样,当机器学习进入时,它会学习数据,建立预测模型,当新的数据点进来时,它可以很容易地预测它。数据越多,模型越好,精度越高。 机器学习的分类 机器学习的方式有很多,它可以是监督学习、无监督学习或强化学习。 监督学习 让我们首先快速了解监督学习。假设你的朋友给你 100 万个三种不同货币的硬币,比如说一个是 1 欧元,一个是 1 欧尔,每个硬币有不同的重量,例如,一枚 1 卢比的硬币重 3 克, 一欧元重 7 克,一欧尔重 4 克,你的模型将预测硬币的货币。在这里,体重成为硬币的特征,而货币成为标签,当你将这些数据输入机器学习模型时,它会学习哪个特征与哪个结果相关联。 例如,它将了解到,如果一枚硬币是三克,它将是一枚卢比硬币。根据新硬币的重量,你的模型将预测货币。因此,监督学习使用标签数据来训练模型。在这里,机器知道对象的特征以及与这些特征相关的标签。 无监督学习 在这一点上,让我们看看与无监督学习的区别。假设你有不同球员的板球数据集。当您将此数据集送给机器时,机器会识别玩家性能的模式,因此它会在 x 轴上使用各自的 Achatz 对这些数据进行处理,同时在 y 轴上运行 在查看数据时,你会清楚地看到有两个集群,一个集群是得分高,分较少的球员,而另一个集群是得分较少但得分较多的球员,所以在这里我们将这两个集群解释为击球手和投球手。 需要注意的重要一点是,这里没有击球手、投球手的标签,因此 使用无标签数据的学习是无监督学习。因此,我们了解了数据被标记的监督学习和数据未标记的无监督学习。 强化学习 然后是强化学习,这是一种基于奖励的学习,或者我们可以说它的工作原理是反馈。 在这里,假设你向系统提供了一只狗的图像,并要求它识别它。系统将它识别为一只猫,所以你给机器一个负面反馈,说它是狗的形象,机器会从反馈中学习。最后,如果它遇到任何其他狗的图像,它将能够正确分类,那就是强化学习。 让我们看一个流程图,输入给机器学习模型,然后根据应用的算法给出输出。如果是正确的,我们将输出作为最终结果,否则我们会向火车模型提供反馈,并要求它预测,直到它学 机器学习的应用 你有时不知道在当今时代,机器学习是如何成为可能的,那是因为今天我们有大量可用的数据,每个人都在线,要么进行交易,要么上网,每分钟都会产生大量数据,数据是分析的关键。 此外,计算机的内存处理能力也在很大程度上增加,这有助于他们毫不拖延地处理手头如此大量的数据。 是的,计算机现在拥有强大的计算能力,所以有很多机器学习的应用。 仅举几例,机器学习用于医疗保健,在医疗保健中,医生可以预测诊断,情绪分析。 科技巨头在社交媒体上所做的推荐是另一个有趣的应用。金融部门的机器学习欺诈检测,并预测电子商务部门的客户流失。 小测验 我希望你已经理解了监督和无监督学习,所以让我们做一个快速测验,确定给定的场景是使用监督还是非监督学习。 场景 1:  Facebook 从一张标签照片相册中识别出你的朋友场景 2: Netflix 根据某人过去的电影选择推荐新电影场景 3: 分析可疑交易的银行数据并标记欺诈交易 场景 1: Facebook 在一张标签照片相册中的照片中识别你的朋友解释: 这是监督学习。在这里,Facebook 正在使用标记的照片来识别这个人。因此,标记的照片成为图片的标签,我们知道当机器从标记的数据中学习时,它是监督学习。 场景 2: 根据某人过去的音乐选择推荐新歌解释: 这是监督学习。该模型是在预先存在的标签 (歌曲流派) 上训练分类器。这是 Netflix,Pandora 和 Spotify 一直在做的事情,他们收集您已经喜欢的歌曲/电影,根据您的喜好评估功能,然后根据类似功能推荐新电影/歌曲。 场景 3: 分析可疑交易的银行数据并标记欺诈交易解释: 这是无监督学习。在这种情况下,可疑交易没有定义,因此没有 “欺诈” 和 “非欺诈” 的标签。该模型试图通过查看异常交易来识别异常值,并将其标记为 “欺诈”。
剑曼红尘 2020-04-15 19:05:53 0 浏览量 回答数 0

回答

在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢?首先我们来看一下大数据里面的数据,就分三种类型,一种叫结构化的数据,一种叫非结构化的数据,还有一种叫半结构化的数据。 大数据拥抱云计算 在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢? 1 数据不大也包含智慧 一开始这个大数据并不大。原来才有多少数据?现在大家都去看电子书,上网看新闻了,在我们80后小时候,信息量没有那么大,也就看看书、看看报,一个星期的报纸加起来才有多少字?如果你不在一个大城市,一个普通的学校的图书馆加起来也没几个书架,是后来随着信息化的到来,信息才会越来越多。 首先我们来看一下大数据里面的数据,就分三种类型,一种叫结构化的数据,一种叫非结构化的数据,还有一种叫半结构化的数据。 结构化的数据:即有固定格式和有限长度的数据。例如填的表格就是结构化的数据,国籍:中华人民共和国,民族:汉,性别:男,这都叫结构化数据。 非结构化的数据:现在非结构化的数据越来越多,就是不定长、无固定格式的数据,例如网页,有时候非常长,有时候几句话就没了;例如语音,视频都是非结构化的数据。 半结构化数据:是一些XML或者HTML的格式的,不从事技术的可能不了解,但也没有关系。 其实数据本身不是有用的,必须要经过一定的处理。例如你每天跑步带个手环收集的也是数据,网上这么多网页也是数据,我们称为Data。数据本身没有什么用处,但数据里面包含一个很重要的东西,叫做信息(Information)。 数据十分杂乱,经过梳理和清洗,才能够称为信息。信息会包含很多规律,我们需要从信息中将规律总结出来,称为知识(Knowledge),而知识改变命运。信息是很多的,但有人看到了信息相当于白看,但有人就从信息中看到了电商的未来,有人看到了直播的未来,所以人家就牛了。如果你没有从信息中提取出知识,天天看朋友圈也只能在互联网滚滚大潮中做个看客。 所以数据的应用分这四个步骤:数据、信息、知识、智慧。 最终的阶段是很多商家都想要的。你看我收集了这么多的数据,能不能基于这些数据来帮我做下一步的决策,改善我的产品。例如让用户看视频的时候旁边弹出广告,正好是他想买的东西;再如让用户听音乐时,另外推荐一些他非常想听的其他音乐。 用户在我的应用或者网站上随便点点鼠标,输入文字对我来说都是数据,我就是要将其中某些东西提取出来、指导实践、形成智慧,让用户陷入到我的应用里面不可自拔,上了我的网就不想离开,手不停地点、不停地买。 很多人说双十一我都想断网了,我老婆在上面不断地买买买,买了A又推荐B,老婆大人说,“哎呀,B也是我喜欢的啊,老公我要买”。你说这个程序怎么这么牛,这么有智慧,比我还了解我老婆,这件事情是怎么做到的呢? 2 数据如何升华为智慧 数据的处理分几个步骤,完成了才最后会有智慧。 第一个步骤叫数据的收集。首先得有数据,数据的收集有两个方式: 第一个方式是拿,专业点的说法叫抓取或者爬取。例如搜索引擎就是这么做的:它把网上的所有的信息都下载到它的数据中心,然后你一搜才能搜出来。比如你去搜索的时候,结果会是一个列表,这个列表为什么会在搜索引擎的公司里面?就是因为他把数据都拿下来了,但是你一点链接,点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻,你拿百度搜出来,你不点的时候,那一页在百度数据中心,一点出来的网页就是在新浪的数据中心了。 第二个方式是推送,有很多终端可以帮我收集数据。比如说小米手环,可以将你每天跑步的数据,心跳的数据,睡眠的数据都上传到数据中心里面。 第二个步骤是数据的传输。一般会通过队列方式进行,因为数据量实在是太大了,数据必须经过处理才会有用。可系统处理不过来,只好排好队,慢慢处理。 第三个步骤是数据的存储。现在数据就是金钱,掌握了数据就相当于掌握了钱。要不然网站怎么知道你想买什么?就是因为它有你历史的交易的数据,这个信息可不能给别人,十分宝贵,所以需要存储下来。 第四个步骤是数据的处理和分析。上面存储的数据是原始数据,原始数据多是杂乱无章的,有很多垃圾数据在里面,因而需要清洗和过滤,得到一些高质量的数据。对于高质量的数据,就可以进行分析,从而对数据进行分类,或者发现数据之间的相互关系,得到知识。 比如盛传的沃尔玛超市的啤酒和尿布的故事,就是通过对人们的购买数据进行分析,发现了男人一般买尿布的时候,会同时购买啤酒,这样就发现了啤酒和尿布之间的相互关系,获得知识,然后应用到实践中,将啤酒和尿布的柜台弄的很近,就获得了智慧。 第五个步骤是对于数据的检索和挖掘。检索就是搜索,所谓外事不决问Google,内事不决问百度。内外两大搜索引擎都是将分析后的数据放入搜索引擎,因此人们想寻找信息的时候,一搜就有了。 另外就是挖掘,仅仅搜索出来已经不能满足人们的要求了,还需要从信息中挖掘出相互的关系。比如财经搜索,当搜索某个公司股票的时候,该公司的高管是不是也应该被挖掘出来呢?如果仅仅搜索出这个公司的股票发现涨的特别好,于是你就去买了,其实其高管发了一个声明,对股票十分不利,第二天就跌了,这不坑害广大股民么?所以通过各种算法挖掘数据中的关系,形成知识库,十分重要。 3 大数据时代,众人拾柴火焰高 当数据量很小时,很少的几台机器就能解决。慢慢的,当数据量越来越大,最牛的服务器都解决不了问题时,怎么办呢?这时就要聚合多台机器的力量,大家齐心协力一起把这个事搞定,众人拾柴火焰高。 对于数据的收集:就IoT来讲,外面部署这成千上万的检测设备,将大量的温度、湿度、监控、电力等数据统统收集上来;就互联网网页的搜索引擎来讲,需要将整个互联网所有的网页都下载下来。这显然一台机器做不到,需要多台机器组成网络爬虫系统,每台机器下载一部分,同时工作,才能在有限的时间内,将海量的网页下载完毕。 对于数据的传输:一个内存里面的队列肯定会被大量的数据挤爆掉,于是就产生了基于硬盘的分布式队列,这样队列可以多台机器同时传输,随你数据量多大,只要我的队列足够多,管道足够粗,就能够撑得住。 对于数据的存储:一台机器的文件系统肯定是放不下的,所以需要一个很大的分布 式文件系统来做这件事情,把多台机器的硬盘打成一块大的文件系统。 对于数据的分析:可能需要对大量的数据做分解、统计、汇总,一台机器肯定搞不定,处理到猴年马月也分析不完。于是就有分布式计算的方法,将大量的数据分成小份,每台机器处理一小份,多台机器并行处理,很快就能算完。例如著名的Terasort对1个TB的数据排序,相当于1000G,如果单机处理,怎么也要几个小时,但并行处理209秒就完成了。 所以说什么叫做大数据?说白了就是一台机器干不完,大家一起干。可是随着数据量越来越大,很多不大的公司都需要处理相当多的数据,这些小公司没有这么多机器可怎么办呢? 4 大数据需要云计算,云计算需要大数据 说到这里,大家想起云计算了吧。当想要干这些活时,需要很多的机器一块做,真的是想什么时候要就什么时候要,想要多少就要多少。 例如大数据分析公司的财务情况,可能一周分析一次,如果要把这一百台机器或者一千台机器都在那放着,一周用一次非常浪费。那能不能需要计算的时候,把这一千台机器拿出来;不算的时候,让这一千台机器去干别的事情? 谁能做这个事儿呢?只有云计算,可以为大数据的运算提供资源层的灵活性。而云计算也会部署大数据放到它的PaaS平台上,作为一个非常非常重要的通用应用。因为大数据平台能够使得多台机器一起干一个事儿,这个东西不是一般人能开发出来的,也不是一般人玩得转的,怎么也得雇个几十上百号人才能把这个玩起来。 所以说就像数据库一样,其实还是需要有一帮专业的人来玩这个东西。现在公有云上基本上都会有大数据的解决方案了,一个小公司需要大数据平台的时候,不需要采购一千台机器,只要到公有云上一点,这一千台机器都出来了,并且上面已经部署好了的大数据平台,只要把数据放进去算就可以了。 云计算需要大数据,大数据需要云计算,二者就这样结合了。 人工智能拥抱大数据 机器什么时候才能懂人心 虽说有了大数据,人的欲望却不能够满足。虽说在大数据平台里面有搜索引擎这个东西,想要什么东西一搜就出来了。但也存在这样的情况:我想要的东西不会搜,表达不出来,搜索出来的又不是我想要的。 例如音乐软件推荐了一首歌,这首歌我没听过,当然不知道名字,也没法搜。但是软件推荐给我,我的确喜欢,这就是搜索做不到的事情。当人们使用这种应用时,会发现机器知道我想要什么,而不是说当我想要时,去机器里面搜索。这个机器真像我的朋友一样懂我,这就有点人工智能的意思了。 人们很早就在想这个事情了。最早的时候,人们想象,要是有一堵墙,墙后面是个机器,我给它说话,它就给我回应。如果我感觉不出它那边是人还是机器,那它就真的是一个人工智能的东西了。 让机器学会推理 怎么才能做到这一点呢?人们就想:我首先要告诉计算机人类的推理的能力。你看人重要的是什么?人和动物的区别在什么?就是能推理。要是把我这个推理的能力告诉机器,让机器根据你的提问,推理出相应的回答,这样多好? 其实目前人们慢慢地让机器能够做到一些推理了,例如证明数学公式。这是一个非常让人惊喜的一个过程,机器竟然能够证明数学公式。但慢慢又发现其实这个结果也没有那么令人惊喜。因为大家发现了一个问题:数学公式非常严谨,推理过程也非常严谨,而且数学公式很容易拿机器来进行表达,程序也相对容易表达。 教给机器知识 因此,仅仅告诉机器严格的推理是不够的,还要告诉机器一些知识。但告诉机器知识这个事情,一般人可能就做不来了。可能专家可以,比如语言领域的专家或者财经领域的专家。 语言领域和财经领域知识能不能表示成像数学公式一样稍微严格点呢?例如语言专家可能会总结出主谓宾定状补这些语法规则,主语后面一定是谓语,谓语后面一定是宾语,将这些总结出来,并严格表达出来不就行了吗?后来发现这个不行,太难总结了,语言表达千变万化。 人工智能这个阶段叫做专家系统。专家系统不易成功,一方面是知识比较难总结,另一方面总结出来的知识难以交给计算机。因为你自己还迷迷糊糊,觉得似乎有规律,就是说不出来,又怎么能够通过编程教给计算机呢? 算了,教不会你自己学吧 于是人们想到:机器是和人完全不一样的物种,干脆让机器自己学习好了。
茶什i 2019-12-31 13:13:50 0 浏览量 回答数 0

回答

一个集群全部都是Master,没有Slave   优点:配置简单,单个Master宕机或者是重启维护对应用没有什么影响的,在磁盘配置为RAID10时,即使机器宕机不可恢复的情况下,消息也不会丢失(异步刷盘丢失少量消息,同步刷盘则是一条都不会丢失),性能最高   缺点:当单个Broker宕机期间,这台机器上未被消费的消息在机器恢复之前不可订阅,消息的实时性会受到影响
有头发的程序猿 2019-12-02 03:11:32 0 浏览量 回答数 0

回答

这些是机房对一些地域和可用区里面的物理机器的标识。就像球队队员被标注1号 2号 3号一样。并没有什么很特殊的含义。 也和姓名一样。只是个称呼。 比如  cn-beijing-nu16016-a  他可能字面上理解他是标识的是region为北京机房的一台 region_zone为可用区A的机器。
qq78315851 2019-12-01 23:58:37 0 浏览量 回答数 0

回答

我不建议这样做。分布式计算的整个目的是将数据和处理放在多台机器上,并充分利用许多机器(工作节点)的CPU /内存的好处。在您的情况下,您试图将所有东西放在一个地方。如果要只用一个分区写入单个文件,为什么还需要分布式文件系统?性能可能是一个问题,但只有在对群集上多个节点上分布的大量数据使用Coalesce函数之前/之后进行检查后才能对其进行评估。
社区小助手 2019-12-02 01:47:55 0 浏览量 回答数 0

问题

云监控中Dashboard的概览

Dashboard 概览 云监控推出 Dashboard 功能,旨在打造监控可视化一站式解决方案。既能满足您排查故障时查看监控细节,又能满足您总览大局时查看服务概貌。 应用场景 Dashboard 提供对云...
反向一觉 2019-12-01 21:23:48 1087 浏览量 回答数 0

回答

Re新手请问大家什么叫负载均衡?还有RDS是专门用来放数据库的吗? 负载均衡就是原先你一台机器做的事情,现在由两台或两台以上的机器来做。当然,这部分的配置工作是要你来做的,而阿里云SLB的主要作用是在前端接收对你服务的请求,转发并调度这些请求到你的这些主机上了。就这么简单。
harveymei 2019-12-01 23:52:58 0 浏览量 回答数 0

回答

注释是给人看的 注解是给机器看的这说的是对的,但是比较通俗。机器看注解,说的是程序在运行的时候,检索一个类型(通常这个类型并不是这个程序的作者开发的)的字段、成员、方法等信息。这个在java中叫做反射。比如说,你定义了一个类,这个类有很多成员变量,你希望hibernate能够将它映射到数据库的表和字段上,那么你可以加上注解。那么hibernate(hibernate的开发者在开发这个框架的时候显然不知道你的类怎么定义的,有什么成员,每个成员映射到数据库的什么字段上),但是你可以通过注解定义。这样hibernate就可以读取到这些信息,并且做出对应的处理。
蛮大人123 2019-12-02 02:24:58 0 浏览量 回答数 0

回答

回 1楼宁晶的帖子 遇到了无法对机器学习平台中所拖拽的的组件进行字段参数编辑的问题,跟这个帖子里的问题一样《[阿里云安全算法挑战赛]机器学习平台无法显示节点参数设置窗口    》 目前发现问题跟chrome有关,但不知是什么问题? 我的chrome版本是 52.0.2743.116 m 在另一台同版本的chrome上测试未出现此问题。
xs14 2019-12-02 02:42:33 0 浏览量 回答数 0

回答

机器学习方面的面试主要分成三个部分: 1. 算法和理论基础 2. 工程实现能力与编码水平 3. 业务理解和思考深度 1. 理论方面,我推荐最经典的一本书《统计学习方法》,这书可能不是最全的,但是讲得最精髓,薄薄一本,适合面试前突击准备。 我认为一些要点是: 统计学习的核心步骤:模型、策略、算法,你应当对logistic、SVM、决策树、KNN及各种聚类方法有深刻的理解。能够随手写出这些算法的核心递归步的伪代码以及他们优化的函数表达式和对偶问题形式。 非统计学习我不太懂,做过复杂网络,但是这个比较深,面试可能很难考到。 数学知识方面,你应当深刻理解矩阵的各种变换,尤其是特征值相关的知识。 算法方面:你应当深刻理解常用的优化方法:梯度下降、牛顿法、各种随机搜索算法(基因、蚁群等等),深刻理解的意思是你要知道梯度下降是用平面来逼近局部,牛顿法是用曲面逼近局部等等。 2. 工程实现能力与编码水平 机器学习从工程实现一般来讲都是某种数据结构上的搜索问题。 你应当深刻理解在1中列出的各种算法对应应该采用的数据结构和对应的搜索方法。比如KNN对应的KD树、如何给图结构设计数据结构。如何将算法map-red化等等。 一般来说要么你会写C,而且会用MPI,要么你懂Hadoop,工程上基本都是在这两个平台实现。实在不济你也学个python吧。 3. 非常令人失望地告诉你尽管机器学习主要会考察1和2 但是实际工作中,算法的先进性对真正业务结果的影响,大概不到30%。当然算法必须要足够快,离线算法最好能在4小时内完成,实时算法我没搞过,要求大概更高。 机器学习大多数场景是搜索、广告、垃圾过滤、安全、推荐系统等等。对业务有深刻的理解对你做出来的系统的结果影响超过70%。这里你没做过实际的项目,是完全不可能有任何体会的,我做过一个推荐系统,没有什么算法上的高大上的改进,主要是业务逻辑的创新,直接就提高了很明显的一个CTR(具体数目不太方便透露,总之很明显就是了)。如果你做过实际的项目,一定要主动说出来,主动让面试官知道,这才是最大最大的加分项目。 最后举个例子,阿里内部机器学习挑战赛,无数碾压答主10000倍的大神参赛。最后冠军没有用任何高大上的算法而是基于对数据和业务的深刻理解和极其细致的特征调优利用非常基本的一个算法夺冠。所以啥都不如真正的实操撸几个生产项目啊。
马铭芳 2019-12-02 01:21:30 0 浏览量 回答数 0

回答

1.什么是锁?锁的核心是对资源进行独占,如cpu,io,内存,数据库中某个记录等等。在单机里面,锁的概念非常好理解,学校只有一个电话,很多人需要打电话,那怎么办呢?得有个管理员来负责安排谁可以打电话,至于优先顺序可以由管理员来定,如先到先打,或者时间短的先打,也可以事情重要的先打。在编程里面就是单机程序来控制谁来使用某个或者某些资源。2.什么是分布式锁单机里面锁很好理解,但是放到了多台机器的话,那么谁来控制使用资源呢,当然是需要一个第三方的协调着来记录当前某个资源是不是被某台机器的某个进程在使用中。这里分布式锁可以是数据库,可以是缓存,甚至zookeeper
lubby 2019-12-02 01:50:36 0 浏览量 回答数 0

回答

支付宝安全团队需要保护 12 亿用户的账户和资金安全,责任重大,那么他们具 体需要做哪些事情呢? 业务上来讲,安全团队需要负责建设和维护支付宝账号体系、资金交易、商家服 务的一整套业务安全防控机制。比如用户的账号是不是被盗了,某笔交易是不是被诈 骗了,交易是否用于违规违禁用途如赌博等,还有如商家行为违反监管规定等,这些 都会对支付宝的用户和资金造成风险,这些风险的管控就是大安全所做的事情。 在与黑产和羊毛党对抗的过程中,双方的技术都在不断升级,业务安全风控也必 须应用最新的技术。随着机器学习开始在数据科学领域大放异彩,做安全的同学也开 始利用人工智能来保护业务安全。 具体的手段包括,通过机器学习的算法和模型、与安全策略一起,通过数据挖掘 来做风险识别和风险管控,另外也会会涉及到决策优化。 这里面的技术包括数据挖掘、机器学习、决策优化等等。机器学习很广泛,像里 边的集成树模型,深度学习中的深度文本挖掘,图像识别,运筹优化,强化学习,对 抗机器学习等,在支付宝的安全风控中都会使用到。 至于未来安全风控领域未来的技术趋势,王维强目前比较关注这些方向:模型可 解释性,知识推理、图计算、决策优化等。首先模型可解释性,机器学习算法在业务 安全落地对可解释性要求是非常高的,完全黑盒的模型可能造成不可预料的后果,这在业务安全上不可接受;其次是知识推理,前些年的机器学习通过学习做判断或预 测,但推理比较少,从学习到推理是人工智能下一步的方向;然后是图计算,过去在 解决业务问题时,对关系的描述还是靠人工经验,做安全需要对关系进行精细化刻 画,因为需要在上亿的用户里和极少数黑产进行对抗;最后则是决策优化,这说的是 更好的平衡用户的风险和安全感体验,避免只强调安全而破坏用户的体验,而这里面 要做到一个什么样的程度,就是决策优化需要做的事情,对一个决策来说需要从很多 角度去平衡。 总体上来讲,业务安全风控的未来将会更智能化。一方面在基础技术上,人工 智能需要从学习到推理,再发展到强人工智能,才能应对更多更复杂的场景;另一方 面,在安全风控场景中,我们需要更精准的去描绘更复杂的关系,从而更好的调整和 应对,而这离不开 AI 的助力。
Lee_tianbai 2020-12-31 18:01:37 0 浏览量 回答数 0

回答

对了,配置本机IP或者是127.0.0.1时,是没有问题的难道你配的IP是另外一台机器的IP?如果是这样的话,肯定会报错的。请绑定服务器所属的网卡上的IP吧。为什么会想到要绑定另外一个不属于本级的IP地址呢?回复<aclass='referer'target='_blank'>@CrazyIllusion:把你的代码发上来看看吧,还有你机器的网络配置,比如网卡,和每个网卡上的IP地址。那为什么我在本地的时候绑定其他机器的IP没有问题呢?只能bind本地<divclass='ref'> 引用来自“狐狸糊涂”的评论请绑定服务器所属的网卡上的IP吧。为什么会想到要绑定另外一个不属于本级的IP地址呢?<divclass='ref'> 引用来自“运维技术”的评论只能bind本地<divclass='ref'> 引用来自“运维技术”的评论只能bind本地
爱吃鱼的程序员 2020-06-14 18:46:21 0 浏览量 回答数 0

回答

也就是说两台服务器A,B,一个应用部署在A服务器上,想要调用B服务器上应用提供的函数/方法,由于不在一个内存空间,不能直接调用,需要通过网络来表达调用的语义和传达调用的数据。 比如说,A服务器想调用B服务器上的一个方法: User getUserByName(String userName) 1、建立通信 首先要解决通讯的问题:即A机器想要调用B机器,首先得建立起通信连接。 主要是通过在客户端和服务器之间建立TCP连接,远程过程调用的所有交换的数据都在这个连接里传输。连接可以是按需连接,调用结束后就断掉,也可以是长连接,多个远程过程调用共享同一个连接。 通常这个连接可以是按需连接(需要调用的时候就先建立连接,调用结束后就立马断掉),也可以是长连接(客户端和服务器建立起连接之后保持长期持有,不管此时有无数据包的发送,可以配合心跳检测机制定期检测建立的连接是否存活有效),多个远程过程调用共享同一个连接。 2、服务寻址 要解决寻址的问题,也就是说,A服务器上的应用怎么告诉底层的RPC框架,如何连接到B服务器(如主机或IP地址)以及特定的端口,方法的名称名称是什么。 通常情况下我们需要提供B机器(主机名或IP地址)以及特定的端口,然后指定调用的方法或者函数的名称以及入参出参等信息,这样才能完成服务的一个调用。 可靠的寻址方式(主要是提供服务的发现)是RPC的实现基石,比如可以采用Redis或者Zookeeper来注册服务等等。 2.1、从服务提供者的角度看: 当服务提供者启动的时候,需要将自己提供的服务注册到指定的注册中心,以便服务消费者能够通过服务注册中心进行查找; 当服务提供者由于各种原因致使提供的服务停止时,需要向注册中心注销停止的服务; 服务的提供者需要定期向服务注册中心发送心跳检测,服务注册中心如果一段时间未收到来自服务提供者的心跳后,认为该服务提供者已经停止服务,则将该服务从注册中心上去掉。 2.2、从调用者的角度看: 服务的调用者启动的时候根据自己订阅的服务向服务注册中心查找服务提供者的地址等信息; 当服务调用者消费的服务上线或者下线的时候,注册中心会告知该服务的调用者; 服务调用者下线的时候,则取消订阅。 3、网络传输 3.1、序列化 当A机器上的应用发起一个RPC调用时,调用方法和其入参等信息需要通过底层的网络协议如TCP传输到B机器,由于网络协议是基于二进制的,所有我们传输的参数数据都需要先进行序列化(Serialize)或者编组(marshal)成二进制的形式才能在网络中进行传输。然后通过寻址操作和网络传输将序列化或者编组之后的二进制数据发送给B机器。 **3.2、反序列化 ** 当B机器接收到A机器的应用发来的请求之后,又需要对接收到的参数等信息进行反序列化操作(序列化的逆操作),即将二进制信息恢复为内存中的表达方式,然后再找到对应的方法(寻址的一部分)进行本地调用(一般是通过生成代理Proxy去调用, 通常会有JDK动态代理、CGLIB动态代理、Javassist生成字节码技术等),之后得到调用的返回值。 4、服务调用 B机器进行本地调用(通过代理Proxy和反射调用)之后得到了返回值,此时还需要再把返回值发送回A机器,同样也需要经过序列化操作,然后再经过网络传输将二进制数据发送回A机器,而当A机器接收到这些返回值之后,则再次进行反序列化操作,恢复为内存中的表达方式,最后再交给A机器上的应用进行相关处理(一般是业务逻辑处理操作)。 通常,经过以上四个步骤之后,一次完整的RPC调用算是完成了,另外可能因为网络抖动等原因需要重试等。
剑曼红尘 2020-03-15 15:40:38 0 浏览量 回答数 0

回答

C/C++之所以不能跨平台,就是因为C/C++源程序是对平台编译的,所以与平台密切相关。如果有这样的一个环境:它既可以向下兼容(对平台兼容),又可以向上兼容(程序可以运行),那么不就可以跨平台了吗。基于这样的原理,Java在计算机的操作系统上又提供了一个Java运行环境——JRE(安装JDK)。 JRE由Java虚拟机,类库和一些核心文件组成,也就是说,只要平台提供了Java运行环境,Java编写的软件就可以在其上运行。 和C/C++不同的是,Java语言提供的编译器不针对特定的操作系统和CPU芯片进行编程,而是针对Java虚拟机把Java源程序编译成称为字节码的“中间代码”,然后Java虚拟机负责将字节码翻译成虚拟机所在平台的机器码,并让当前平台运行该机器码。 Java语言的运行原理: 在一个计算机上编译得到的字节码文件(就是.class文件),可以复制到任何一个安装了Java运行环境的计算机上直接运行。然后字节码文件由虚拟机负责解释执行,即Java虚拟机将字节码翻译成本地计算机的机器码,然后将机器码交给本地的操作系统运行。 由于在一个计算机上编译得到的字节码文件可以复制到任何一个安装了Java运行环境的计算机上直接使用,所以字节码其实是一种“中间代码”,这也就是为什么“Java语言能够一次编译,处处运行,也就是Java跨平台的原因。”所以称Java是一种“半编译,半解释的语言”,即源程序——>编译——>字节码——>字节码解释程序——>对应平台的机器语言。”
一只刺猬 2020-03-30 10:22:15 0 浏览量 回答数 0

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT