本宫没空
TA的个人档案
本宫没空个人页面-阿里云开发者社区
文章
26
问答
0
个人介绍
暂无个人介绍
擅长的技术
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2018-11-14
学习Hadoop大数据基础框架
什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感器网络数据量的不断加大，国内拥有的总数据量早已超出 ZB（1ZB=1024EB，1EB=1024PB）级别。传统的数据处理方法是：随着数据量的加大，不断更新硬件指标，采用更加强大的CPU、更大容量的磁盘这样的措施，但现实是：数据量增大的速度远远超出了单机计算和存储能力提升的速度。而“大数据”的处理方法是：采用多机器、多节点的处理大量数据方法，而采用这种新的处理方法，就需要有新的大数据系统来保证，系统需要处理多节点间的通讯协调、数据分隔等一系列问题。总之，采用多机器、多节点的方式，解决各节点的通讯协调、数据协调、计算协调问题，处理海量数据的方式，就是“大数据”的思维。其特点是，随着数据量的不断加大，可以增加机器数量，水平扩展，一个大数据系统，可以多达几万台机器甚至更多。 Hadoop最初主要包含分布式文件系统HDFS和计算框架MapReduce两部分，是从Nutch中独立出来的项目。在2.0版本中，又把资源管理和任务调度功能从MapReduce中剥离形成YARN，使其他框架也可以像MapReduce那样运行在Hadoop之上。与之前的分布式计算框架相比，Hadoop隐藏了很多繁琐的细节，如容错、负载均衡等，更便于使用。Hadoop也具有很强的横向扩展能力，可以很容易地把新计算机接入到集群中参与计算。在开源社区的支持下，Hadoop不断发展完善，并集成了众多优秀的产品如非关系数据库HBase、数据仓库Hive、数据处理工具Sqoop、机器学习算法库Mahout、一致性服务软件ZooKeeper、管理工具Ambari等，形成了相对完整的生态圈和分布式计算事实上的标准。大快的大数据通用计算平台（DKH），已经集成相同版本号的开发框架的全部组件。如果在开源大数据框架上部署大快的开发框架，需要平台的组件支持如下：数据源与SQL引擎：DK.Hadoop、spark、hive、sqoop、flume、kafka数据采集：DK.hadoop数据处理模块：DK.Hadoop、spark、storm、hive机器学习和AI：DK.Hadoop、sparkNLP模块：上传服务器端JAR包，直接支持搜索引擎模块：不独立发布大快大数据平台（DKH）,是大快公司为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级，大数据通用计算平台。传统公司通过使用DKH，可以轻松的跨越大数据的技术鸿沟，实现搜索引擎级的大数据平台性能。 DKH，有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高达5倍（最大）的性能提升。 DKH，更是通过大快独有的中间件技术，将复杂的大数据集群配置简化至三种节点（主节点、管理节点、计算节点），极大的简化了集群的管理运维，增强了集群的高可用性、高可维护性、高稳定性。 DKH，虽然进行了高度的整合，但是仍然保持了开源系统的全部优点，并与开源系统100%兼容，基于开源平台开发的大数据应用，无需经过任何改动，即可在DKH上高效运行，并且性能会有最高5倍的提升。 DKH，更是集成了大快的大数据一体化开发框架（FreeRCH）, FreeRCH开发框架提供了大数据、搜索、自然语言处理和人工智能开发中常用的二十多个类，通过总计一百余种方法，实现了10倍以上的开发效率的提升。 DKH的SQL版本，还提供了分布式MySQL的集成，传统的信息系统，可无缝的实现面向大数据和分布式的跨越。DKH标准平台技术构架图
-
发表了文章 2018-11-14
什么是自然语言处理技术
自然语言处理（NLP）是计算机科学，人工智能，语言学关注计算机和人类（自然）语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称，其目的是使计算机理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能，自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。大快NLP模块是大快大数据一体化平台的一个组件，用户引用该组件可以有效进行自然语言的处理工作，如进行文章摘要，语义判别以及提高内容检索的精确度和有效性。自然语言处理如今不仅作为人工智能核心课题来研究，而且也作为新一代计算机的核心课题来研究。从知识产业角度看，专家系统，数据库，知识库，计算机辅助设计系统（CAD）、计算机辅助教学系统（CAI）、计算机辅助决策系统，办公室自动化管理系统，智能机器人等，都需要用自然语言处理，具有篇章理解能力的自然语言理解系统可用于机器自动翻译、情报检索、自动标引、自动文摘、自动写故事小说等领域，都可以用我们的工具类DKNLPBase来处理。标准分词方法签名：List StandardTokenizer.segment(String txt);返回：分词列表。签名参数说明：txt:要分词的语句。范例：下例验证一段话第5个分词是阿法狗。public void testSegment() throws Exception { String text = "商品和服务"; List<Term> termList = DKNLPBase.segment(text); assertEquals("商品", termList.get(0).word); assertEquals("和", termList.get(1).word); assertEquals("服务", termList.get(2).word); text = "柯杰解说“李世石VS阿法狗第二局” 结局竟是这样"; termList = DKNLPBase.segment(text); assertEquals("阿法狗", termList.get(5).word); // 能够识别"阿法狗" }关键词提取方法签名：List extractKeyword(String txt,int keySum);返回：关键词列表.签名参数说明：txt:要提取关键词的语句，keySum要提取关键词的数量范例：给出一段话提取一个关键词是“程序员”。public void testExtractKeyword() throws Exception { String content = "程序员(英文Programmer)是从事程序开发、维护的专业人员。" + "一般将程序员分为程序设计人员和程序编码人员，" + "但两者的界限并不非常清楚，特别是在中国。" + "软件从业人员分为初级程序员、高级程序员、系统" + "分析员和项目经理四大类。"; List<String> keyword = DKNLPBase.extractKeyword(content, 1); assertEquals(1, keyword.size()); assertEquals("程序员", keyword.get(0)); } 短语提取方法签名：List extractPhrase(String txt, int phSum);返回：短语签名参数说明：txt:要提取短语的语句，phSum短语数量范例：给出一段文字，能代表文章的五个短语，第一个短语是算法工程师。 迈进二十一世纪，我们已经进入了以互联网为主要标志的海量信息时代，这些海量信息大部分是以自然语言表示的。一方面，海量信息也为计算机学习人类语言提供了更多的“素材”，另一方面，这也为自然语言处理提供了更加宽广的应用舞台。例如，作为自然语言处理的重要应用，搜索引擎逐渐成为人们获取信息的重要工具，涌现出以百度、谷歌等为代表的搜索引擎巨头；机器翻译也从实验室走入寻常百姓家，谷歌、百度等公司都提供了基于海量网络数据的机器翻译和辅助翻译工具；基于自然语言处理的中文（输入法如搜狗、微软、谷歌等输入法）成为计算机用户的必备工具；带有语音识别的计算机和手机也正大行其道，协助用户更有效地工作学习。总之，随着互联网的普及和海量信息的涌现，自然语言处理正在人们的日常生活中扮演着越来越重要的作用。 然而，我们同时面临着一个严峻事实，那就是如何有效利用海量信息已成为制约信息技术发展的一个全局性瓶颈问题。自然语言处理无可避免地成为信息科学技术中长期发展的一个新的战略制高点。同时，人们逐渐意识到，单纯依靠统计方法已经无法快速有效地从海量数据中学习语言知识，只有同时充分发挥基于规则的理性主义方法和基于统计的经验主义方法的各自优势，两者互相补充，才能够更好、更快地进行自然语言处理。 自然语言处理作为一个年龄尚不足一个世纪的新兴学科，正在进行着突飞猛进的发展。回顾自然语言处理的发展历程，并不是一帆风顺，有过低谷，也有过高潮。而现在我们正面临着新的挑战和机遇。例如，目前网络搜索引擎基本上还停留在关键词匹配，缺乏深层次的自然语言处理和理解。语音识别、文字识别、问答系统、机器翻译等目前也只能达到很基本的水平。路漫漫其修远兮，自然语言处理作为一个高度交叉的新兴学科，不论是探究自然本质还是付诸实际应用，在将来必定会有令人期待的惊喜和异常快速的发展。
-
发表了文章 2018-11-14
什么是大数据技术架构
大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等；与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。 数据源的特点决定数据采集与数据存储的技术选型，我根据数据源的特点将其分为四大类：第一类：从来源来看分为内部数据和外部数据；第二类：从结构来看分为非结构化数据和结构化数据；第三类：从可变性来看分为不可变可添加数据和可修改删除数据；第四类，从规模来看分为大量数据和小量数据大数据平台第一个要素就是数据源，我们要处理的数据源往往是在业务系统上，数据分析的时候可能不会直接对业务的数据源进行处理，而是先经过数据采集、数据存储，之后才是数据分析和数据处理。从整个大的生态圈可以看出，要完成数据工程需要大量的资源；数据量很大需要集群；要控制和协调这些资源需要监控和协调分派；面对大规模的数据怎样部署更方便更容易；还牵扯到日志、安全、还可能要和云端结合起来，这些都是大数据圈的边缘，同样都很重要。大快大数据平台（DKH）,是大快公司为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级，大数据通用计算平台。传统公司通过使用DKH，可以轻松的跨越大数据的技术鸿沟，实现搜索引擎级的大数据平台性能。 DKH，有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高达5倍（最大）的性能提升。 DKH，更是通过大快独有的中间件技术，将复杂的大数据集群配置简化至三种节点（主节点、管理节点、计算节点），极大的简化了集群的管理运维，增强了集群的高可用性、高可维护性、高稳定性。 DKH，虽然进行了高度的整合，但是仍然保持了开源系统的全部优点，并与开源系统100%兼容，基于开源平台开发的大数据应用，无需经过任何改动，即可在DKH上高效运行，并且性能会有最高5倍的提升。 DKH，更是集成了大快的大数据一体化开发框架（FreeRCH）, FreeRCH开发框架提供了大数据、搜索、自然语言处理和人工智能开发中常用的二十多个类，通过总计一百余种方法，实现了10倍以上的开发效率的提升。 DKH的SQL版本，还提供了分布式MySQL的集成，传统的信息系统，可无缝的实现面向大数据和分布式的跨越。DKH标准平台技术构架图
-
发表了文章 2018-11-13
hadoop需要哪些技术支持
hadoop是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现和运行程序。Hadoop 还提供了软件基础架构，以一系列 map 和 reduce 任务的形式运行 MapReduce 作业。Map 任务在输入数据的子集上调用map函数。在完成这些调用后，reduce任务开始在 map函数所生成的中间数据上调用reduce任务，生成最终的输出。map和reduce任务彼此单独运行，这支持并行和容错的计算。最重要的是，Hadoop 基础架构负责处理分布式处理的所有复杂方面：并行化、调度、资源管理、机器间通信、软件和硬件故障处理，等等。得益于这种干净的抽象，实现处理数百（或者甚至数千）个机器上的数 TB 数据的分布式应用程序从未像现在这么容易过，甚至对于之前没有使用分布式系统的经验的开发人员也是如此。 map reduce 过程图shuffle combine整体的Shuffle过程包含以下几个部分：Map端Shuffle、Sort阶段、Reduce端Shuffle。即是说：Shuffle 过程横跨 map 和 reduce 两端，中间包含 sort 阶段，就是数据从 map task 输出到reduce task输入的这段过程。sort、combine 是在 map 端的，combine 是提前的 reduce ，需要自己设置。Hadoop 集群中，大部分 map task 与 reduce task 的执行是在不同的节点上。当然很多情况下 Reduce 执行时需要跨节点去拉取其它节点上的map task结果。如果集群正在运行的 job 有很多，那么 task 的正常执行对集群内部的网络资源消耗会很严重。而对于必要的网络资源消耗，最终的目的就是最大化地减少不必要的消耗。还有在节点内，相比于内存，磁盘 IO 对 job 完成时间的影响也是可观的。从最基本的要求来说，对于 MapReduce 的 job 性能调优的 Shuffle 过程，目标期望可以有：完整地从map task端拉取数据到reduce 端。在跨节点拉取数据时，尽可能地减少对带宽的不必要消耗。减少磁盘IO对task执行的影响。总体来讲这段Shuffle过程，能优化的地方主要在于减少拉取数据的量及尽量使用内存而不是磁盘。YARNResourceManager 代替集群管理器ApplicationMaster 代替一个专用且短暂的 JobTrackerNodeManager 代替 TaskTracker一个分布式应用程序代替一个 MapReduce 作业一个全局 ResourceManager 以主要后台进程的形式运行，它通常在专用机器上运行，在各种竞争的应用程序之间仲裁可用的集群资源。在用户提交一个应用程序时，一个称为 ApplicationMaster 的轻量型进程实例会启动来协调应用程序内的所有任务的执行。这包括监视任务，重新启动失败的任务，推测性地运行缓慢的任务，以及计算应用程序计数器值的总和。有趣的是，ApplicationMaster 可在容器内运行任何类型的任务。NodeManager 是 TaskTracker 的一种更加普通和高效的版本。没有固定数量的 map 和 reduce slots，NodeManager 拥有许多动态创建的资源容器。 大数据Hadoop开发厂商有Amazon Web Services、Cloudera、Hortonworks、IBM、MapR科技、华为和大快搜索。这些厂商都是基于Apache开源项目，然后增加打包、支持、集成等特性以及自己的创新等内容。大快的大数据通用计算平台（DKH），已经集成相同版本号的开发框架的全部组件。如果在开源大数据框架上部署大快的开发框架，需要平台的组件支持如下：数据源与SQL引擎：DK.Hadoop、spark、hive、sqoop、flume、kafka数据采集：DK.hadoop数据处理模块：DK.Hadoop、spark、storm、hive机器学习和AI：DK.Hadoop、sparkNLP模块：上传服务器端JAR包，直接支持搜索引擎模块：不独立发布
-
发表了文章 2018-11-13
Hadoop技术创新方案
如今有很多公司都在努力挖掘他们拥有的大量数据，包括结构化、非结构化、半结构化以及二进制数据等，来探索对数据的深入利用。大多数公司估计他们只分析了已有数据的12%，剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代，为了避免数据丢失你必须采集并存储这些数据。一些看起来与业务无关的数据，如手机GPS数据，将来也可能会有大用处。所以，大量公司都寄希望于使用Hadoop解决如下难题：采集并存储与公司业务职能相关的所有数据。支撑先进的分析功能，包括商业智能，采用现代方式对数据进行先进的可视化和预测性分析。将数据快速分享给所需之人。整合多个数据孤岛来解答以前根本没人提过，甚至是未知的复杂问题。Hadoop支持解决方案规模的快速、有效扩大，使不断增长的容量、速度以及多样的数据能够得到快速的处理。如今Hadoop的购买周期正处于上升阶段，因此在该领域催生了越来越多的厂商。尽管Hadoop是Apache的开源项目，任何人都可以免费下载，但大多数消费者还是倾向于采用厂商的打包方案。除了将所有的Hadoop组件打包并保证其能正常使用（兼容版本）之外，厂商一般还会提供企业级支持和扩展：以Apache Hadoop（HDFS）作为方案的核心组件，搭配额外实现增强Hadoop的功能，并增加差异化功能使其解决方案更具吸引力。在大数据Hadoop解决方案评测中，厂商有Amazon Web Services、Cloudera、Hortonworks、IBM、MapR科技、华为和大快搜索。这些厂商都是基于Apache开源项目，然后增加打包、支持、集成等特性以及自己的创新等内容以弥补Hadoop在企业中的短板。所有厂商都实现了这些功能，尽管方式略有不同——从各厂商的评测得分和厂商资料可见一斑。大快大数据平台（DKH）,是大快搜索为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级，大数据通用计算平台。传统公司通过使用DKH，可以轻松的跨越大数据的技术鸿沟，实现搜索引擎级的大数据平台性能。 DKH，有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高达5倍（最大）的性能提升。 DKH，更是通过大快独有的中间件技术，将复杂的大数据集群配置简化至三种节点（主节点、管理节点、计算节点），极大的简化了集群的管理运维，增强了集群的高可用性、高可维护性、高稳定性。 DKH，虽然进行了高度的整合，但是仍然保持了开源系统的全部优点，并与开源系统100%兼容，基于开源平台开发的大数据应用，无需经过任何改动，即可在DKH上高效运行，并且性能会有最高5倍的提升。传统的企业方法在这种方法中，一个企业将有一个计算机存储和处理大数据。对于存储而言，程序员会自己选择的数据库厂商，如Oracle，IBM等的帮助下完成，用户交互使用应用程序进而获取并处理数据存储和分析。 局限性这种方式能完美地处理那些可以由标准的数据库服务器来存储，或直至处理数据的处理器的限制少的大量数据应用程序。但是，当涉及到处理大量的可伸缩数据，这是一个繁忙的任务，只能通过单一的数据库瓶颈来处理这些数据。谷歌的解决方案 使用一种称为MapReduce的算法谷歌解决了这个问题。这个算法将任务分成小份，并将它们分配到多台计算机，并且从这些机器收集结果并综合，形成了结果数据集。 Hadoop 使用谷歌提供的解决方案，DougCutting和他的团队开发了一个开源项目叫做HADOOP。 Hadoop使用的MapReduce算法运行，其中数据在使用其他并行处理的应用程序。总之，Hadoop用于开发可以执行完整的统计分析大数据的应用程序。
滑动查看更多
暂无更多信息
-
发表了文章
2018-11-14
学习Hadoop大数据基础框架
-
发表了文章
2018-11-14
什么是自然语言处理技术
-
发表了文章
2018-11-14
什么是大数据技术架构
-
发表了文章
2018-11-13
hadoop需要哪些技术支持
-
发表了文章
2018-11-13
Hadoop技术创新方案
-
发表了文章
2018-11-09
web开发安全框架中的Apache Shiro的应用
-
发表了文章
2018-11-07
hadoop入门学习教程--DKHadoop完整安装步骤
-
发表了文章
2018-11-05
大快搜索数据爬虫技术实例安装教学篇
-
发表了文章
2018-11-02
大快DKhadoop开发环境安装常见问题及解决方案汇总
-
发表了文章
2018-11-02
大快搜索大数据可视化平台监控功能深度解析
-
发表了文章
2018-10-30
标题：DKhadoop大数据处理平台监控数据介绍
-
发表了文章
2018-10-30
DKhadoop安装包下载与监控参数说明
-
发表了文章
2018-10-29
Hadoop新手篇：hadoop入门基础教程
-
发表了文章
2018-10-29
实用贴:hadoop系统下载安装教程
-
发表了文章
2018-10-27
超详细hadoop集群服务器安装配置教程
-
发表了文章
2018-10-26
Hadoop伪分布式环境搭建之Linux操作系统安装
-
发表了文章
2018-10-24
hadoop集群管理系统搭建规划说明
-
发表了文章
2018-10-09
工业大数据分析平台的应用价值探讨
-
发表了文章
2018-10-09
免费大数据平台有哪些？
-
发表了文章
2018-10-09
大数据处理平台与案例
滑动查看更多
暂无更多信息