![个人头像照片](https://ucc.alicdn.com/avatar/avatar3.jpg)
python,c#,scala
应用场景 当本地部署搭建完Scala开发环境后,那么就可以利用IDE开发工具进行Scala语言编程,编写一些工具等等,这里写一些简单的语法涉及,来熟悉下Scala。
应用场景 如果没有服务器环境,可以在本地搭建Scala开发环境,单机版,然后安装IDE编程工具,就可以在本地机器上进行scala程序的开发! 操作步骤 1.
应用场景 当你想在linux端运行scala程序,或者想通过scala交互式操作来执行代码,首先得在linux端搭建Scala环境,下面来进行部署操作! 操作流程 1、下载文件scala2.
应用场景 在用CDH5.4.7搭建Hadoop集群的时候,难免遇到一些错误,比如在检查主机的时候遇到各种报错等等。 解决方案 修改Java配置 # vim /usr/lib64/cmf/service/common/cloudera-config.
应用场景 在用CDH5.4.7搭建Hadoop集群的时候,难免遇到一些错误,比如在检查主机的时候遇到各种报错等等。 错误展示: 解决方案 可能上面操作过程中,没有给数据库赋权限。
应用场景 在用CDH5.4.7搭建Hadoop集群的时候,难免遇到一些错误,比如在检查主机的时候遇到各种报错等等。 错误展示: 解决方案 server_host可能忘了修改了 # vim /opt/cm-5.
应用场景 在用CDH5.4.7搭建Hadoop集群的时候,难免遇到一些错误,比如在检查主机的时候遇到各种报错等等。 错误展示: 解决方案 主机时钟不同步 把前文中的ntpd服务重新检查一遍,可能没有开启ntpd。
应用场景 部署Hadoop集群过程中,可以使用开源的Apache Hadoop或者可以用CDH【国外的一家公司基于开源的封装的】,搭建更加方便,方便扩充节点规模,组件管控,性能监控等等,但是也有一个弊端,针对组件安装的目录,以及生成的配置文件位置比较难找到,目录结构混乱,所以还是请慎用。
应用场景 搭建部署完开源BI工具superset,登录到界面中,发现都是英文的,因为这个开源工具是国外的一个产品,所以为了方便使用,需要对其进行界面文字的汉化。
应用场景 数据进入到数据库中,查询只能看到一行行的数据,最好是可以通过图形的方式将数据形象化的展示出来,通过图形进行组合分析,仪表分析,地图分析,多维分析等等,更加详细的通过图形展示数据,展示规律,展示分析! ...
应用场景 当部署好hadoop集群后,搭建了YARN集群,开启了hadoop的HDFS和YARN服务,访问主节点IP和8088端口的YARN监控界面,发现这个All Applications界面中的开始执行时间和结束执行时间不对,应该往后加8个小时才对,导致在页面中对任务监控的时候容易出错,所以现在要进行修改! 操作步骤 错误显示如上图,如果正确的话,应该加上8小时,才是我应该想要的时间。
应用场景 Hadoop部署完分布式集群后,运行了一些组件,会产生很多进程,和web可以访问的端口,容易混淆,这里把一些常见的进程,进程的作用和端口进行归纳,总结,方便区分。
应用场景 安装部署完完全分布式的spark后,发现yarn-cluster模式可以运行不报错,但是yarn-client报错,无法进行计算PI的值,导致spark并不能使用,报错信息如下所示,只需要修改yarn的配置即可! 操作方案 # .
应用场景 spark是基于内存计算的计算框架,性能很强悍,但是它支持单机模式,同时也支持集群模式,它的运行模式有好多种,为了不混淆方便区分,这里进行一些总结。
应用场景 当我们安装好Hadoop分布式集群后,默认底层计算是采用MapReduce,速度比较慢,适用于跑批场景,而Spark可以和hadoop完美的融合,Spark提供了更强劲的计算能力,它基于内存计算,速度快,效率高。
应用场景 在Hbase搭建完之后,本想开开心心的启动Hbase,进行测试使用hbase,但是发现启动hbase的时候,报各种各样的错误,java_home,hbase,hadoop等找不到文件或目录,no such ...
应用场景 当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
应用场景 安装了zookeeper集群之后,应用命令zkServer.sh start后,启动了zookeeper服务,用jps进程发现存在QuorumPeerMain进程,但是查看zookeeper状态的时候,发现报Error contacting service. It is probably not running.错误,提示服务并没有启动,那这是什么原因呢?原因可能有多种造成的,下面我们来分析一下。
应用场景 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。
应用场景 当我们部署搭建完sqoop后,之前的数据都放到了mysql中,现在我们需要把mysql中的数据抽取到hive中,那通过sqoop该如何操作呢? 操作步骤 1.
应用场景 搭建hadoop环境的时候,安装hive,需要绑定元数据存储地址,一般我们设置元数据存放地址在mysql,在mysql中建立数据库为hive,存储hive中的元数据,但是当我们把mysql修改了不区分大小写...
应用场景 当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
应用场景 在使用mysql集群的过程中,会遇到很多问题,报很多错误,常见的几处错误在此列一下。 错误展示 错误1 错误: ERROR 1118 (42000): Row size too large.
应用场景 在使用mysql集群之前,先仔细了解mysql集群的优缺点,在应用场景中充分发挥集群的优点,才能把mysql集群技术用到刀刃上。
应用场景 还没有mysql集群的时候,可能应用生产数据库是单节点的mysql,现在生产环境放到了mysql集群上,那么之前mysql单节点的数据,都要搬到mysql集群中,改怎么操作呢? Mysql单点库到集群库的迁移,可以通过两种方式: 1.单点数据库新建备份,生成备份.psc文件,然后通过navicat还原到集群数据库中。
应用场景 当使用mysql集群数据库的时候,有时候会误删一些数据,那么数据就缺失了完整性,现在需要将数据进行备份,将误删的数据还原出来,这样保证数据的完整性。
应用场景 当搭建了mysql集群后,现在应当需要使用该mysql集群了,在使用的过程中,和单节点的mysql极为相似。 操作步骤 1. 配置mysql集群 mysql集群已启动完毕,需要给mysql重新设置密码,给它权限,才能使得用户的mysql客户端navicat,可以连接sql节点,进行数据库的增加,删除,备份,还原操作。
应用场景 数据存储在mysql中,单节点存储如果数据量十分大,数据就很可能存不下。因此我们需要搭建部署mysql的集群模式,增加数据的存储量,而且提到数据库访问的并发。
应用场景 当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
应用场景 搭建部署了hadoop环境后,使用MapReduce来进行计算,速度非常慢,因为MapReduce只是分布式批量计算,用于跑批的场景,并不追求速率,因为它需要频繁读写HDFS,并不能实时反馈结果,这种跑批的场景用的还是比较少的。
应用场景 搭建了hadoop伪分布式集群,并且在其上搭建了hive环境,hive运行报HiveMetaStoreClient错误。
应用场景 搭建了hadoop伪分布式集群,并且在其上搭建了hive环境,但是在执行HQL语句的时候,老是报内存溢出,很麻烦,只需要简单设置,就可以解决该问题。
应用场景 当在伪分布式集群上,搭建部署了hive以后,发现hive无法执行带where语句的sql,那hive将无法使用,下面介绍解决该问题的方案! 操作步骤 hive连接执行sql,可以执行带wher...
应用场景 当在伪分布式hadoop2.6.0集群中,部署添加了hive2.1.1后,发现输入hive命令,可以进行连接hive,但是用beeline连接连不上。
应用场景 当我们按照hadoop伪分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
应用场景 想生成一个二维码,下载CS工具很麻烦,可能还需要安装;想做个漂亮的PPT,没有很多模板;想画脑图等等,一个简单的工具,如果需要使用一时找不到,那怎么办呢?万能的网络提供了一些小工具的在线使用,快来试试吧! 工具示例 1.
应用场景 在上面博客中介绍了一台Linux服务器上开启一个VNCServer,然后通过Windows端的VNCviewer去连接该Linux,最后可以在Windiwos系统中,远程看到Linux的系统界面。
应用场景 客户给你提供了linux系统,这个linux系统呢不是最小化安装的,是桌面版的,可以直接登录访问到linux系统环境的桌面。
应用场景 之前介绍了单节点,部署伪分布式hadoop集群,可以作为自己使用,但是真正投入生产环境,伪分布式是不够的,仅仅作为个人研究测试使用,此时我们需要部署搭建hadoop完全分布式集群,此hadoop性能将更加强悍,满足生产需求,下面就搭建Apache Hadoop2.6.0环境演示。
应用场景 在研究hadoop的过程中,当然需要部署hadoop集群,如果想要在本地简单试用hadoop,并且没有那么多服务器供你使用,那么伪分布式hadoop环境绝对是你最好的选择。
应用场景 当一个服务器上安装了oracle数据库,我们需要通过外在工具来连接该oracle数据库,来更加方便简洁的操作数据库,对数据库进行增删改查的操作,这篇文章介绍了用Navicat来连接oracle,但是比较正式的还是采用plsql来操作oracle,毕竟navicat连oracle速度比较慢!用plsql更加稳定些。
应用场景 当安装了Navicat,作为mysql数据库连接的客户端,可以连接mysql,访问mysql中的数据库,但是很多人用该工具用习惯了,不想用plsql等其他的,想Navicat能不能连oracle?当然是可以的,只需要简单的配置就可以了。
应用场景 mysql使用的时候,可能会遇到这种场景,mysql中有比较重要的表,不让一般用户访问,mysql中添加了一个新用户,不让该用户看到一些表,只给他分配一些他需要使用的表。
应用场景 在使用mysql过程中,发现SQL语句查不出来东西,明明数据库中有这条数据,仔细检查SQL语句后发现,sql语句中是小写,但是数据库中是大写,然后就查不出,虽然调整和数据库中元数据大小写一致后可以查询出来,但是这样很不方便用户使用,需要进行设置。
应用场景 在使用mysql数据库的过程中,发现数据导入后中文出现乱码,数据库中出现文字乱码等等,sql语句中查询中文无法查出结果,影响系统使用,以及数据无法正确查询。
应用场景 mysql搭建完毕后,需要进行使用,但是发现没有密码,没有安全保障。另外,在命令行执行mysql很麻烦,非常变扭,可以通过Navicat客户端工具连接mysql,界面化,使库表结构更加清晰可见,所以需要设置...
应用场景 在windows电脑上需要使用mysql数据库,来存储查询数据,那么得在windows上安装mysql数据库。
应用场景 公司分配给你三台服务器,要求你使他们时间同步,有人问为什么要时间同步?如果一个集群中,时间相差很大,那么会出现很多诡异的问题,你也不想在一个无法解决的问题上浪费几天时间吧!总之,设置服务器之间时间同步,为了避免很...
应用场景 在windows系统环境中,如果需要运行java,开发java的环境,那么就需要在电脑上安装jdk【又称为,java的运行开发环境】,很多第三方软件都需要使用到jdk,比如tomcat,eclipse,等等,所以安装jdk,可能是安装很多软件的第一步! 资源下载 jdk1.
应用场景 当使用centos 7.x系统的时候,安装mysql数据库,与之前的方法有些区别,因为CentOS 7将mysql数据库软件从默认的程序列表中移除了,用mariadb代替。