• Storm集群安装部署步骤

    一般操作系统上都安装了Python,查看当前Python版本: python-V Python 2.6.6 3.1 下载Zeromq wget http://download.zeromq.org/zeromq-4.0.4.tar.gz tar zxvf zeromq-4.0.4.tar.gz configure make&make install...
    文章 2016-04-08 5017浏览量
  • ansible2.4安装和体验

    在此机器执行ansible命令操作cdh002机器cdh002192.168.133.162从ansible机器上,通过ansible命令和脚本,操作cdh002安装root账号登录ansible机器,一行命令安装:yum install-y ansible查看版本:[root@ansible ...
    文章 2022-03-30 77浏览量
  • DataWorks搬站方案:Airflow作业迁移至DataWorks

    CDH设置项可选值sparkt-submit转换为CDH_SPARK命令行 SQL任务转换为CDH_HIVE,CDH_IMPALA,CDH_PRESTO,CDH_SPARK_SQL目标计算引擎类型CDHShell类型转换为DIDE_SHELL未知任务转换为DIDE_SHELL、VIRTUALSQL节点转换为CDH...
    文章 2021-04-23 826浏览量
  • Impala配置Kerberos认证

    并设置权限,分别在 cdh1、cdh2、cdh3 上执行: ssh cdh1"cd/etc/impala/conf/;chown impala:hadoop*.keytab;chmod 400*.keytab ssh cdh2"cd/etc/impala/conf/;chown impala:hadoop*.keytab;chmod 400*.keytab ssh ...
    文章 2016-04-08 6563浏览量
  • Centos7使用CDH6.3.0安装大数据集群

    修改网络和主机名cdh6-master[root@cdh6-master~]#hostnamectl set-hostname cdh6-master [root@cdh6-master~]#vi/etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no ...
    文章 2022-04-26 211浏览量
  • Spark集群安装和使用

    spark-python.noarch 1.3.0+cdh5.4.0+24-1.cdh5.4.0.p0.52.el6 spark-worker.noarch 1.3.0+cdh5.4.0+24-1.cdh5.4.0.p0.52.el6 hue-spark.x86_64 3.7.0+cdh5.4.0+1145-1.cdh5.4.0.p0.58.el6 以上包作用如下: spark-...
    文章 2016-04-08 5050浏览量
  • 0039-如何使用Python Impyla客户端连接Hive和Impala

    搭建Python私有源后,本章节主要讲述如何使用Pyton Impyla客户端连接CDH集群的HiveServer2和Impala Daemon,并进行SQL操作。内容概述 1.依赖包安装 2.代码编写 3.代码测试 测试环境 1.CM和CDH版本为5.11.2 2.RedHat7...
    文章 2018-11-22 3224浏览量
  • 0039-如何使用Python Impyla客户端连接Hive和Impala

    搭建Python私有源后,本章节主要讲述如何使用Pyton Impyla客户端连接CDH集群的HiveServer2和Impala Daemon,并进行SQL操作。内容概述 1.依赖包安装 2.代码编写 3.代码测试 测试环境 1.CM和CDH版本为5.11.2 2.RedHat7...
    文章 2018-11-22 2569浏览量
  • 安装cdh5.0执行impala-shell命令报impala_shell.py...

    python:can't open file '/usr/lib/impala-shell/impala_shell.py':[Errno 2]No such file or directory 二 解决方案 mkdir-p/usr/lib/impala-shell/ opt/cloudera/parcels/CDH/lib/impala-shell cp-r*/usr/lib/...
    文章 2016-05-13 4451浏览量
  • 记录一次帮网友解决CDH集群机器的时钟偏差

    尝试方法:2.0 检查防火墙,python有无升级,是否ping通 2.1 尝试web重启 cloudera management service 和 Cluster1 2.2 尝试重启 cloudera-scm-agent 和 cloudera-scm-server2.3 尝试2.1节时,实时查看 tail-f/var...
    文章 2017-02-09 1708浏览量
  • CDH5.10.0 离线安装(共3节点)

    注意:需要把CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 改名为 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha ll/var/www/html/cdh_parcel rwxr-xr-x 1 root root 1501694035 Feb 20 15:17 CDH-5.10.0-1.cdh5....
    文章 1970-01-01 1861浏览量
  • Cloudera(CDH)简介和在线安装

    经过搜索发现Cloudera产品很适合笔者当前需求,于是开始研究Cloudera(CDH)的安装与使用,参考: Cloudera 官网:https://www.cloudera.com Cloudera 官方文档:...
    文章 2017-12-08 3653浏览量
  • 0038-如何在CDH集群安装Anaconda&搭建Python私有源

    本文档讲述如何在CDH集群离线安装Anaconda、搭建Python私有源及pip工具使用。内容概述 1.如何在CDH集群上安装Anaconda 2.如何搭建python私有源 3.pip工具的使用 测试环境 1.操作系统:CentOS6.5 2.CM和CDH版本为5.12...
    文章 2018-11-22 1556浏览量
  • CDH集群部署最佳实践

    如果你正准备从0开始搭建一套CDH集群应用于生产环境,那么此时需要做的事情应该是 结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划,而不是马上动手去安装软件。合理的集群规划应该做到以下几点: 充分...
    文章 2019-11-19 7151浏览量
  • 利用python访问Hbase(Thrift模块安装与测试)

    sqoop版本:sqoop-1.2.0-CDH3B4 java版本:jdk1.7.0_67 mysql版本:5.1.65 Thrift版本:thrift-0.9.0 thrift安装链接:http://thrift.apache.org/download/ python版本:2.7.3 ps:python2.5版本使用thrift有问题 一...
    文章 2017-11-12 2147浏览量
  • 高可用Hadoop平台-Hue In Hadoop

    sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel 等待其安装完毕。3.2编译部署 在...
    文章 2016-04-20 3098浏览量
  • 高可用Hadoop平台-Hue In Hadoop

    sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel 等待其安装完毕。3.2编译部署 在...
    文章 2016-04-25 3549浏览量
  • Spark Sreaming实战(一)-教程概述

    1 实战目标至今实战教程的访问量至今从搜索引擎引流过来的实战教程的访问量2 实战流程3 可视化显示使用Spring Boot整合Echarts阿里云DataV数据可视化框架4...macOSJDK:1.8Hadoop:CDH(5.7)Scala:2.12IDE:IDEASpark:2.4.1
    文章 2021-12-03 40浏览量
  • hadoop mapreduce开发实践文件合并(join)

    STREAM_JAR_PATH="/home/hadoop/app/hadoop/hadoop-2.6.0-cdh5.13.0/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.13.0.jar INPUT_FILE_PATH_A="/input/join/a.txt INPUT_FILE_PATH_B="/input/join/b.txt ...
    文章 2017-11-12 2242浏览量
  • 高可用Hadoop平台-Hue In Hadoop

    sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel 等待其安装完毕。3.2编译部署 在...
    文章 2017-11-20 1089浏览量
  • hadoop mapreduce开发实践之输出数据压缩

    STREAM_JAR_PATH="/home/hadoop/app/hadoop/hadoop-2.6.0-cdh5.13.0/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.13.0.jar INPUT_FILE_PATH="/input/The_Man_of_Property OUTPUT_FILE_PATH="/output/...
    文章 2017-11-12 1076浏览量
  • 0030-如何在CDH中安装Kudu&Spark2&Kafka

    温馨提示:要看高清无码套图...集群的jdk版本为jdk1.7.0_67,从Spark2.2.0版本后不再支持Java7、Python2.6和Hadoop2.6.5之前的版本,所以此处选择Spark 2.1.0版本部署。3.1安装csd文件 1.下载csd文件,下载地址如下: ...
    文章 2018-11-20 2026浏览量
  • centos7.2下搭建CDH5.8.3

    yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi 注意这个地方依赖包不安装完下面启动集群的时候会死活启动不了...
    文章 2017-11-27 1613浏览量
  • Centos&Ubuntu 安装 Impala

    apt-get install python-setuptools 出错则根据错误修改(apt-get-f install) dpkg-i impala-shell_1.4.0-1.impala1.4.0.p0.7-precise-impala1.4.0_all.deb impala安装完毕。5、impala配置 vi/etc/hosts 127.0.0.1 ...
    文章 2018-07-10 5012浏览量
  • CDH 5.7.0 安装文档

    cp CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel/opt/cloudera/parcel-repo/cp CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1/opt/cloudera/parcel-repo/cp manifest.json/opt/cloudera/parcel-repo/ 改名#mv/opt/cloudera...
    文章 2017-10-30 1669浏览量
  • CDH集群安装&测试总结

    在批量安装完毕系统之后,本节主要围绕搭建CDH集群的基础建设进行介绍,基础建设简称基建,主要是为了支撑CDH集群后序工作流畅进行的一系列Linux系统的设置工作,基础建设工作没有做好,后面安装使用集群过程中会...
    文章 2016-10-07 2238浏览量
  • Dolphinscheduler海豚调度器实现离线任务提交安装实录

    opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark#export PYTHON_HOME&61;export JAVA_HOME&61;usr/java/jdk1.8.0_181export HIVE_HOME&61;opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib...
    文章 2022-07-19 182浏览量
  • Presto介绍

    Python 2.4+ 2.1 连接器 Presto 支持可插拔的连接器用于提供数据查询。不同连接器的要求不一样。HADOOP/HIVE Presto 支持读以下版本的 hive 数据: Apache Hadoop 1.x,使用 hive-hadoop1 连接器 Apache Hadoop 2....
    文章 2016-04-08 11475浏览量
  • Spark本地模式运行

    tar zxvf/usr/lib/spark/lib/python.tar.gz-C/usr/lib/spark/examples/python bin/spark-submit examples/python/pi.py 10 对于 Java 程序,我们需要先编译代码然后打包运行: spark-submit-class"SimpleApp"-master...
    文章 2016-04-08 7170浏览量
  • 记录CDH安装的一个坑:could not contact scm server ...

    检查python版本2.6.6 3.检查/etc/hosts文件,重启网络service network restart 4.检查/etc/sysconfig/network文件,重启网络service network restart5.检查/etc/resolv.conf文件,重启网络service network restart6....
    文章 2017-04-19 2218浏览量
1 2 3 4 5 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化