在32位或64位的linux的操作系统,安装hadoop2.0d都没问题。
在64位的linux上安装的时候,hadoop为了追求性能,使用linux本地库。libhadoop.so.1.0.0文件要求32位的文件。使用2中方法解决:临时办法:
export HADOOP_COMMON_LIB_NATIVE_DIR=/home/grid/hadoop-2.2.0/lib/native
export HADOOP_OPTS="-D java.library.path=/home/grid/hadoop-2.2.0/lib"
彻底解决问题的办法:重新编译hadoop,让hadoop的本地库编译成64位的。
(1).在hadoop2.2的根目录下,分别创建data,name,tmp目录。data目录存储数据节点的数据文件。name目录存储namenode的元数据。tmp目录代表hadoop临时目录。
(2).涉及到的配置文件有7个:
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
以上个别文件默认不存在的,可以复制相应的tmplate文件获得。
(3).启动集群及检验
格式化namenode :/bin/hdfs namenode -format
启动hdfs:./sbin/start-dfs.sh
此时在h1上面运行的进程有:namenode,secondarynamenode
h2和h3上面运行的进程有:datanode
启动yarn:./sbin/start-yarn.sh
此时在h1上运行的进程有:namenode,secondarynamenode,resourcemanager
h2和h3上面运行的进程有:datanode,nodemanager
暂时这样,以后慢慢补充。
相关推荐
本文是详细的Hadoop2.0安装方法步骤
hadoop 2.0 详细安装手册。hadoop 2.0 详细安装手册。
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
Hadoop 2.0基本架构和发展趋势
Hadoop 2.0安装部署方法,手把手教,如何在linux上安装hadoop
hadoop2.0版本安装手册,包含hadoop、hive、hbase、mahout、sqoop、spark、storm、整个体系的安装配置
开源思想,少要积分,仅供学习参考。 Hadoop2.0 从0到HA安装运行步骤。 开源思想,少要积分,仅供学习参考。 Hadoop2.0 从0到HA安装运行步骤。
第5章 Hadoop 2.0 主流开源云架构(一) 第5章 Hadoop 2.0 主流开源云架构(二) 第5章 Hadoop 2.0 主流开源云架构(三) 第5章 Hadoop 2.0 主流开源云架构(四) 第5章 Hadoop 2.0 主流开源云架构(五) 第6章 ...
实战Hadoop2.0 PPT文档,没有经过修饰的原文档,大家分享学习
Hadoop2.0安装部署、MapReduce编程实践: 1.Hadoop 2.0体系介绍 2.Hadoop 2.0安装部署方法 3.MapReduce编程实践 4.MapReduce和关系型数据库计算速度比较
实战Hadoop 2.0:从云计算到大数据(第二版)
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据...
hadoop 2.0 文档资料。
CentOS6.0-Hadoop安装手册,详细介绍centos下hadoop的搭建过程
第 4 章 安装部署 Hive 444.1 解压并安装 Hive 44
为hadoop的学习搭建环境,研究hadoop处理和存储的机制。
大数据处理--hadoop2.0核心架构技术,主要介绍了大数据面临的挑战,而hadoop正是解决这些挑战的重要技术,接着分别介绍了hadoop1.0和hadoop2.0的区别,进而重点讲到hadoop2.0 YARN,详细分析MapReduce及HDFS架构。
第5章 Hadoop 2.0 主流开源云架构(一) 第5章 Hadoop 2.0 主流开源云架构(二) 第5章 Hadoop 2.0 主流开源云架构(三) 第5章 Hadoop 2.0 主流开源云架构(四) 第5章 Hadoop 2.0 主流开源云架构(五) 第6章 ...
第5章 Hadoop 2.0 主流开源云架构(一) 第5章 Hadoop 2.0 主流开源云架构(二) 第5章 Hadoop 2.0 主流开源云架构(三) 第5章 Hadoop 2.0 主流开源云架构(四) 第5章 Hadoop 2.0 主流开源云架构(五) 第6章 ...
第5章 Hadoop 2.0 主流开源云架构(一) 第5章 Hadoop 2.0 主流开源云架构(二) 第5章 Hadoop 2.0 主流开源云架构(三) 第5章 Hadoop 2.0 主流开源云架构(四) 第5章 Hadoop 2.0 主流开源云架构(五) 第6章 ...