Hadoop HDFS和HBase单机配置过程

2020-05-18 16:59:32

系统环境

Ubuntu 12.04 Desktop 32bit

1. 环境配置

安装Java。优先选择采用Oracle的Sun JDK，版本在1.6之上，我的版本是jdk1.7.0_05

在~/.bashrc中的开始加入设置环境变量JAVA_HOME, CLASSPATH，PATH

禁掉IPv6，修改/etc/sysctl.conf，在后增加：

net.ipv6.conf.all.disable_ipv6=1

net.ipv6.conf.default.disable_ipv6=1

net.ipv6.conf.lo.disable_ipv6=1

安装openssh-server

sudo apt-get install openssh-server

设置无密码ssh登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2. Hadoop配置(1.0.3)

修改hadoop/conf/hadoop-env.sh

export JAVA_HOME=/home/joy/jdk1.7.0_05

修改hadoop/conf/core-site.xml

fs.default.name

hdfs://localhost:9000

hadoop.tmp.dir

/home/joy/hadoopdata/tmp

修改hadoop/conf/hdfs-site.xml

dfs.replication

dfs.name.dir

/home/joy/hadoopdata/dfs/name

dfs.data.dir

/home/joy/hadoopdata/dfs/data

修改hadoop/conf/mapred_site.xml

mapred.job.tracker

localhost:9001

运行hadoop hdfs

bin/hadoop namenode -format

bin/start-all.sh

停止hadoop hdfs

bin/stop-all.sh

可以打开

http://localhost:50070 查看NameNode

http://localhost:50030 查看JobTracker

3. HBase配置(0.94.0，缺省内置zookeeper)

修改hbase/conf/hbase-site.xml

hbase.rootdir

hdfs://localhost:9000/hbase

zookeeper.znode.parent

/hbase

启动HBase

bin/start-hbase.sh

停止HBase

bin/stop-hbase.sh

HBase命令行

bin/hbase shell

updated by joy @ 2012-07-24 00:31

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/7785340/viewspace-1119831/，如需转载，请注明出处，否则将追究法律责任。

分享好友

分享这个小栈给你的朋友们，一起进步吧。

Hbase资料库

创建时间：2020-05-08 14:42:11

Hbase资料库一站式查询。

展开

订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅：虚拟交易，一经交易不退款；若特殊情况，可3日内客服咨询

• 专区发布评论属默认订阅所评论专区（除付费小栈外）

技术专家

查看更多

小雨滴
专家
Leila

专家
飘絮絮絮丶

专家