当前位置: 首页 > hadoop, 分布式系统 > 正文

windows7 cygwin hadoop 集群搭建(一)

1 星2 星3 星4 星5 星 (1 次投票, 评分: 5.00, 总分: 5)
Loading ... Loading ...
baidu_share
文章目录

一.cygwin在windows7下安装

1.首先在http://www.cygwin.com/下载安装cygwin.
2.双击setup.exe,点击next,选择从internet安装。
cygwin1
3.选择安装路径。点击”下一步”
cygwin2
4.选择本地包路径。点击”下一步”
cygwin3
5.选择直接连接internet。点击”下一步”
cygwin4
6.选择安装的镜像。最好选国外的镜像。国外镜像为英文版。
cygwin5
7.选择Net default包,将其中的openssh及openssl选上
cygwin6
8.待cygwin安装完成后,打开cygwin进行配置,首先输入:ssh-host-config.回车。
在第一步询问“Should privilege separation be used?(yes/no)”时,输入no;

在第二步询问“(Say “no” if it is alreadyinstalled as a service) (yes/no)”时,输入yes;

在第三步询问“Enter the value of CYGWIN for thedaemon: []”,直接回车。

在提示创建一个cygwin server用户 选择yes。回车。见到Have fun!就说明成功了。

9.使用windows的管理工具中的服务管理,将“CYGWIN sshd”服务启动。

回到cygwin环境,执行 ssh localhost命令。在第一步询问中输入yes,在第二步要求输入密码时,输入用户密码。

10.在cygwin中输入ssh-keygen,一路回车即可。

11.cygwin下依次执行如下命令:

cd ~/.ssh
cp id_rsa.pub authorized_keys

至此,cygwin在windows7下安装完成。

二.hadoop单机模式安装

1.下载hadoop 1.2.1,解压缩至目录。

2.在默认的情况下,hadoop配置不是一个分布式配置,至少作为一个java程序。运行单机例子。
在hadoop目录下:

mkdir input
echo "Hello world Bye world" > input/file1
echo "hello hadoop bye hadoop" > input/file2
bin/hadoop jar hadoop-examples-*.jar wordcount input output

输出运行过程部分截图:

13/09/28 17:26:58 INFO mapred.JobClient:  map 100% reduce 100%
13/09/28 17:26:58 INFO mapred.JobClient: Job complete: job_local1765739562_0001
13/09/28 17:26:58 INFO mapred.JobClient: Counters: 17
13/09/28 17:26:58 INFO mapred.JobClient:   File Output Format Counters
13/09/28 17:26:58 INFO mapred.JobClient:     Bytes Written=57
13/09/28 17:26:58 INFO mapred.JobClient:   FileSystemCounters
13/09/28 17:26:58 INFO mapred.JobClient:     FILE_BYTES_READ=429664
13/09/28 17:26:58 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=588234
13/09/28 17:26:58 INFO mapred.JobClient:   File Input Format Counters
13/09/28 17:26:58 INFO mapred.JobClient:     Bytes Read=46
13/09/28 17:26:58 INFO mapred.JobClient:   Map-Reduce Framework
13/09/28 17:26:58 INFO mapred.JobClient:     Reduce input groups=6
13/09/28 17:26:58 INFO mapred.JobClient:     Map output materialized bytes=81
13/09/28 17:26:58 INFO mapred.JobClient:     Combine output records=6
13/09/28 17:26:58 INFO mapred.JobClient:     Map input records=2
13/09/28 17:26:58 INFO mapred.JobClient:     Reduce shuffle bytes=0
13/09/28 17:26:58 INFO mapred.JobClient:     Reduce output records=6
13/09/28 17:26:58 INFO mapred.JobClient:     Spilled Records=12
13/09/28 17:26:58 INFO mapred.JobClient:     Map output bytes=78
13/09/28 17:26:58 INFO mapred.JobClient:     Total committed heap usage (bytes)=482291712
13/09/28 17:26:58 INFO mapred.JobClient:     Combine input records=8
13/09/28 17:26:58 INFO mapred.JobClient:     Map output records=8
13/09/28 17:26:58 INFO mapred.JobClient:     SPLIT_RAW_BYTES=210
13/09/28 17:26:58 INFO mapred.JobClient:     Reduce input records=6

查看结果

$ cat output/*
Bye     1
Hello   1
bye     1
hadoop  2
hello   1
world   2

备注:在运行过程中,可能会出现异常:Exception in thread “main” java.io.IOException: Failed to set permissions of path异常请参考:cygwin nutch Failed to set permissions of path 异常解决

又一个单机例子:

$ mkdir inputtest 
$ cp conf/*.xml inputtest 
$ bin/hadoop jar hadoop-examples-*.jar grep inputtest output1 'dfs[a-z.]+' 
$ cat output1/*

结果:

1       dfs.data.dir
1       dfs.name.dir
1       dfs.permissions
1       dfs.replication
1       dfsadmin

参考文章:Single Node Setup

本文固定链接: http://www.chepoo.com/windows7-cygwin-hadoop-cluster-structures-1.html | IT技术精华网

windows7 cygwin hadoop 集群搭建(一):等您坐沙发呢!

发表评论