forked from xianglei/easyhadoop
-
Notifications
You must be signed in to change notification settings - Fork 0
/
INSTALL_CN
175 lines (136 loc) · 6.19 KB
/
INSTALL_CN
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
EasyHadoopManager(以下简称EHM)安装和使用说明
本软件完全开源免费，并遵循GNU GPLv3协议
当前(1.1.2)支持服务器系统为CentOS/RedHat 5.x和CentOS/RedHat 6.x
本软件使用
lzo 2.06
lzop 1.03
hadoop 1.1.2-1
hadoopgpl 0.6.3-1
sun-jdk-6u45
##################################################################
安装后初始用户名为admin，密码为123456，请自行到用户管理变更!!!!
##################################################################
本软件分为两部分，EHM Central和 EHM Agent，其中Central为管理系统的界面，
工作在php web环境下。Agent为安装在节点服务器的工作代理。通过Socket与Central
连接，监听在节点服务器的30050端口，接收来自Central的指令并负责执行。
安装说明
1. 一台作为管理中心页面使用的服务器，可以使用任何操作系统。但不建议
使用windows。
2. 运行操作系统版本对应的安装脚本
python setup_centos_(x).py
3. 修改config.inc.php
语言和安装文件下载源配置项，如无特殊需要，可不设置
4.从网页中访问web服务器，直到你看见EHM的界面出现。
########使用说明########
说明前的说明：
你可以使用EHM根路径下的setup_centos_(x).py来提前下载hadoop相关文件，这样可以极大的
提高节点的安装速度。你也可以不使用setup_centos_(x).py来进行预下载。那样你就需要自己
手动下载相关的安装文件并放到hadoop文件夹中
一、节点管理说明
1. 以下内容，请以sudo -s 或sudo su -来使用root权限操作，而非sudo -u root
2. 将EasyHadoopAgent中的python脚本分别上传至每台待安装的
节点服务器的任意路径下，并依次执行下列命令：
------------
python setup_centos_(x).py
------------
注：执行前请确认30050和30051端口没有被其他程序所占用，且iptables服务处于关闭状态。
请确认关闭了selinux
Agent有两个执行选项，-b 和 -s，其中-b 可不填写，但 -s 选项必须写。
通常来说，我们希望把EHM的Agent绑定到一个相对安全的内网地址。例如192.168.1.2
或者172.16.1.2。当然这需要你的服务器具备内网的IP地址才可以。Agent典型的
执行命令应该是下面这样：
python EasyHadoopNodeAgent.py -s start -b 192.168.1.2
但是你要确定，这个IP地址跟架设EHM Center的地址是可以互相连接的。因为Agent
将会绑定192.168.1.2:30050这个地址。
你也可以执行以下短命令来代替：
python EasyHadoopNodeAgent.py -s start
这样执行将会绑定IP 0.0.0.0
选项说明
-b --bind 绑定当前节点服务器的IP地址，请指定一个内网地址
-s --signal Agent执行进程命令，start | stop | reload
3. 回到EHM的管理页面，选择节点管理->添加节点
输入待添加的节点主机名称，例如hadoopmaster或者hadoopslave1
主机名称很重要，涉及到未来推送配置文件，所以请务必正确填写
输入该节点IP地址
输入该节点未来在集群中所担负的角色。如namenode或datanode，小写输入，
如该节点同时担负多种角色。假如同时担任namenode和jobtracker，则名称
使用小写，并用英文半角逗号分隔，例如namenode,jobtracker。
注：在Hadoop 1.1.x中，角色名称通常分为以下五种
namenode
datanode
tasktracker
jobtracker
secondarynamenode
添加完成后，点击确认。
注：节点角色很重要，涉及到未来针对节点所进行的操作，如启动停止，
查看日志等功能，请务必正确填写。
点击导航栏首页，可以看到出现上次添加的节点主机列表。
4. 点击节点连通测试，在列表中找到上次添加的节点主机，并点击测试按钮。
如提示连通成功，则EHM与agent之间通信一切正常，可以继续下一步。
如提示接连失败，请检查步骤2时候已经执行，且iptables没有拦截30050端口。
5. 删除节点，将删除该节点在元数据库中的记录，并删除与该节点相关的独立
配置文件内容，请务必慎重。
6. 修改节点，请务必慎重，如修改节点IP，则与该节点相关的独立配置将无法
重新找到。其他输入同添加节点。
二、节点配置项管理说明
节点配置项为针对hadoop节点的相关设置。
1. 通用配置项设置可以理解为，该项目下的所有文件，为hadoop集群所通用，不需单独的
特殊设置。通常这样的设置包括hosts,core-site.xml文件。
添加通用配置项中，只需要输入目标节点服务器中的文件名。即说明该文件
存储在何处。例如你需要输入hdfs-sitexml这样的文件名。
提交后即可生成通用配置文件列表。
三、节点安装管理
1. 推送Hadoop文件
该功能可极大的加快hadoop的安装速度，但要求你先使用install_centos(x).sh来对hadoop安装文件进行预下载。
先执行
chmod +x install_centos(x).sh
./install_centos(x).sh
等待全部文件下载完成，即可使用该功能将hadoop相关的安装文件推送至节点服务器。您也可以不使用该
功能，节点服务器会自行从EasyHadoop网站源下载安装所需要的文件，并自动判断你的操作系统版本来
进行后续的安装工作。
但节点自行下载通常取决于服务器的连接网速，如网速较慢或节点处于内网或VPN而无法访问公网。建议您
还是使用下载脚本，然后进行推送。
您也可以自行从EasyHadoop网站的源下载到个人电脑上，并上传到EHM的hadoop文件夹内。
通常的下载文件包括
当前的源服务器地址在http://113.11.199.230/，自行下载请对照下列文件名
hadoop-1.1.1-1.x86_64.rpm
jdk-6u37-linux-x64.rpm
lzo-2.06-1.el6.rfx.x86_64.rpm
lzo-devel-2.06-1.el5.rf.x86_64.rpm
lzop-1.03.tar.gz
hadoop-gpl-packaging-0.5.4-1.x86_64.rpm
lzo-2.06-1.el5.rf.x86_64.rpm
lzo-2.06.tar.gz
lzo-devel-2.06-1.el6.rfx.x86_64.rpm
2. 安装Hadoop相关
在列表中选择需要安装Hadoop系统的主机，点击安装按钮
页面上方会出现几个安装按钮，按需求点击即可。特别需要说明的是，安装依赖环境
将在节点服务器使用yum安装请确保节点服务器可以连接到CentOS的yum源。如果在最初
没有设置nginx和php的超时时间，很有可能在yum安装过程中出现页面超时错误，但无
需担心，这只是页面超时，节点仍然会竭尽全力将依赖环境设置完成。过一会回来，
你再刷新点击该按钮，会发现依赖环境已经装完。
其他安装项，在已经推送Hadoop安装文件的情况下将会直接安装，如未执行推送，将会
自动从EasyHadoop源下载安装包并安装。这也有可能造成网页超时，所以强烈建议先进行
Hadoop文件推送。节点上的Agent会自动判断操作系统版本，并选择合适的安装包进行
安装。目前支持CentOS/RedHat 5.x和CentOS/RedHat 6.x
3. 推送配置文件。
将之前在节点配置设置中所设定的通用配置和节点配置通过Agent推送给节点服务器。
推送配置后，如需配置生效，需要在节点操作配置中重启Hadoop的相应角色进程。推送
前请确认确实已经设置好了节点配置文件，因为该命令一旦发出，将覆盖原节点服务器中的配置文件。
该项操作不可被撤销！！！
四、节点操作管理
1. 格式化namenode，基于安全考虑，目前暂不开放该功能。
2. 节点操作，该命令基于之前设置的节点角色，可在这里对不同的节点角色进程进行启动，
停止，重启工作和查看日志功能。生产环境请慎用。
3. 查看节点日志，该操作将查看节点上的角色所对应的最后500条日志。请注意
该功能仅可查看使用easyhadoop安装的服务器日志，如你使用apache源码或者其他公司的
Hadoop，将会提示无法找到日志的错误。
4. 查看节点状态，将轮询所有hadoop服务器，并返回当前节点进程的状态和PID，如节点工作一切
正常，则会显示绿色并返回当前角色的进程号，如角色进程工作不正常，则返回红色的未连接状态。
可以依据该项目来进行hadoop的维护工作。
五、节点监控
目前可以监控内存，存储，CPU，负载和map/reduce使用情况，实时刷新状态
六、用户管理
目前提供单用户管理，初始安装时的用户名为admin，密码为123456。请自行修改密码。
七、登出
从EasyHadoopManager中登出，并返回登录界面。