通过web界面自动化部署Hadoop
in 默认分类 with 0 comment

通过web界面自动化部署Hadoop

in 默认分类 with 0 comment

介绍

这是我的一个课程设计作业,需要通过web界面来实现在Linux上面部署Hadoop的过程

众所周知的大数据框架Hadoop的安装和部署是一个很繁琐的,很耗时的一个过程,所以如果能够自动化的实现这些步骤的话可以节省很多的人力和时间。这可能是老师布置这个作业的一个初衷吧!

任务分析

万事开头难,所以开始这个项目之前,我们需要对这个任务做一个分析,这样能让我们更加清晰的直到我们需要干些什么事情。


在这里我就不给出这两个tar包的下载地址了,因为这个的确很好找,其次是我事先没有准备现在比较懒.....

shell主要事项

  1. 创建安装目录,解压tar包
  2. 配置主机名与IP地址的映射
  3. 配置环境变量
  4. 配置Hadoop的xml文件

到这基本上思路已经有了,干什么事应该也是清楚的,ok可以开始写shell了

shell

脚本的代码实在是太多这里就不详细的写出来了,写一些我觉得还行的一些实现方法吧!

自动化配置xml文件

我使用的方案是通过将xml文件中本来的内容做为一个字符串的形式保存,然后再使用变量将需要配置的地方进行动态的修改,最后将这个字符串覆盖到文件中,代码如下:

# 配置core-site.xml文件
core='<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://'$2':9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/lib/hadoop/tmp</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>4096</value>
  </property>
</configuration>
' 
echo "${core}" > $HADOOP_HOME/etc/hadoop/core-site.xml

web

....未完待续

Responses