安装环境
本机系统:macOS
虚拟机:Ubuntu
在安装Hadoop之前需要进行一些准备工作,包括创建hadoop用户、更新APT、安装SSH和安装Java环境等。
安装SSH
SSH是Secure Shell的缩写,是建立在应用层和传输层基础上的安全协议。SSH是目前比较可靠、专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序,后来又迅速扩展到其他操作平台。SSH是由客户端和服务端的软件组成,服务端是一个守护进程,它在后台运行并相应来自客户端的连接请求,客户端包含ssh程序以及像scp(远程赋值),slogin(远程登录),sftp(安全文件传输)等其他应用程序。
为什么在安装Hadoop之前要配置SSH呢?因为,Hadoop名称节点(NameNode)需要启动集群中所有机器的Hadoop守护进程,这个过程需要通过SSH登录来实现。Hadoop并没有提供SSH输入密码登录的形式,因此,为了能够顺利登录集群中的每台机器,需要将所有机器配置为“名称节点可以无密码登录它们”。
Ubuntu默认已安装了SSH客户端,因此,这里还需要安装SSH服务端,在Linux的终端中执行以下命令:
$sudo apt-get install openssh-server
安装后,可以使用如下命令登录本机:
ssh localhost
由于这样登录需要每次输入密码,所以需要配置成SSH无密码登录会比较方便。
首先输入命令exit退出刚才的SSH,回到了原先的终端窗口;然后利用ssh-keygen生成密钥,并将密钥加入到授权中,命令如下:
$cd ~/.ssh/            #若没有该目录,请先执行一次ssh localhost
$ssh-keygen -t rsa     #会有提示,按Enter键即可
$cat ./id_rsa.pub>>./authorized_keys      #加入授权此时,在执行ssh localhost命令,无序输入密码就可以直接登录了。
 
                     
                     
                 
                        
                        