macOS下Hadoop的安装和使用

安装环境

本机系统:macOS

虚拟机:Ubuntu

在安装Hadoop之前需要进行一些准备工作,包括创建hadoop用户、更新APT、安装SSH和安装Java环境等。


安装SSH

SSH是Secure Shell的缩写,是建立在应用层和传输层基础上的安全协议。SSH是目前比较可靠、专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序,后来又迅速扩展到其他操作平台。SSH是由客户端和服务端的软件组成,服务端是一个守护进程,它在后台运行并相应来自客户端的连接请求,客户端包含ssh程序以及像scp(远程赋值),slogin(远程登录),sftp(安全文件传输)等其他应用程序。

为什么在安装Hadoop之前要配置SSH呢?因为,Hadoop名称节点(NameNode)需要启动集群中所有机器的Hadoop守护进程,这个过程需要通过SSH登录来实现。Hadoop并没有提供SSH输入密码登录的形式,因此,为了能够顺利登录集群中的每台机器,需要将所有机器配置为“名称节点可以无密码登录它们”。

Ubuntu默认已安装了SSH客户端,因此,这里还需要安装SSH服务端,在Linux的终端中执行以下命令:

$sudo apt-get install openssh-server

安装后,可以使用如下命令登录本机:

ssh localhost

由于这样登录需要每次输入密码,所以需要配置成SSH无密码登录会比较方便。

首先输入命令exit退出刚才的SSH,回到了原先的终端窗口;然后利用ssh-keygen生成密钥,并将密钥加入到授权中,命令如下:

$cd ~/.ssh/            #若没有该目录,请先执行一次ssh localhost
$ssh-keygen -t rsa     #会有提示,按Enter键即可
$cat ./id_rsa.pub>>./authorized_keys      #加入授权

此时,在执行ssh localhost命令,无序输入密码就可以直接登录了。


安装Java环境


   转载规则


《macOS下Hadoop的安装和使用》 cyyyys 采用 知识共享署名 4.0 国际许可协议 进行许可。
 上一篇
汉明距离 汉明距离
题目要求两个整数之间的汉明距离指的是这两个数字对应二进制位不同的位置的数目。 给出两个整数 x 和 y,计算它们之间的汉明距离。 注意:0 ≤ x, y < 231. 示例: 输入: x = 1, y = 4 输出: 2 解释:
2019-09-08
下一篇 
翻转图像 翻转图像
题目要求给定一个二进制矩阵 A,我们想先水平翻转图像,然后反转图像并返回结果。 水平翻转图片就是将图片的每一行都进行翻转,即逆序。例如,水平翻转 [1, 1, 0] 的结果是 [0, 1, 1]。 反转图片的意思是图片中的 0 全部被 1
2019-09-07
  目录