Hadoop 安装教程
单机/伪分布式配置Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04)
本教程采用Hadoop 2.7.1作为示例 等版本点击这里从百度云盘下载（提取码：a52w）
创建用户
增加一个名为 nbu 的用户用于大数据实验，输入如下命令创建新用户 :
sudo useradd -m nbu -s /bin/bash#这条命令创建了可以登陆的 nbu 用户，并使用 /bin/bash 作为 shell。
sudo passwd nbu# 为nbu用户创建密码
可为 nbu 用户增加管理员权限，方便部署，避免一些
Hadoop
2022-12-10 21:16:27
285
0
0
Yarn基本配置
修改mapred-site.xml 由于在配置文件目录cd /usr/local/hadoop/etc/hadoop/下没有，需要将mapred-site.xml.template复制为mapred-site.xml
nbu@ecs:~$ cd /usr/local/hadoop/etc/hadoop/nbu@ecs:/usr/local/hadoop/etc/hadoop$ cp mapred-site.xml.template mapred-site.xmlnbu@ecs:/usr/local/hadoop/etc/hadoop$ vim mapred-s
Hadoop 分布式文件系统（Hadoop Distributed File System,HDFS）是 Hadoop 核心组件之一，如果已经安装了 Hadoop，其中就已经包含了 HDFS 组件，不需要另外安装。
接下来介绍 Linux 操作系统中关于 HDFS 文件操作的常用 Shell 命令，利用 Web 界面查看和管理 Hadoop 文件系统，以及利用 Hadoop 提供的 Java API 进行基本的文件操作。
在学习 HDFS 编程实践前，我们需要启动 Hadoop。执行如下命令
nbu@ecs:~$ cd /usr/local/hadoop./sbin/sta
HDFS文件读写(JAVA API Maven)
读HDFS文件
1. 启动hdfs并向hdsf中存入文件text.txt
text.txt的内容为"hello nbu", 并将text.txt保存至HDFS中
nbu@ecs:~$ echo "hello nbu" > ~/text.txtnbu@ecs:~$ /usr/local/hadoop/bin/hdfs dfs -put ~/text.txt /user/nbu/text.txt
2. 在~目录下建立hdfs工程文件
nbu@ecs:~$ mkdir -p bigdata/hd
编译、打包 Hadoop MapReduce 程序
将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中，在 ~/.bashrc 中增加如下几行：
export HADOOP_HOME=/usr/local/hadoopexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
修改.bashrc文件后，执行 source ~/.bashrc 使变量生效。
nbu@ecs:~$ mkdir -p bigdata/mapreduce/nbu@ecs:~$ cd bigd
大数据学习