在centos系統中配置hadoop分布式文件系統（hdfs）是一項復雜的任務，需要經過多個步驟來完成。以下是詳細的配置指南：
準備環境
- 安裝Java環境：
- 安裝ssh服務：
- 確保所有節點之間可以無密碼登錄SSH。“` sudo yum install -y openssh-server openssh-client sudo systemctl start sshd sudo systemctl enable sshd ssh-keygen -t rsa -P “” ssh-copy-id root@node2 ssh-copy-id root@node3
- 網絡配置：
- 配置主機名和IP地址映射。“` vi /etc/hosts vi /etc/sysconfig/network-scripts/ifcfg-ens33
- 設置靜態IP地址和網關。
設置Hadoop環境變量
- 修改 /etc/profile 文件：
vi /etc/profile export JAVA_HOME=/usr/java/latest export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/usr/local/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile
配置hdfs核心文件
- 配置 core-site.xml：
<configuration><property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value></property></configuration>
- 配置 hdfs-site.xml：
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop/hdfs/datanode</value></property></configuration>
格式化NameNode
- 初始化NameNode：
hdfs namenode -format
啟動HDFS
- 啟動HDFS服務：
sbin/start-dfs.sh
驗證配置
- 檢查HDFS狀態：
jps
- 您應該能夠看到NameNode、DataNode等進程。
配置防火墻（可選）
- 關閉防火墻：
sudo systemctl stop firewalld sudo chkconfig firewalld off
配置免密登錄（可選）
- 確保所有節點之間可以通過SSH無密碼登錄。
以上步驟提供了在centos上配置HDFS的基本流程。根據具體需求和環境，您可以進行進一步的調整和優化。
