在centos系統(tǒng)中設(shè)置hdfs（hadoop分布式文件系統(tǒng)）通常需要執(zhí)行以下幾個步驟：

1. 安裝Java：hadoop依賴于Java環(huán)境，因此確保你的centos系統(tǒng)已安裝Java。可以使用以下命令安裝OpenJDK：

    sudo yum install java-1.8.0-openjdk-devel

2. 下載并解壓Hadoop：從apache Hadoop官方網(wǎng)站下載最新的Hadoop版本，并將其解壓到你選擇的目錄中。

    wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz  tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

3. 設(shè)置Hadoop環(huán)境變量：編輯/etc/profile.d/hadoop.sh文件，添加Hadoop的環(huán)境變量。

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk  export HADOOP_HOME=/usr/local/hadoop-3.3.1  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   然后使環(huán)境變量生效：

    source /etc/profile.d/hadoop.sh

4. 配置Hadoop：編輯Hadoop配置文件，這些文件位于$HADOOP_HOME/etc/hadoop目錄下。

   • core-site.xml：配置Hadoop的核心屬性，例如文件系統(tǒng)的默認(rèn)名稱。

       <configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>

   • hdfs-site.xml：配置HDFS的屬性，例如副本數(shù)和數(shù)據(jù)節(jié)點的存儲路徑。

       <configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop-3.3.1/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop-3.3.1/data/datanode</value></property></configuration>

   • yarn-site.xml：配置yarn的屬性，例如資源管理器和節(jié)點管理器的地址。

       <configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

   • mapred-site.xml：配置MapReduce的屬性。

       <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

5. 格式化HDFS：在首次啟動HDFS之前，需要對NameNode進(jìn)行格式化。

    hdfs namenode -format

6. 啟動Hadoop集群：啟動HDFS和YARN服務(wù)。

    start-dfs.sh  start-yarn.sh

7. 檢查集群狀態(tài)：使用以下命令檢查HDFS和YARN的狀態(tài)。

    jps

   你應(yīng)該能看到NameNode、DataNode、SecondaryNameNode、ResourceManager和NodeManager等進(jìn)程。

8. 訪問Web界面：你可以通過瀏覽器訪問HDFS和YARN的Web界面來監(jiān)控集群狀態(tài)。

   • HDFS Web界面：http://:50070
   • YARN Web界面：http://:8088

通過上述步驟，你可以在CentOS系統(tǒng)中成功設(shè)置并啟動HDFS。