本文介紹如何擴展Debian hadoop集群，主要涵蓋動態擴容（添加節點）和動態縮容（移除節點）兩種方式。

一、動態擴容：添加新節點

1. 配置修改: 在NameNode節點修改hdfs-site.xml，添加dfs.hosts屬性，列出所有允許連接的DataNode節點的網絡地址；在ResourceManager節點修改yarn-site.xml，添加yarn.resourcemanager.nodes.include-path屬性，列出所有允許連接的NodeManager節點的網絡地址。

2. 新節點準備: 在新節點上安裝Hadoop并配置環境變量。修改新節點的slaves文件（或include文件，取決于你的配置），添加所有DataNode和NodeManager的主機名。

3. 啟動服務: 在新節點上啟動DataNode和NodeManager守護進程：

hadoop-daemon.sh start datanode yarn-daemon.sh start nodemanager

4. 驗證擴容: 使用hdfs dfsadmin -refreshNodes和yarn rmadmin -refreshNodes命令刷新節點列表，驗證新節點是否已成功加入集群。

二、動態縮容：移除節點

1. 準備移除: 在移除節點前，通知NameNode，以便hdfs將數據塊復制到其他DataNode節點，確保數據安全。

2. 停止服務: 停止待移除節點上的DataNode和NodeManager守護進程：

hadoop-daemon.sh stop datanode yarn-daemon.sh stop nodemanager

3. 更新配置: 從slaves文件（或include文件）中刪除待移除節點的主機名。

4. 驗證縮容: 使用hdfs dfsadmin -refreshNodes和yarn rmadmin -refreshNodes命令刷新節點列表，確認節點已成功移除。

重要提示: 在進行動態擴縮容操作前，務必備份配置文件和數據。確保所有節點的操作系統版本、Hadoop版本以及網絡配置一致，以保證集群的穩定性和數據完整性。 任何操作都應謹慎進行，并密切監控集群狀態。