hdfs（hadoop Distributed File System）是一種分布式文件系統，旨在存儲和管理大規模數據集。它采用主從（Master/Slave）架構，由一個NameNode和多個DataNode構成。以下是HDFS文件系統的核心結構及其組成部分：
-
NameNode：
- 職責：NameNode充當HDFS的核心節點，負責管理文件系統的命名空間以及客戶端對文件的訪問。它記錄了文件系統的元數據，包括文件和目錄的層級關系、文件的塊分配詳情等。
- 存儲方式：NameNode利用兩種文件形式保存元數據：
- fsimage：用于保存文件系統的靜態快照。
- edits：記錄自上一次fsimage保存之后的所有變更操作。
- 運行機制：NameNode的所有操作均在內存中執行，從而提升效率。盡管數據在內存中持久化，但存在斷電丟失的風險。
-
DataNode：
- 作用：DataNode是HDFS中的存儲單元，負責實際數據塊的存儲。每個DataNode管理其所在機器上的數據塊，并定時向NameNode報告存儲的數據塊狀態。
- 數據交互：當客戶端請求讀取或寫入數據時，會經由NameNode獲取數據塊的具體位置信息，隨后直接與DataNode交互。DataNode還承擔數據的復制與容錯任務，保障數據的穩定性和可靠性。
-
Secondary NameNode：
- 功能：Secondary NameNode并非作為NameNode的備用節點，而是協助NameNode完成元數據的整合與檢查點操作。它周期性地從NameNode提取元數據快照，并合并這些快照以減少NameNode的壓力。
- 工作流程：Secondary NameNode按期從NameNode拉取最新的fsimage與edits文件，在本地整合生成新的fsimage，并將更新后的fsimage發送回NameNode。
-
數據塊（Block）：
- 存儲模式：HDFS將文件分割成固定大小的數據塊進行存儲，一般為128MB。這些數據塊分散儲存在不同DataNode上，同時每個數據塊會有多份副本（默認為3份），增強數據的安全性和容錯能力。
-
副本分布策略：
- HDFS運用機架感知策略優化副本的分布位置，確保副本位于不同的機架上，這不僅提升了數據的可靠性，還優化了網絡帶寬的使用。
-
客戶端：
- 客戶端借助HDFS提供的接口與NameNode和DataNode溝通，實現文件的創建、讀取、刪除等功能。
HDFS的設計目的在于為大數據應用提供高吞吐量的數據訪問能力，支持PB級的數據存儲與處理。憑借數據塊復制與容錯機制，HDFS保證了數據的高度可靠性和可用性。
