在centos系統上進行hdfs日志分析可以通過以下幾種方法和工具來實現：
日志收集與配置
- log4j配置：hdfs的日志收集主要依賴于Log4j日志框架。可以在hadoop的配置文件中（例如hdfs-site.xml或core-site.xml）進行設置，以調整日志級別、輸出路徑等。常用配置參數包括hadoop.root.logger、hadoop.log.dir、hadoop.log.file和hadoop.log.level。
日志輪轉與歸檔
- Logrotate：使用logrotate工具來自動輪換日志文件，避免日志文件過大。可以通過創建日志輪換配置文件并將其放置在/etc/logrotate.d/目錄下實現。例如，可以配置/var/log/hadoop/hdfs/*.log文件每天輪換，并保留7個備份文件，同時壓縮舊的日志文件。
- 日志歸檔：HDFS日志默認存儲在/var/log/Bigdata/hdfs/目錄下，可以配置自動歸檔。當日志文件超過100MB時，會自動壓縮歸檔。歸檔文件名格式為原日志名-yyyy-mm-dd_hh-mm-ss.[編號].log.zip，最多保留最近的100個壓縮文件。
日志查看與分析
- journalctl：使用journalctl命令可以查看所有日志，包括內核日志和應用日志。例如，查看所有日志可以使用journalctl，查看內核日志可以使用journalctl -k，查看系統本次啟動的日志可以使用journalctl -b。
- 文本編輯器：使用文本編輯器（如vi、nano）直接查看和分析日志文件。例如，使用tail -f /path/to/hadoop/logs/hadoop-username-namenode-hostname.log可以實時監控日志文件的變化。
- elk Stack：使用ELK Stack（elasticsearch、Logstash、Kibana）進行日志分析和可視化。首先安裝Elasticsearch、Logstash和Kibana，然后配置Logstash從不同來源收集日志并發送到Elasticsearch，最后使用Kibana創建儀表板和可視化來分析日志數據。
安全性與權限管理
- 限制日志訪問權限：為了確保系統日志文件的安全性，可以限制用戶對系統日志的訪問權限。例如，創建日志組、設置日志目錄權限、添加用戶到日志組、設置SELinux上下文等。
自動化日志管理和清理
- 腳本和定時任務：使用腳本和定時任務（如crontab）來自動化日志的清理和歸檔。例如，定期刪除7天前的日志文件。
監控與告警
- Ganglia和prometheus：使用Ganglia和Prometheus進行監控，這些工具可以測量和監控集群和網格中的計算機性能指標，如CPU、內存、硬盤利用率、I/O負載、網絡流量等。
通過上述方法，可以在centos上高效地配置和管理HDFS日志，確保系統的穩定運行和安全性。
