728x90 emr10 [BigData] 헷갈릴 만한 용어 정리 HDFS 노드, EMR cluster 노드, Spark Application (process) 정리 1. HDFS구분name nodedata nodejournal node설명파일 시스템의 메타데이터(파일명, 디렉터리 구조, 블록 위치 등)를 관리실제 데이터는 보관하지 않고, 어떤 데이터 블록이 어느 DataNode에 저장되어 있는지 추적실제 데이터를 저장하고 관리NameNode의 지시에 따라 데이터를 저장하거나 삭제하고, 주기적으로 상태를 NameNode에 보고고가용성(HA) 환경에서 NameNode 간 메타데이터 변경 사항을 기록Active NameNode가 장애 발생 시 Standby NameNode가 JournalNode의 로그를 통해 복구특징NameNode의 부하를 줄이고 장애 발생 시 복구 시간을 단축NameNode의 백업으로 작동하지만, NameNode와 1:1로 동작하지 않음다수의 Data.. 2021. 8. 19. 이전 1 2 다음 728x90