하둡(Hadoop) 데이터노드(data node)가 갑자기 dead node로 변경되는 현상(DataNode failed volumes)
experience dfshealth.jsp 접근해보니, 특정 데이터 노드가 dead node로 들어가 있는 것 확인. 해당 서버 로그확인해보니, 아래와 같은 로그와 함께 data node가 shutdown 되어 있음. >>>>>>>>>>>>Removed 80795 out of 418745(took 524 millisecs) WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode.handleDiskError: Keep Running: false INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeCommand action: DNA_REGISTER WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode is shutting down. DataNode failed volumes: 타겟 dfs 경로... - 확인해보니, disk 이슈가 있는 경우, 자동으로 shutting down 된다는... hdfs-site.xml의 dfs.datanode.failed.volumes.tolerated 설정 값에 따라 몇개의 volume 이 잘못될 때까지 shutdown을 연기할지 설정도 가능한 듯...