Life with Programming

experience dfshealth.jsp 접근해보니, 특정 데이터 노드가 dead node로 들어가 있는 것 확인.    해당 서버 로그확인해보니, 아래와 같은 로그와 함께 data node가  shutdown 되어 있음.    >>>>>>>>>>>>Removed 80795 out of 418745(took 524 millisecs) WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode.handleDiskError: Keep Running: false INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeCommand action: DNA_REGISTER WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode is shutting down.    DataNode failed volumes: 타겟 dfs 경로...        - 확인해보니, disk 이슈가 있는 경우, 자동으로 shutting down 된다는... hdfs-site.xml의 dfs.datanode.failed.volumes.tolerated 설정 값에 따라 몇개의 volume 이 잘못될 때까지 shutdown을 연기할지 설정도 가능한 듯...

experience  아래의 스텝으로 진행   1. alter table aaa set serdeproperties ( ...) 으로 serde 재설정   2. alter table aaa add columns ( ... ) 로 추가된 컬럼 추가..     * 위 step의 순서가 바뀌면 아래와 같은 오류 발생 ** SERDEPROPERTIES must include a property for every column.   * 이후 데이터 조회해 보면 추가된 column의 값은 null이 들어가 있는 것을 확인... @.@ ** external table로 만든 실제 hadoop상의 파일에 해당 컬럼에 매핑되는 데이터를 넣어도 이미 partition 생성시점(add column이전의 테이블 스키마)에는 add column이 적용되지 않아서 그런듯..   - 조회해보니, 파티션을 다시 생성해야 한다고함.. @.@ * 해당 hive 버전 0.11.0