CDH cloudera manager 구성 (configuration) 에서 값을 변경하고 저장해도 제대로 반영이 안되는 경우가 있다.
예를들어,
map reduce 설정에서 mapred.tasktracker.map.tasks.maximum 값을 3으로 변경(기본 값은 2)하고 저장한 뒤, 클라이언트 구성배포 & mapreduce 서비스 재시작을 해도~
실제 job을 돌려서 해당 job의 job.xml (http jobtracker에서 해당 job을 클릭해서 들어가면 Job File의 링크가 있다) 을 보면,
mapred.tasktracker.map.tasks.maximum | 2 |
라고 나와있는 경우이다.
왜 그럴까??
버그다. -_-
(https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!topic/cdh-user/OoHS8AEj5UU)
어떻게 해결해야 할까?
서비스 > mapreduce > 구성
을 들어가보면, 왼쪽에 서비스차원, TaskTracker, JobTracker, 클라이언트 설정이 있다.
이들 각각에 고급에 들어가면 mapred-site.xml의 XXXX 안전 밸브 라는 녀석이 있는데, 이 녀석을 수정해 주어야 한다.
따라서 총 4번만(?) 수정하면 된다고 한다... ^^++
직접 아래 값을 입력한다.
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>3</value>
</property>
변경후 한꺼번에 저장 > 클라이언트 구성 배포 > 서비스 재시작을 해준다.
그리고 다시 job을 실행시켜 job.xml을 확인해보면...
mapred.tasktracker.map.tasks.maximum | 3 |
원하던 대로 변경되었다.
위에 링크를 건 페이지 하단을 보면, 버그를 인정했고 다음 버전에는 수정해준다고 하니...
점점 나아지길 기대해 본다 ㅠㅠㅋ
[출처] CDH 설정 변경이 안되는 경우|작성자 박효균
'하둡(Hadoop)' 카테고리의 다른 글
hadoop에 필요한 JDK 설치전 설치여부확인하기 (0) | 2013.06.14 |
---|---|
하둡의 종류 (0) | 2013.06.14 |
하둡 설치 (0) | 2013.06.14 |
CDH 설정 하기 (0) | 2013.06.14 |
CDH 설치 (0) | 2013.06.14 |