'전체 글'에 해당되는 글 260건

  1. 2013.06.14 CDH 설정 변경이 안되는 경우
728x90

CDH cloudera manager 구성 (configuration) 에서 값을 변경하고 저장해도 제대로 반영이 안되는 경우가 있다.

 

예를들어,

map reduce 설정에서 mapred.tasktracker.map.tasks.maximum 값을 3으로 변경(기본 값은 2)하고 저장한 뒤, 클라이언트 구성배포 & mapreduce 서비스 재시작을 해도~

실제 job을 돌려서 해당 job의 job.xml (http jobtracker에서 해당 job을 클릭해서 들어가면 Job File의 링크가 있다) 을 보면,

mapred.tasktracker.map.tasks.maximum2

라고 나와있는 경우이다.

 

왜 그럴까??

버그다. -_-

(https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!topic/cdh-user/OoHS8AEj5UU)

 

어떻게 해결해야 할까?

서비스 > mapreduce > 구성

을 들어가보면, 왼쪽에 서비스차원, TaskTracker, JobTracker, 클라이언트 설정이 있다.

이들 각각에 고급에 들어가면 mapred-site.xml의 XXXX 안전 밸브 라는 녀석이 있는데, 이 녀석을 수정해 주어야 한다.

따라서 총 4번만(?) 수정하면 된다고 한다... ^^++

 

 

직접 아래 값을 입력한다.

<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>3</value>
</property>

 

변경후 한꺼번에 저장 > 클라이언트 구성 배포 > 서비스 재시작을 해준다.

 

그리고 다시 job을 실행시켜 job.xml을 확인해보면...

mapred.tasktracker.map.tasks.maximum3

 

원하던 대로 변경되었다.

 

위에 링크를 건 페이지 하단을 보면, 버그를 인정했고 다음 버전에는 수정해준다고 하니...

점점 나아지길 기대해 본다 ㅠㅠㅋ


728x90

'하둡(Hadoop)' 카테고리의 다른 글

hadoop에 필요한 JDK 설치전 설치여부확인하기  (0) 2013.06.14
하둡의 종류  (0) 2013.06.14
하둡 설치  (0) 2013.06.14
CDH 설정 하기  (0) 2013.06.14
CDH 설치  (0) 2013.06.14
Posted by 정망스
,


맨 위로
홈으로 ▲위로 ▼아래로 ♥댓글쓰기 새로고침