빅 데이터와 함께 주목받은 것이 바로 "하둡(Hadoop)"이다. 더그 커팅과 마이크 카파렐라에 의해 개발된 하둡은 간단히 말해 방대한 양의 데이터를 분산 처리하여 빠른 시간 내 결과를 제공하는 오픈소스 기반 데이터 관리 기술로 분산시스템에서 대량의 자료를 처리하는 자유 자바 소프트웨어 프레임 워크다.

하둡의 뿌리는 구글과 맞닿아 있다. 이는 구글이 설립 초기부터 대규모 자료를 검색하고 분석하는데 사용한 분산 파일 시스템 GFS(Google File System)과 분산 처리 시스템 MapReduce에 대한 논물을 접한 더그 커팅이 이를 참고로 구현한 것이기 때문인데, 하둡은 구글 파일 시스템(GFS)을 대체할 수 있는 하둡 분산 파일 시스템(HDFS)과 맵리듀스(MapReduce)* 알고리즘을 구현한 오픈소스 프레임 워크인 것이다. '하둡'이란 명칭은 더그 커팅의 아들이 가지고 놀던 장난감 코끼리의 이름을 따서 지어졌다고 전해지는데, 그 때문에 하둡의 심볼 역시 노란 코끼리다.

대표적인 Hadoop 솔루션 업체로는 클라우데라(Cloudera)와 호튼웍스(Hortonworks)가 있다.

그중에서 나는 클라우데라에 대해 알아 보았는데.

클라우데라(Cloudera)는 빅 데이터와 클라우드 시장의 교육 및 기술자원을 제공하고 있다.

클라우 데라는 아파치 하둡 기반의 소프트웨어 및 서비스 분야의 리더이자, 모든 데이터를 보고 기업과 조직에게 강력한 새로운 데이터 플랫폼을 제공한다.

클라우 데라는 엔터프라이즈 코어 하둡을 위한 가장 포괄적인 솔루션과 데이터 센터의 빅 데이터를 위한 기초를 제공하고 있다. 클라우데라 매니저, CDH, 하둡 및 관련 프로젝트에 대한 클라우 데라에서 제공하는 오픈 소스 배포판 구성 및 운영등, 사용자들이 하둡과 관련된 필요한 기술들을 제공한다. 

CDH는 사용자들의 요구 사항을 충족시키기 위해 특별히 제작된 하둡 및 관련 프로젝트의 오픈 소스 배포판으로써 

확장 가능한 스토리지 및 분산 컴퓨팅 기능 뿐만 아니라, 보안, 가용성, 광범위한 통합등 하둡의 핵심요소들을 제공한다.

클라우데라에서는 무료로 다운로드를 받을수 있으며, 넓은 범위에 걸쳐 사용 사례 또한 많다.

현재 금융서비스, 정부, 통신, 미디어, 웹, 광고, 소매, 에너지, 생물 정보학, 의료, 대연 연구, 게임,등 여러 분야에서 CDH 가 널리 사용되고 있다.

자바나, C나, C++이나, 자바스크립트나, 어디서든 내가 공부할때마다 종종 나오는게 signed, unsigned라는 키워드였다.

늘 글을 볼때마다 대충 이해하고 넘어갔는데 다른 공부하다가 또 나오면 막상 이게 뭐였더라.........

도저히 안되겠다 싶어. 정리좀 해야겠다.

나에게 이해하기 쉽게 하도록 나는 '음수를 표현하고 안하고의 차이'다 라고 머리에 이제 집어 넣었다.

정리하자면 이렇다. 그럼 약간 세부적으로 들어가서 한번 알아보자

숫자 3을 1바이트를 2진수로 한번 기록해보자. (3은 2진수로 00000011 이 된다.)

Unsigned는 다음과 같이 할당된다. 

Signed는 음수를 표현해야 하기 때문에 제일 앞 비트인 MSB를 하나 소비한다.

(3인 양수라 MSB가 0 이지만 음수라면 1이 될것이다.)

[톰캣설치디렉터리]/conf/server.xml 파일에서

<Connector> 태그의

1.useBodyEncodingForURI 속성의 값을 true로 해주면

   request.setCharacterEncoding() 메서드로 지정한 캐릭터 셋이 적용된다.

2.URIEncoding 속성 값으로 원하는 캐릭터 셋을 지정하면 지정한 캐릭터셋으로 적용된다.

   단 request.setCharacterEncoding() 메서드로 지정한 캐릭터 셋은 적용 되지 않는다.

1.

2.

3.

3번은 두 속성을 함께 설정한 경우의 예이다. 이경우 request.setCharacterEncoding() 메서드를 사용해서 알맞은 캐릭터 셋을 지정해 주어야 GET 방식으로 전달된 파라미터를 올바르게 읽을 수 있다.

우선 이 환경을 구축하는데 있어서 이클립스, MinGW라는것을 사용합니다. 두개다 현재나온 최신버전으로 사용했습니다.

이클립스에 우선 CDT를 설치해줍니다.  windows에 install new software로 들어가셔서 저렇게 입력해주시면 됩니다. 저는 최근 버전인 kepler 버전 이클립스이기 때문에 끝에 주소 부분이 보면 kelper로 끝나는것 보이죠?

이클립스 홈페이지 가시면 각 버전에 맞는 cdt 주소가 있습니다. 확인하시면 됩니다.

두개 목록 선택하시고 Next

목록들 확인 계속 Next

동의란에 동의한다 체크하고 Finish

설치 중입니다.

이클립스를 재시작 해야 됩니다. yes 누르고 재시작 해주세요.

재시작 후에 우선 보시게 되면 목록에 c/c++ 일단 있는데 여기서 끝난게 아닙니다.

MinGW라는 것을 설치해야되는데, 위에서 CDT만 깔앗다고 되는것이 아닙니다. 따로 외부에서 제공되는 컴파일러를 깔아야 재대로 결과까지 볼수 있는데 그중에 하나가 MinGW 입니다.

다운받으시고 설치를 합니다.

c++ 까지 설치하실려면 c++도 체크하세요.

그리고 맨 밑에 보면 위에 두가지가 있는데 이것또한 설치해주세요..

cmd 창이 뜨면서 뭐 쭉쭉 설치되는데 기다리시면 됩니다. 한 2분정도? 안에는 다 될겁니다.

설치가 완료되었구요. 뭐 저거는 로그를 보여주는 txt 보겠냐라는 부분같은데 뭐 그냥 체크 해제하고 Finish 해줍니다.

이제 환경 변수에 추가를 해줘야하는데요.

시스템 변수에 Path 변수에 ;C:\MinGW\bin 을 추가합니다.

cmd 창을 열어서 gcc를 쳐서 저렇게 fatal error: no input files 문구가 뜨면 재대로 된겁니다.

이제 다시 이클립스를 키셔서 C++ 프로젝트 생성하시고 하실때 Toolchains 목록에 MinGW GCC를 선택해주고 Finish 합니다. MinGW GCC가 보이지 않으신 분들은 밑에 Show project types .......... 이 부분에 체크 해제를 한번해보세요. 그래도 안보인다면 설치가 잘못되었거나, 설정이 잘못된것으로 생각해야 될 것 같습니다.

이후 다 되셨다면 

코드 작성하시고 컨트롤 + b 하시면 빌드가 되고, 컨트롤 + f11 하시면 실행이 됩니다. 콘솔창에 결과가 보이게 될겁니다.

자바나, C나, C++ 등등 여러 언어에서 우리들은 코드를 작성할때 항상 ' ; ' 세미콜론을 끝으로 알림으로써 붙인다.

하지만 자바스크립트 에서는 줄구분이 되어있는 상태에서의 세미콜론 생략은 스크립트가 알아서 세미콜론이 있다고 생각하고 코드가 실행된다 예를 들면

return 

true ;

이러한 상태가 있다면 줄구분이 되어있고 return에는 세미콜론이 되어있지 않다 하지만 스크립트는 저기 끝에 세미콜린이 있다라고 생각하고 코드를 실행하게 된다. 

하지만 이러한 쓰임은 좋지 않으므로 좋은 프로그래밍 습관을 들이기 위해 항상 세미콜론을 붙이도록 하자, 왜냐하면

return ture; 이러한 트루값을 리턴하고 싶어서 

혹여나 위의 return과 true 선언처럼 똑같이 해버리면 트루를 리턴하는 문장이 되는것이 아니라 return 끝에 세미콜론이 생겨나게 되버리는 결과와 똑같이 되버리고 원하던 값이 제대로 되지 않거나 

오류가 생길수도 있으므로 이러한 방법이 있다라는 정도로만 알고 넘어가면 될듯 하다.