하둡의 종류

Hadoop은 과연 1곳의 회사에서 만들었을까??

우선 시작은 1곳에서 시작되었겠죠.. 그게 Apache Hadoop이며 Open Porject로 운영중에 있습니다.

Hadoop은 결코 만만한 상태가 아닙니다. 관리적인부분도 어려우며, 구성하기도 힘들죠...

그래서 그뒤 여러 업체들이 Hadoop에 여러 좋은 프로그램을 같이 썩어 새로운 소프트웨어를 만든거죠..

위에 말씀드렸듯이 기능은 똑같습니다.

단 만든회사가 다르고 Hadoop과 연관된 프로젝트 Package작업을 최상으로 하기위해 커스터 마이징을 하게됩니다.

 

 

그럼 Hadoop은 어느어느 회사에서 만들었는지 표로 한번 보겠습니다.

Hadoop 종류	Apache Hadoop	Cloudera Hadoop	MapR Hadoop
제조사	Open Project	클라우드라	mapR

위에 보셨듯이 Hadoop은 Apache Hadoop및 서브 프로젝트들을 쉽게 설치,쉬운 관리, 쉬운 운영을 할수있도록 다시 Package를 했다고 보시면 될듯합니다.

아래 보시면 Apache Hadoop의 Package와 클라우데라 Hadoop의 Package형태가 약간 다르다는 걸 확인 하실수 있으실껍니다..

 

1.Apache Hadoop

• Hadoop Common: The common utilities that support the other Hadoop subprojects.
• HDFS: A distributed file system that provides high throughput access to application data.
• MapReduce: A software framework for distributed processing of large data sets on compute clusters.

• Avro: A data serialization system.
• Chukwa: A data collection system for managing large distributed systems.
• HBase: A scalable, distributed database that supports structured data storage for large tables.
• Hive: A data warehouse infrastructure that provides data summarization and ad hoc querying.
• Mahout: A Scalable machine learning and data mining library.
• Pig: A high-level data-flow language and execution framework for parallel computation.
• ZooKeeper: A high-performance coordination service for distributed applications.

2. Cloudera Hadoop:

• HDFS – Self healing distributed file system
• MapReduce – Powerful, parallel data processing framework
• Hadoop Common – a set of utilities that support the Hadoop subprojects
• HBase – Hadoop database for random read/write access
• Hive – SQL-like queries and tables on large datasets
• Pig – Dataflow language and compiler
• Oozie – Workflow for interdependent Hadoop jobs
• Sqoop – Integrate databases and data warehouses with Hadoop
• Flume – Highly reliable, configurable streaming data collection
• Zookeeper – Coordination service for distributed applications
• Hue – User interface framework and SDK for visual Hadoop applications

 

위에 말씀드렸듯이 Apache Hadoop + 연관 프로젝트들을 하나의 Package로 만든게 클라으드라나 MapR에서 제공하는 소프트웨어이며사용하기위해서는 비용을 내야하는걸로 알고있습니다. Hadoop을 선택시 자신이 Manage를 할수있느냐 없느냐에따라서 특정 업체의 제품을 사용하던가, 직접 운영하실수 있습니다. 신중히 결정하셔야 합니다.

당연히 업체의 제품을 사용하게되면 쉬운 Support를 받으실수 있습니다