교육 이야기
빅데이터(Hadoop + Spark)
억삼이
2018. 1. 15. 15:28
반응형
Ambari 로 각 노드에 필요한 패키지 설치
Ambari를 사용하여 Hadoop 클러스터를 생성, 관리 및 모니터링할 수 있습니다.You can use Ambari create, manage, and monitor Hadoop clusters.
apache open source project 공부.
Ambari
ambari-server status
Zookeeper 시작
HDFS 시작
- NameNode : Master, DataNodes : Slave
YARM 시작
- ResourceManager : Master, NodeManagers : Slave
Domain 등록
C:\Windows\System32\drivers\etc\hosts
192.168.56.11 lake1.bigdata
192.168.56.12 lake2.bigdata
추가
Hadoop I/O size 128M, Batch로 처리한다.
NameNode에는 Metadata만 가지고 있다.
Hadoop은 Master/Slave의 시스템 구조이다., 작은파일을 담아놓고 사용하기에는 부적합하다. 큰 데이터를 넣고 사용해야 한다. I/O가 128M 이기 때문에
ORC project, Parquet project / Hadoop 단점을 보완하기 위한 project
반응형