728x90 반응형 하둡 yarn2 하둡 YARN이란? 1. YARN (Yet Another Resource Negotiator)이란? 하둡의 클러스터 자원관리 시스템이다. 클라이언트가 서브밋한 잡에 자원(CPU, RAM 등)을 할당하고 잡을 실행시킨다. 2. YARN의 계층 구조 맵리듀스건 스파크건 하둡 위에서 도는 프로그램은 모두 YARN에 의해 관리된다. 3. YARN의 구조 YARN은 하나의 리소스 매니저와 여러 개의 노드 매니저로 이루어져있다. 리소스 매니저는 보통 HDFS의 네임노드에 있고 노드 매니저는 노드마다 한개씩 있다. 실제로 서브밋된 잡을 실행하고 모니터링 하는 일은 노드 매니저에서 일어난다. 리소스 매니저는 모든 노드 매니저리들을 모니터링하고 자원을 할당해주는 역할을 한다. 4. YARN 애플리케이션 YARN 애플리케이션은 YARN 리소.. 2024. 2. 9. 빅데이터란? 하둡(Hadoop)이란? 하둡 설치 1. 빅데이터란?빅데이터는 쉽게 말해 "기존의 전통적인 방법(RDBMS)으로는 다룰 수 없는 아주 많은 양의 데이터"를 의미한다. 왜 기존의 방법으로 다룰 수 없을까? RDBMS는 빅데이터를 다루는 데 있어 세가지 문제점을 가지고 있다. 첫 번째로 RDBMS는 scalability(확장성)이 떨어진다. 한 테이블에 몇 테라바이트가 되는 데이터를 저장하고, SQL문을 통해 저장된 데이터를 조작하거나 다른 테이블과 합치는 등의 연산을 하는 것은 불가능에 가깝다. 두 번째로 RDBMS는 어마어마한 양의 데이터를 저장하기에는 너무 비싸다. 마지막으로 RDBMS는 데이터가 엄격한 스키마를 지키기를 요구하는데 대부분의 빅데이터는 이 조건을 만족시키지 못한다. 따라서 빅데이터를 다루기 위해서는 RDBMS가 아닌 새로.. 2024. 2. 9. 이전 1 다음 728x90 반응형
