Dataproc

Dataproc

Overview

Cloud Dataproc은 spark이나 하둡 클러스터를 더 쉽고 효율적으로 운영하기 위한 빠르고, 쓰기 쉬운, 완전 관리형 클라우드 서비스이다. 몇 시간이나 며칠 걸리는 운영 작업 대신에 Cloud Dataproc을 만들어서, 데이터 파이프라인을 위한 클러스터 증설등의 걱정을 없앨 수 있습니다. 이 실험은 GCP 콘솔을 이용해서 구글 클라우드 Dataproc cluster를 만들고, 해당 클러스터에서 간단한 아파치 스팤 잡을 수행하고, 클러스터 내에서 워커의 수를 수정하는 예제입니다.