데이터 엔지니어의 시작 : ETL 이란?
데이터 엔지니어를 시작하게 되면 가장 먼저 배우게 되는 것이 바로 ETL 이란 개념입니다. ETL 이란ETL(Extract, Transform, Load)은 컴퓨팅 및 데이터 관리에서 데이터 웨어하우스 구축 및 운영에 핵심적인 데이터 처리 과정으로, 다음과 같은 단계를 포함합니다. 1. 추출(Extract) 동일 기종 또는 타기종 데이터 소스(예: 관계형 데이터베이스, CSV 파일, API, 로그 파일 등)에서 데이터를 추출합니다. 이 단계에서는 원시 데이터를 수집하고 다양한 시스템에서 데이터를 가져오는 데 초점을 맞춥니다. 2. 변환(Transform) 추출된 데이터를 분석 및 조회에 적합하도록 가공하거나 변환합니다. 이 단계에서 수행되는 작업에는 데이터 정제, 포맷 변환, 집계, 필터링, 계산 등이..
2024. 12. 3.