[1편] 빅데이터란 무엇일까? 기본 개념부터 5V까지 완벽 정리
빅데이터와 AI의 시대를 살아가는 우리에게 '빅데이터'는 더 이상 낯선 단어가 아닙니다. 하지만 정확히 빅데이터가 무엇인지, 왜 중요한지 설명하기는 쉽지 않죠. 이번 포스팅에서는 빅데이터의 가장 기본적인 개념부터 꼭 알아야 할 특징까지, 누구나 이해하기 쉽게 정리해 보겠습니다. 1. 빅데이터(Big Data), 대체 뭔가요?한마디로 빅데이터는 기존의 데이터베이스 시스템으로는 처리하기 힘든, 거대하고 복잡한 데이터의 집합을 의미합니다. 단순히 양만 많은 것이 아니라, 생성되는 속도가 매우 빠르고, 텍스트, 영상, 센서 데이터 등 형태도 매우 다양하죠. 중요한 점은 빅데이터가 단순한 데이터의 축적이 아니라는 것입니다. 데이터를 분석하여 비즈니스에 가치를 더하고, 새로운 인사이트를 발견하는 것, 바로 이것이..
2025. 7. 28.
데이터 엔지니어의 시작 : ETL 이란?
데이터 엔지니어를 시작하게 되면 가장 먼저 배우게 되는 것이 바로 ETL 이란 개념입니다. ETL 이란ETL(Extract, Transform, Load)은 컴퓨팅 및 데이터 관리에서 데이터 웨어하우스 구축 및 운영에 핵심적인 데이터 처리 과정으로, 다음과 같은 단계를 포함합니다. 1. 추출(Extract) 동일 기종 또는 타기종 데이터 소스(예: 관계형 데이터베이스, CSV 파일, API, 로그 파일 등)에서 데이터를 추출합니다. 이 단계에서는 원시 데이터를 수집하고 다양한 시스템에서 데이터를 가져오는 데 초점을 맞춥니다. 2. 변환(Transform) 추출된 데이터를 분석 및 조회에 적합하도록 가공하거나 변환합니다. 이 단계에서 수행되는 작업에는 데이터 정제, 포맷 변환, 집계, 필터링, 계산 등이..
2024. 12. 3.
