[IT/DATA] 빅데이터 관련 직무

빅데이터 관련 직무를 찾아보면 크게 3가지가 나옵니다.

 

데이터 엔지니어(Data Engineer)
데이터 분석가(Data Analyst)
데이터 사이언스트(Data Scientist)

 

많이 들어보셨나요?

데이터 직무에 조금이라도 관심이 있으면 들어보았을 것입니다. 하지만 이름만 들어서는 다소 애매함이 있습니다. 이름 자체도 어떤 일을 하는지 어렵게 느껴질 뿐만 아니라 특히, 데이터 분석가는 직무는 범위가 넒어서 모든 일을 다 데이터 분석가가 하는 것 같기도 합니다.

예를 들면 데이터를 실제 많이 활용하는 직군 중 하나가 마케터인데 마케터들을 분석가라고 하기에는 좀 애매함이 있습니다. 왜냐하면 보통 마케팅 대상을 선정하는데 필요한 raw데이터를 활용하는 경우가 많기 때문입니다. 하지만 위 세 가지 분류데로 나누자면 데이터 분석에 포함됩니다. 데이터 사이언스트와 데이터 분석가도 위 명칭만 봐서는 직무가 명확하게 분류하기가 다소 어렵습니다.

 

그래서 저는 좀 다르게 구분하고자 합니다. 

1. 데이터 환경을 구성하는 자
2. 데이터를 활용하자는 자
3. 데이터를 분석하는 자
4. 데이터 분석 방법을 연구하는 자

 

1. 데이터 환경을 구성하는 자

데이터 환경을 구성하는 자. 즉, 데이터 파이프라인을 만드는 사람을 말합니다. 데이터 엔지니어입니다.

데이터 파이프라인이란 데이터를 활용할 수 있도록 데이터 수집, 적재, 변환 하는 과정을 구성하는 역할을 합니다. 보통 IT 직군에서 데이터 관련 업무를 한다고 하면 이 업무를 수행하게 됩니다. 

데이터 파이프라인을 구성하기 위해서 SQL, 하둡, 스파크, 카프카, Airflow, 클라우드 등의 지식을 알아야 합니다. 그리고 데이터 환경을 구성할 때 가장 중요한 것은 데이터 분석이 아니라 이해라는 것입니다. 데이터 이해란 수집하고 적재한 데이터가 어떤 구조로 구성되어 있는지를 아는 것을 말합니다.

 

2. 데이터를 활용하는 자

데이터를 활용해서 다른 무언가를 하는 사람들을 말합니다. 과거에는 데이터 활용 목적은 임원들이 의사결정을 하기 위한 대시보드 추출이 많았습니다. 하지만 빅데이터 시대가 열리면서 사용자들이 이용한 데이터를 통해서 많은 활용을 할 수 있게 되었고 특히 마케팅에서 데이터는 매우 중요한 자원이 되었습니다. 

예를 들면 10만 원을 결재한 회원에게 5만 원을 더 결재하면 1만 원짜리 상품권을 지급하는 마케팅을 한다고 합시다. 10만 원을 결재한 회원을 어떻게 알 수 있을까요? 그리고 그 회원들 중에서 5만 원을 추가로 결재했는지는 어떻게 알 수 있을까요? 맞습니다. 적재된 결재내역을 조회하면 알 수 있습니다. 이런 업무를 하는 사람들이 데이터를 활용하는 자입니다.

 

3. 데이터를 분석하는 자

Tableau 같은 BI 툴을 이용해서 대시보드를 만들어서 데이터를 분석하고 보고하는 역할을 합니다. 데이터를 사용해서 어떤 변화가 있었는지,  사용자 평가는 어떠한지 등을 분석합니다. 그리고 그 분석 결과를 이용해서 비즈니스 프로세스를 구성하고 의사결정하도록 돕습니다.

R, SAS, SQL, 파이썬, Tableau 등의 기술을 사용합니다. 우리 흔히 말하는 데이터 분석가라고 생각하면 됩니다. 

 

4. 데이터 분석 방법을 연구하는 자

데이터 과학이란 비즈니스에 의미 있는 데이터를 추출하기 위한 데이터 연구로서, 수학, 통계, 인공 지능 및 컴퓨터 공학 분야의 원칙과 사례를 결합하여 대량의 데이터를 분석하는 종합적인 접근 방식을 말합니다.

즉, 데이터 과학자란 데이터를 분석하기 위한 접근 방식(알고리즘, 프로세스, 방법론, 프로세스 등)을 연구하는 사람이며, 데이터 분석 방법을 연구하는 사람입니다. 그래서 많은 사람들이 통계 학자, 수학자 또는 데이터 분석가로 경력을 시작합니다.

데이터 분석 방법을 연구하는 사람들도 데이터를 분석하는 일도 경우가 많기 때문에 데이터 분석가라고 할 수 있습니다. 그래서 많은 사람들이 분석가와 과학자를 헷갈려하기도 합니다. 

 

 

데이터 분석과 데이터 과학을 다시 정리하면 아래와 같습니다. 

• 데이터 분석은 원시 데이터(raw 데이터)를 실행 가능한 인사이트로 변환하는 것
• 데이터 과학은 비즈니스에 대한 의미 있는 인사이트를 추출하기 위한 데이터 분석 접근 방식을 연구하는 것