데이터는 AI의 연료다

인공지능은 ‘학습하는 기계’입니다. 그런데 그 학습은 무엇을 기반으로 이루어질까요? 바로 ‘데이터’입니다. 아무리 정교한 모델도, 양질의 데이터가 없으면 제대로 동작하지 않습니다. 이번 장에서는 데이터가 AI에게 왜 그토록 중요한지, 어떤 데이터가 좋은 데이터인지, 데이터 전처리와 피처 엔지니어링은 왜 필요한지를 살펴봅니다.

---

1. AI가 왜 데이터를 그렇게 중요하게 여길까?

AI는 사람처럼 경험을 통해 배우지 않습니다. 오직 숫자와 정보로 표현된 ‘데이터’만이 AI의 유일한 학습 재료입니다. 데이터가 많고 다양할수록, AI는 더 정밀한 예측과 판단을 할 수 있게 됩니다.

예를 들어, 고양이와 개를 구분하는 AI를 만든다고 했을 때 단지 몇 장의 이미지를 학습한 AI보다 수천 장, 수만 장의 다양한 사진을 학습한 AI가 훨씬 더 정확하게 동물을 인식할 수 있습니다. 이처럼 데이터는 AI가 세상을 이해하는 방식이며, AI의 ‘지능’을 만드는 핵심입니다.

---

2. 좋은 데이터 vs 나쁜 데이터

단순히 데이터가 많다고 좋은 것은 아닙니다. 좋은 데이터란 ‘정확하고, 다양하며, 일관된’ 데이터입니다. 다음과 같은 조건을 충족해야 합니다:

* 정확성: 오타, 결측치, 오류가 없는 데이터

* 다양성: 한쪽에 치우치지 않은 다양한 유형의 사례 포함

* 대표성: 실제 사용 환경과 유사한 구성

* 일관성: 동일한 단위, 포맷, 스케일 등

반대로 나쁜 데이터는 오류가 많고, 편향되어 있으며, 중복되거나 불완전한 데이터를 말합니다. 이런 데이터를 학습한 AI는 잘못된 판단을 하게 되고, 현실 세계에 적용했을 때 부작용이 발생할 수 있습니다.

---

3. 나쁜 데이터를 넣으면?

프로그래머들이 자주 하는 말이 있습니다:

Garbage In, Garbage Out

이는 ‘잘못된 입력이 들어가면 결과도 잘못된다’는 뜻입니다. 아무리 좋은 알고리즘이라도, 학습에 사용된 데이터가 편향되거나 오류가 있다면, AI는 그런 문제까지 함께 학습하게 됩니다.

예시로, 과거 한 글로벌 기업은 AI 채용 알고리즘을 도입했다가 여성 지원자에 불리하게 작동한다는 문제를 겪었습니다. 그 이유는, 과거 채용 데이터 자체가 남성 위주였기 때문이었습니다. AI는 그 편향된 데이터를 그대로 받아들여 ‘남성이 유리하다’는 결론을 내린 것입니다.

이처럼 데이터가 편향되면 AI도 편향되고, 그로 인해 사회적 불평등이나 차별이 강화될 수 있습니다.

---

4. 데이터 가공과 전처리

데이터는 처음부터 완벽한 형태로 존재하지 않습니다. 대부분의 원시 데이터(raw data)는 AI가 학습하기에 적합하지 않은 상태입니다. 따라서 데이터는 가공(전처리) 이라는 과정을 거쳐야 합니다.

전처리(Preprocessing) 단계 예시:

* 결측값 처리: 빠진 값 채우기 또는 제거

* 이상치 제거: 통계적으로 이상한 값 제거 (예: 연봉 100억)

* 정규화/표준화: 데이터의 범위를 일정하게 조정 (예: 0~1 사이)

* 텍스트 정제: 특수문자, 중복 단어 제거, 불용어 제거

* 이미지 정제: 노이즈 제거, 사이즈 통일 등

AI 모델이 제대로 작동하려면 이러한 전처리 과정이 반드시 필요하며, 이 작업은 데이터 과학자의 핵심 역할 중 하나입니다.

---

5. 피처 엔지니어링

피처(feature)란 AI가 데이터를 이해할 수 있도록 만든 ‘속성’입니다. 피처 엔지니어링은 이러한 특징을 선택하거나 생성, 변형하는 과정을 말합니다.

예를 들어 날짜 데이터가 있다면, 단순히 ‘2024-03-17’이라는 값보다는 ‘요일’, ‘주말 여부’, ‘분기’, ‘휴일 여부’ 등으로 쪼개서 제공하는 것이 더 유용할 수 있습니다.

또한 범주형 데이터(예: 지역, 직업군 등)는 수치화해서 AI가 학습할 수 있도록 변환해야 합니다. 이를 위해 원-핫 인코딩(One-Hot Encoding), 라벨 인코딩(Label Encoding) 등을 활용합니다.

피처 엔지니어링을 잘하면, 복잡한 문제를 더 간단하게 풀 수 있고, 모델의 성능을 획기적으로 향상시킬 수 있습니다. 실제로 모델 정확도를 높이는 데 있어서 피처 엔지니어링은 모델 선택보다 더 중요한 경우가 많습니다.

---

데이터 품질이 AI의 품질이다

AI의 핵심은 알고리즘이 아니라 데이터입니다. 아무리 뛰어난 모델도, 부정확한 데이터를 학습하면 부정확한 결과를 낼 수밖에 없습니다. 우리는 이제 데이터의 중요성과 그 준비 과정이 얼마나 섬세하고 중요한지를 알게 되었습니다.

다음 장에서는 실제로 AI가 어떤 산업과 일상에서 활용되고 있는지, 구체적인 사례를 중심으로 살펴보겠습니다.