본문 바로가기

공부는 평생하는 것이다/데이터엔지니어링9

2025년도 데이터 자격 검정 일정 구분 회차 원서접수 수험표발급 시험일 사전점수공개 및 재검토 접수 합격(예정)자발표 응시자격 서류제출(합격자 결정) 빅데이터 분석기사제10회필기3.4~3.103.214.5(토)4.18~4.224.254.28~5.8실기5.19~5.236.56.21(토)7.4~7.87.11-제11회필기8.4~8.88.229.6(토)9.19~9.239.269.29~10.16실기10.27~10.3111.1411.29(토)12.12~12.1612.19-데이터분석 전문가 제34회필기1.20~1.242.72.22(토)3.14~3.183.21-실기3.24~3.284.114.26(토)5.16~5.205.235.23~5.30제35회필기7.7~7.117.258.9(토)8.29~9.29.5-실기9.15~9.1910.210.18(.. 2025. 1. 26.
데이터 엔지니어의 시작 : ETL 이란? 데이터 엔지니어를 시작하게 되면 가장 먼저 배우게 되는 것이 바로 ETL 이란 개념입니다. ETL 이란ETL(Extract, Transform, Load)은 컴퓨팅 및 데이터 관리에서 데이터 웨어하우스 구축 및 운영에 핵심적인 데이터 처리 과정으로, 다음과 같은 단계를 포함합니다. 1. 추출(Extract) 동일 기종 또는 타기종 데이터 소스(예: 관계형 데이터베이스, CSV 파일, API, 로그 파일 등)에서 데이터를 추출합니다. 이 단계에서는 원시 데이터를 수집하고 다양한 시스템에서 데이터를 가져오는 데 초점을 맞춥니다.  2. 변환(Transform) 추출된 데이터를 분석 및 조회에 적합하도록 가공하거나 변환합니다. 이 단계에서 수행되는 작업에는 데이터 정제, 포맷 변환, 집계, 필터링, 계산 등이.. 2024. 12. 3.
데이터엔지니어를 어떻게 준비해야 할까? : 처음 공부하는 이들에게 데이터 엔지니어라는 직무는 개발자와는 달리 처음 어떻게 시작해야 할지 막막하게 느껴질 수 있습니다.개발자는 특정 언어(예: 자바, 파이썬)를 중심으로 필요한 기술을 배워가며 확장하는 방식으로 접근합니다. 따라서 먼저 사용할 언어를 선택하면 비교적 쉽게 시작할 수 있죠.하지만 데이터 엔지니어는 그 과정이 상대적으로 복잡하게 느껴질 수 있습니다. 데이터 엔지니어 로드맵을 살펴보면 Kafka, Spark, Snowflake, Databricks, Airflow와 같은 생소한 기술들이 등장합니다. 모두 처음 접하는 내용이라 어디서부터 시작해야 할지 막막하고, 이 모든 것을 다 공부해야 한다는 부담감이 생길 수 있습니다. 게다가 데이터 엔지니어는 개발 역량도 요구되기 때문에 자바나 파이썬 같은 언어를 익혀야 한다.. 2024. 11. 21.
데이터 레거시란?? 데이터레거시 데이터 레거시(Data Legacy)는 기존의 데이터와 시스템을 현대의 기술과 표준으로 업그레이드하는 과정을 의미합니다. 이는 데이터의 가치를 유지하면서, 더 나은 성능, 보안, 유연성을 제공하는 것을 목표로 합니다. 데이터 레거시는 다음과 같은 주요 단계를 포함합니다: 1. 데이터 평가 : 기존 데이터의 품질, 정확성, 일관성을 평가합니다. 이는 데이터를 업그레이드하기 전에 중요한 단계입니다. 2. 데이터 정화 : 불완전하거나 중복된 데이터를 제거하고, 일관된 형식으로 정리합니다. 3. 데이터 마이그레이션 : 데이터를 새로운 시스템이나 플랫폼으로 이동합니다. 이 과정에서 데이터의 가치를 유지하면서, 새로운 기술과 표준에 맞춰 변환합니다. 4. 데이터 보호 : 데이터 보안을 강화하고, 접근 .. 2024. 10. 25.
AI로 본 2024년 데이터 엔지니어링 트랜드와 혁신 예측 2024년 데이터 엔지니어링 트랜드와 혁신 예측 데이터 엔지니어링은 끊임없는 혁신을 거듭하며, 2024년에는 몇 가지 흥미로운 트랜드와 혁신이 기대됩니다. 1. 실시간 데이터 처리의 부상 2024년에는 기업들이 빠르게 변하는 환경에 대응하기 위해 실시간 데이터 처리에 더 많은 중점을 둘 것으로 예상됩니다. 스트리밍 데이터 플랫폼과 이벤트 기반 아키텍처의 도입이 증가할 것 입니다. 2. AI 기반 데이터 품질 관리 인공지능을 활용한 데이터 품질 관리 솔루션이 더 많이 사용될 것으로 예상됩니다. 이는 데이터 정확성과 일관성을 유지하는 데 도움을 줄 것입니다. 3. 자동화와 오토메이션의 증가 데이터 엔지니어링에서의 작업 자동화가 더욱 중요해질 것입니다. 코드 자동화, ETL 프로세스 자동화, 그리고 클라우드 .. 2023. 11. 29.
[IT/DATA] 데이터 레이크 하우스란? 최근 데이터 플랫폼의 방향은 '데이터 레이크하우스' 입니다. 데이터웨어하우스, 데이터레이크의 단점을 보완하기 위해서 만들어진 개념입니다. 데이터레이크는 데이터웨어하우스로 수용하기 힘든 비정형 데이터 활용에 초점을 둔 아키텍처입니다. 초기의 데이터레이크는 데이터웨어하우스와 병존했는데, 데이터레이크와 DW을 단일 플랫폼으로 통합하자는 아이디어로 데이터레이크하우스가 고안되고 있습니다. 관리 부담을 줄이면서, 활용 수준을 높이는 게 주요 목표입니다. 아래는 데이터레이크하우스에 대한 설명입니다. zdnet을 참조하였습니다. ■ 데이터레이크하우스 조직 내에서 데이터 활용 수요가 늘어나고 다양해지면서, 관계형 형식으로 여러 컴퓨팅 노드에서 병렬로 방대한 양의 데이터를 처리할 수 있는 최신 데이터웨어하우스 아키텍처를 .. 2023. 9. 11.
728x90
반응형

티스토리툴바