[DATA/기사] AWS, '제로 ETL' 선언…"최신정보 실시간 확보"

IT일상생활 로고

확실히 세상은 빠르게 변하네요.

좋은 기사가 있어서 공유합니다.

 

https://zdnet.co.kr/view/?no=20221130092920#_enliple 

AWS, '제로 ETL' 선언…"최신정보 실시간 확보"

 

아래는 기사의 핵심 내용입니다. 

'아마존 오로라 제로ETL 인티그레이션 위드 아마존 레드시프트'는 AWS의 RDBMS 서비스인 아마존 오로라에 저장된 데이터를 DW 서비스인 '아마존 레드시프트'로 자동으로 복제하는 기능이다. 그동안 두 서비스 간 데이터 이동과 변환을 위해 AWS 글루 같은 별도 ETL 도구를 사용해야 했다. 새 기능 출시로 ETL 구축 없이 트랜잭션 데이터를 원하는 때에 분석할 수 있게 된다.

 

RDBMS 서비스인 아마존 오로라에서 데이터가 변경이 되면 DW인 아마존 레드시프트에 자동으로 변경된 데이터가 복제되는 기술입니다. 기존에는 정형 데이터가 변경이 되면 AWS의 글루나 오라클의 OGG를 사용해야 데이터 이동과 변환이 가능했었습니다. 별도의 솔루션이 사용되었기 때문에 환경 구성 및 관리에 인력이 필요했으며, 라이센스 비용도 상당히 소요되었었는데요. 만약 이러한 기능이 활성화 되고 보편화 된다면 이러한 관리 및 비용 문제가 해결될 수 있는 것입니다.  

다만, 파티션 DROP이나, 대용량의 DML 발생 시에도 뛰어난 퍼포먼스를 자랑하는지 궁금하긴 하네요.

 

데이터엔지니어분들은 한번 기사 읽어보시기 바랍니다.