SQL8 데이터엔지니어를 어떻게 준비해야 할까? : 처음 공부하는 이들에게 데이터 엔지니어라는 직무는 개발자와는 달리 처음 어떻게 시작해야 할지 막막하게 느껴질 수 있습니다.개발자는 특정 언어(예: 자바, 파이썬)를 중심으로 필요한 기술을 배워가며 확장하는 방식으로 접근합니다. 따라서 먼저 사용할 언어를 선택하면 비교적 쉽게 시작할 수 있죠.하지만 데이터 엔지니어는 그 과정이 상대적으로 복잡하게 느껴질 수 있습니다. 데이터 엔지니어 로드맵을 살펴보면 Kafka, Spark, Snowflake, Databricks, Airflow와 같은 생소한 기술들이 등장합니다. 모두 처음 접하는 내용이라 어디서부터 시작해야 할지 막막하고, 이 모든 것을 다 공부해야 한다는 부담감이 생길 수 있습니다. 게다가 데이터 엔지니어는 개발 역량도 요구되기 때문에 자바나 파이썬 같은 언어를 익혀야 한다.. 2024. 11. 21. [오라클] SQL Loader (Field in data file exceeds maximum length) SQL Loader : Field in data file exceeds maximum length 개요 : SQL Loader 를 이용하여 데이터를 업로드하던 도중, [Field in data file exceeds maximum length] 오류가 발생하였다. 컬럼 사이즈는 varchar2(256) 이었으며, 적재하려는 데이터의 길이는 256 이었다. 해결 방법 : SQL Loader 의 경우 데이터 파일에서 CHAR 형태의 컬럼의 길이가 255 Character 가 넘는 경우, 위와 같은 오류가 발생한다. 아래와 같이 control 파일 내의 컬럼 사이즈를 지정해주면 해결할 수 있다. 컬럼명 CHAR(사이즈) COLName01 CHAR ==> COLName01 CHAR(256) 2024. 10. 10. [IT/SQL] PK 삭제하고 재 생성하기 일을 하다 보면 어쩌다 가끔 사용하는 명령어나 함수는 사용을 해야 할 때 기억이 잘 나지 않는다. PK를 삭제하고 재생성하는 경우는 좀처럼 자주 하는 일은 아니다. 그러나 주기적으로 파티션을 삭제하거나 또는 파티션을 추가하려고 할 때 PK가 로컬 인덱스가 아닌 글로벌 인덱스로 생성되어 있는 것을 발견한다. 이때 아래 명령어를 사용하면 참 좋다. -- PK 재생성 구분 ALTER TABLE [TABLE명] DROP PRIMARY KEY; -- 기본키를 지워준다. DROP INDEX [INDEX명] ON [TABLE명]; -- INDEX를 삭제한다. 기본키를 지우지 않은 상태에서 DROP INDEX 하면 INDEX가 삭제되지 않는다. CREATE INDEX [INDEX명] ON [TABLE명] ([COLUM.. 2022. 12. 16. [IT/Data] 빅데이터 개요 빅데이터란 말은 누구나 들어보았을 것입니다. 하지만 막상 빅데이터를 공부하려고 하면 막막하기만 합니다. 하둡, HDFS, Spark, Kafka, Hive, S3, Airflow, BI, Nifi, 파이썬 등등 생소한 단어들이 쏟아집니다. 그래서 처음 공부를 시작하는 초보 입장에서는 개념도 잡히지 않을뿐더러 어디부터 어떻게 공부할지 감조차 잡기 어려운 것이 사실입니다. 빅데이터는 하나의 기술이 아니라 여러 솔루션과 기술들이 합하여 하나의 데이터 파이프라인이 완성하는 기술 분야이기 때문에 큰 숲을 먼저 보지 않으면 이해하기가 매우 힘듭니다. 빅데이터를 처음 공부하려면 빅데이터 배경부터 기본적 용어와 흐름까지 전체 숲을 볼 수 있도록 해야 합니다. 빅데이터 배경 빅데이터라는 단어가 대중화되기 시작한 것은 데.. 2022. 11. 15. [SQLD/SQLP] 국가공인 SQL 전문가 (SQLP) 출제문항 수 국가공인 SQL 전문가 (SQLP) 필기 과목명 장 절 데이터 모델링의 이해 데이터 모델링의 이해 데이터모델의 이해 엔터티 속성 관계 식별자 데이터 모델과 성능 정규화와 성능 반정규화와 성능 대용량 데이터에 따른 성능 DB 구조와 성능 분산DB 데이터에 따른 성능 SQL 기본 및 활용 SQL 기본 정보 요구 사항 DDL DML TCL WHERE 절 FUNCTION GROUP BY, HAVING 절 ORDER BY 절 조인 SQL 활용 표준조인 집합연산자 계층형 질의 서브쿼리 그룹 함수 윈도우 함수 DCL 절차형 SQL SQL 최적화 기본 원리 옵티마이저와 실행계획 인덱스 기본 조인 수행 원리 SQL 고급활용 및 튜닝 아키텍처 기반 튜닝 원리 데이터베이스 아키텍처 SQL 파싱 부하 DB Call과 네트워크.. 2022. 11. 1. [SQLD/SQLP] SQL 기본 (Ⅱ) 참조 동작 1. Delete (Modify) Action 1) Cascade : Master 삭제 시 Child 같이 삭제 2) Set null : Master 삭제 시 Child 해당 필드 Null 3) Set Default : Master 삭제 시 Child 해당 필드 Default 값으로 설정 4) Restrict : Child 테이블에 PK 값이 없는 경우에만 Master 삭제 허용 5) No Action : 참조 무결성을 위반하는 삭제/수정 Action을 취하지 않음 2. Insert Action 1) Automatic : Master 테이블에 PK가 없는 경우 Master PK를 생성 후 Child 입력 2) Set Null : Master 테이블에 PK가 없는 경우 Child 외부 키를 Nu.. 2022. 10. 26. 이전 1 2 다음 728x90 반응형
