728x90 반응형 Data Engineering/데이터 엔지니어링4 데이터 웨어하우스란? 데이터 레이크, 데이터베이스와 차이 데이터 엔지니어링을 접하다 보면 다양한 텀들이 나오고 그 중 헷갈리는 텀들이 많다. 오늘은 그 중에 데이터OOO 3대장인 데이터 웨어하우스, 데이터베이스, 데이터 레이크에 대해 정리하고 차이점을 알아보자. 이번 포스팅에서는 최대한 쉽게 어려운 개념을 빼고 예시를 들어 설명했다. 아래 그림이 데이터 베이스와 데이터 웨어하우스의 관계도이다. 내가 쇼핑몰을 운영한다고 하자. 그러면 쇼핑몰의 상품에 관한 정보가 들어있는 상품 데이터와 고객에 관한 정보가 들어있는 고객 데이터가 있다. 그리고 마지막으로 매일 쌓이는 매출 데이터가 있다. 이 데이터의 집합을 우리는 데이터베이스라 부른다. 데이터베이스를 관리하는 여러 유용한 프로그램이 있는데 대표적인 예로 MariaDB, MySQL, MongoDB 등이 있다. 또한 .. 2022. 9. 17. 데이터 엔지니어링 초보자 가이드 (A Beginner's Guide to Data Engineering) 블로그 이전으로 아래 링크로 글을 옮겼습니다. https://happy-it-day.blogspot.com/2022/11/blog-post_1.html 데이터 엔지니어링 초보자 가이드 (A Beginner's Guide to Data Engineering) 아래 링크는 데이터 엔지니어링 초보자 가이드라는 제목으로 medium에 올라온 아주 유명한 세편짜리 글이다. 초보자 가이드다 보니 상당히 포괄적이고 개념 하나가 자세하진 않지만 정말 좋은 내 happy-it-day.blogspot.com 2022. 9. 15. 데이터 엔지니어링 로드맵 (feat. 현실적) 개발자를 꿈꾸는 사람들이라면 다들 OOO 로드맵은 한번 씩 쳐봤을 것이다. 데이터 엔지니어링 로드맵도 치면 특정한 이미지가 나오는데 이미지만 봐도 아득해져서 접어놨다. 더보기 이게 로드맵인지 포기 유도 이미지인지 모르겠다. 그래서 좀 더 현실적인 로드맵은 없을까 찾던 중에 외국의 좋은 글들을 찾게되어 공유한다. 첫 번째 로드맵은 FAANG의 데이터 엔지니어가 적은 데이터 엔지니어링 로드맵 2021이다. 이것도 역시 영어가 되면 본문을 읽는 걸 추천한다. 해당 로드맵은 컴공에 대한 지식이 별로 없는 사람이 참고하면 좋을 것 같다. 데이터 엔지니어링 관련 내용 뿐만 아니라 개발자라면 필수로 지니고 있어야 할 지식(리눅스, API 등)도 최소한으로 소개해 놓았다. 참고로 이 사람은 udemy나 freecode.. 2022. 9. 13. 데이터 엔지니어링 강의 데이터 엔지니어링의 기술 스택은 매우 넓다. 특히 빅데이터 부흥 이후에는 새로운 기술들이 계속 나오고 있다. 데이터 엔지니어링이 커버하는 범위도 꽤나 넓어서 각자 속한 회사와 팀에 따라 쓰는 기술이 모두 다르다. 내가 속한 팀은 주로 하둡과 스파크를 쓰는데 어느 곳은 SQL를 주로 쓰기도 하고 아니면 로우 레벨로 데이터 플랫폼을 관리하는 곳도 있다. 일을 하기 위해서라면 내가 쓰는 기술만 익혀도 괜찮지만 보다 큰 그림을 보고 싶어서 데이터 엔지니어링의 여러 분야에 대한 정보를 항상 찾아다닌다. 그렇게 찾고 정리한 개념이나 외국 양질의 글을 포스팅 하면 좋을 것 같아서 해당 카테고리를 만들었다. 주로 외국의 글을 번역한 내용이 많으니 어디 가져갈 때에는 출처를 정확히 밝혀주길 바란다. 1. 데이터 엔지니어.. 2022. 9. 12. 이전 1 다음 728x90 반응형
