728x90 반응형 전체 글50 데이터 엔지니어링 강의 데이터 엔지니어링의 기술 스택은 매우 넓다. 특히 빅데이터 부흥 이후에는 새로운 기술들이 계속 나오고 있다. 데이터 엔지니어링이 커버하는 범위도 꽤나 넓어서 각자 속한 회사와 팀에 따라 쓰는 기술이 모두 다르다. 내가 속한 팀은 주로 하둡과 스파크를 쓰는데 어느 곳은 SQL를 주로 쓰기도 하고 아니면 로우 레벨로 데이터 플랫폼을 관리하는 곳도 있다. 일을 하기 위해서라면 내가 쓰는 기술만 익혀도 괜찮지만 보다 큰 그림을 보고 싶어서 데이터 엔지니어링의 여러 분야에 대한 정보를 항상 찾아다닌다. 그렇게 찾고 정리한 개념이나 외국 양질의 글을 포스팅 하면 좋을 것 같아서 해당 카테고리를 만들었다. 주로 외국의 글을 번역한 내용이 많으니 어디 가져갈 때에는 출처를 정확히 밝혀주길 바란다. 1. 데이터 엔지니어.. 2022. 9. 12. CS 면접 준비 (3) - 개발자 취준일기 19 전편 ☞ 2022.09.07 - [취준일기] - CS 면접 준비 (2) - 개발자 취준일기 18 이제 공부한 방법 마지막 포트폴리오 지식이랑 직무지식 준비편이다~ 3. 포트폴리오 지식 보통은 포트폴리오에 들었던 수업이나 어떤 프로젝트를 했는지 적혀있을 것이다. 포트폴리오 관련해서는 정말 완벽하게 준비해가야 한다. 사실 면접에서 포트폴리오 관련 질문은 나올수도 안나올수도 있다. 그건 백프로 면접관의 흥미에 달려있다. 내 포트폴리오에 별 관심이 없는 경우(그렇다고 나에게 관심이 없는 것은 아님, 조금 다름) 정말 그 어떤 질문도 하지 않을 수 있다. 그럼에도 불구하고 포트폴리오 관련 내용을 완벽하게 준비해야 하는 이유는 두가지다. 첫 번째는 면접관이 포트폴리오에 흥미가 있을 경우 하나를 질문한 후 계속 꼬리.. 2022. 9. 12. 주피터 노트북에서 스칼라와 스파크 사용하기 (스파크 정리 1) 이제부터 하둡과는 당분간 바이하고 스파크 정리를 시작한다. 스파크 완벽 가이드, 스파크 공식문서, 구글링 등 다양한 내용이 짬뽕되어있다. 개념 정리에 앞서 일단 스파크를 설치하자. 스파크를 처음에 배울 때는 보통 터미널을 통해서 스파크쉘을 실행시켜서 실습을 한다. 스파크쉘은 특별한 건 아니고 파이썬 인터프리터 같은 거다. 근데 다들 파이썬 인터프리터를 써봤으면 알 것 같은데 불편하다! 그래서 좀 더 편하게 실습할 수 있는 방법이 없을까 고민하다 주피터 노트북에서 스파크를 사용할 수 있게 해주는 패지지인 spylon을 발견했다. 참고로 파이스파크가 아니다. 주피터 노트북에서 스칼라(scala)를 사용해서 스파크를 실습하는 것이다. 주피터 노트북에서 스칼라 & 스파크 사용하기 1. 필요 요건: 파이썬, 스칼.. 2022. 9. 8. CS 면접 준비 (2) - 개발자 취준일기 18 전편 ☞ 2022.09.05 - [취준일기] - CS 면접 준비 (1) - 개발자 취준일기 17 지난편에 이어서 CS 면접준비 2탄이다. 지난번에는 공부해야 할 내용에 대해 다루었는데 이번에는 내가 공부한 방법(책, 사이트 등등)에 대해 다루려고 한다. 사실 많은 블로그에서 CS 면접에 대해 다루고 있다. 그런데 다들 조회수를 위해서 적은 것인지 도움이 안되는 경우가 많았다. 그래서 나는 블로그를 보며 공부해야할 목록만 추린 다음에 공부할 때는 블로그를 보지 않았다. 공부해야할 목록은 전편을 참고하면 되고 이제 내가 각 목록들을 어떻게 공부했는지 자세히 알아보자. 1. 기본 공부 CS 면접에서 기본으로 깔고가는 공부는 자료구조, 알고리즘, 언어, 운영체제, 네트워크, 데이터베이스가 있다. 첫 번째로 자료.. 2022. 9. 7. CS 면접 준비 (1) - 개발자 취준일기 17 전편 ☞ 2022.09.02 - [분류 전체보기] - 인적성 준비 방법 (gsat 준비 방법) - 개발자 취준일기 16 면접 후기 포스팅 전에 내가 CS 면접을 준비한 과정을 먼저 적는다. 나는 CS 면접 준비는 취준 초기부터 시작해서 면접을 보는 내내 진행했으니 대략 5개월 정도 투자했다. 처음 2개월은 하루 3시간씩 투자해서 기본을 익혔다. 그리고 후에 2개월은 내가 데이터랑 ML 쪽으로 지원했기 때문에 관련된 준비를 하였다. 마지막으로 한달, 면접을 보는 동안은 지원한 회사에 맞게 준비했다. 취준이 끝나고 나니 스스로가 면접 준비를 꽤 잘했다는 생각이 든`다ㅎㅎ. 내가 CS 면접을 위해 준비한 과정을 크게 (1) 공부한 내용, (2) 공부한 방법, (3) 면접 준비로 나눠서 설명하겠다. 오늘은 내가.. 2022. 9. 5. 인적성 준비 방법 (gsat 준비 방법) - 개발자 취준일기 16 전편 ☞ 2022.08.31 - [분류 전체보기] - LG유플러스 인적성 후기 (LG Way Fit Test) - 개발자 취준일기 15 오늘은 내가 인적성을 준비한 방벙에 대한 포스팅이다. 일단 나의 인적성 준비 요약! 1. 기간: 2개월 2. 책: 해커스 20대기업 인적성, 해커스 파랭이 (해커스 GSAT 통합기본서), 해커스 하양이 (해커스 GSAT 실전모의고사), 에듀윌 GSAT 봉투 모의고사 3. GSAT 점수: 33/50, 합격 4. 핵심: 컴퓨터로 풀기, 오답 나는 호기롭게 아무것도 모르는 상태로 GSAT 모의고사를 보고 개털렸다. 그리고 인적성을 따로 준비해야 한다는 것을 통감했다. 나처럼 인적성 그냥 대충해도 되겠지, 라는 생각을 가지고 있는 사람이면 GSAT 모의고사부터 풀어보는 걸 추천.. 2022. 9. 2. 이전 1 ··· 3 4 5 6 7 8 9 다음 728x90 반응형
