다시 이음

STARTERS 2주차를 진행하면서 상당히 애를 먹고 있습니다. 원래부터 하고 있던 온라인 대학생활도 계속해오고 있는 터라 중간고사가 겹쳐서 일뿐이지 감당못할 만한 과제를 주지는 않습니다. 오늘부로 중간고사는 막을내려서 STARTERS에 더욱 집중할 수 있는 3주차가 될 것 같습니다. 알찬 3주차 생활을 하기 위해서 2주차 회고는 꼭 필요하겠죠? STARTERS에서 좋았던 점은 그냥 공부만 하는 것이 아니라 조금씩 다른 강점을 가진 팀원들과 회의를 하면서 다양한 견해를 들을 수 있고 그것을 정리하는 방법이나 효율적으로 관리하는 방법도 깨닫게 되고 있습니다. 많이 부족하지만 많은 사람들이 겨우 일주일만에 회의 방법을 통일하고 원활한 소통이 가능할리가 없기때문에 부족한 점을 확인하며 발전해나가고 있습니다. ..

Udemy starters 5기 IT 서비스 기획으로 참가하게 되었습니다. 매주 학습일지를 통해서 블로그에 흔적을 남길 예정입니다. 물론 이 과정 자체가 상상 외로 상당히 타이트한 일정에 엄청난 공부, 회의, 강의등등 많은 컨텐츠를 가지고 있어서 완벽한 후기를 남길 수는 없겠지만 최선을 다해보겠습니다. 본문에 들어가기 전에 Starters에 먼저 들어온 입장으로써 후에 들어오실 분들을 위해서 간단하게나마 합격후기(?)를 전달드리려고 합니다. 1. 기본 인적 사항과 자기소개서를 작성하는 데 면접에서 자기소개서 내용을 많이 물어보니 당연히 저장해놓으시고 숙지하세요. 2. 간단한 면접은 아니고 자신만의 스토리나 확실한 비전을 가지고 참여해야 합니다. 3. 기준은 당연히 잘 모르지만 팀원들과 여러모로 이야기 해..

udemy강의를 통해서 airflow를 docker를 사용해서 진행을 하는데 실행 시에 localhost:8080 을 통해서 airflow UI를 확인할 수 있습니다. 그런데 DAG를 생성하고 실행하였을 때 계속해서 running 상태이거나 업데이트가 제대로 진행되지 않는 상태라면? docker-compose ps 명령어를 실시하여 현재 어떤 상태인지 확인해볼 필요가 있습니다. 1. State가 unhealthy 인 경우 이 경우에는 webserver 노드가 unhealthy 상태라면 localhost에 접속이 불가한 상태입니다. 이렇게 unhealthy인 경우에는 일단 실행한지 별로 되지 않았다면 1분 정도 기다린 후 다시 한번 확인해보거나 docker-compose down --volumes --re..

Udemy에서 The Complete Hands-On Introduction to Apache Airflow 강의를 듣고 정리한 게시글입니다. 1. Airflow가 필요한 이유? ELT 파이프라인을 자동화 하기 위해서 2. 필요한 것? 파이썬 + Docker 3. Airflow 장점 - dynamic - scalability - UI - Extensibility 4. Core components - web server - scheduler - metastore - triggerer - executor - queue - worker 5. Core concepts - DAGs 그래프 : No cycle - Operator : Action Operators(어떤것을 실행,python,bash operator)..

이번에 읽은 도서는 실무로 배우는 빅데이터 기술 : 데이터 수집, 적재, 처리, 분석, 머신러닝까지 / 위키북스 / 저자 : 김강원 도서입니다. 데이터를 공부하면서 분석 뿐만이 아니라 엔지니어링에도 관심이 갔습니다. 추후에 협업을 하더라도 공부를 해서 나쁘지 않다고 생각했고 검색을 통해 이 도서를 추천받아 읽었습니다. 사실 이 도서는 python이 아닌 자바를 사용하기 때문에 도서에서 제공하는 파일럿 프로젝트를 진행할 수 는 없었지만 자세한 툴 설명과 빅데이터의 프로세스가 자세하게 서술되어 있었습니다. 난이도 : ★★★★★(파일럿 프로젝트까지 한다면) 주요 내용 : 빅데이터 프로세스 느낀점: 데이터 엔지니어링을 보면 자주 보게 되는 하둡, 스톰, 스쿱, 레디스와 같은 내용도 같이 있어서 읽어보시면 '아 ..

보호되어 있는 글입니다.

이번에 읽은 도서는 그로스 해킹 : 데이터와 실험을 통해 성장하는 서비스를 만드는 방법 / 위키북스 / 저자 : 양승화 라는 도서입니다. 데이터 분석을 하면서 파이썬을 통한 실전은 많이 해봤지만 데이터 분석 기법에 대한 이해는 부족했습니다. 파이썬 코드만으로도 잘 파악할 수 있지 않나 라는 생각을 했었는데 이 책을 보면서 AARRR, 퍼널 분석, 리호트 분석 등등과 같이 왜 이런 기법이 필요하고 어떻게 사용하는지 파악할 수 있어서 좋았습니다. 데이터 분석에 대해 저와 같이 정확한 기법적 이론이 부족하셨다면 무엇이 있는지 파악하기 위한 도서로써 모자람이 없습니다. 추천!!!! 난이도 : ★★★☆☆ 주요 내용 : 그로스 해킹을 위한 데이터 분석 방법론과 그로스 해킹에 필요한 지식. 느낀점: 데이터 분석가 혹..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.