다시 이음

udemy강의를 통해서 airflow를 docker를 사용해서 진행을 하는데 실행 시에 localhost:8080 을 통해서 airflow UI를 확인할 수 있습니다. 그런데 DAG를 생성하고 실행하였을 때 계속해서 running 상태이거나 업데이트가 제대로 진행되지 않는 상태라면? docker-compose ps 명령어를 실시하여 현재 어떤 상태인지 확인해볼 필요가 있습니다. 1. State가 unhealthy 인 경우 이 경우에는 webserver 노드가 unhealthy 상태라면 localhost에 접속이 불가한 상태입니다. 이렇게 unhealthy인 경우에는 일단 실행한지 별로 되지 않았다면 1분 정도 기다린 후 다시 한번 확인해보거나 docker-compose down --volumes --re..

Udemy에서 The Complete Hands-On Introduction to Apache Airflow 강의를 듣고 정리한 게시글입니다. 1. Airflow가 필요한 이유? ELT 파이프라인을 자동화 하기 위해서 2. 필요한 것? 파이썬 + Docker 3. Airflow 장점 - dynamic - scalability - UI - Extensibility 4. Core components - web server - scheduler - metastore - triggerer - executor - queue - worker 5. Core concepts - DAGs 그래프 : No cycle - Operator : Action Operators(어떤것을 실행,python,bash operator)..