kkoon9

재직 중인 회사에서 airflow를 사용하여 공부 후 정리한 포스팅입니다. Airflow의 주요 기능 Airflow는 python 기반의 workflow 스케줄러입니다. workflow는 DAG과 task라는 단위로 다양하게 구성 가능합니다. DAG은 Directed Acyclic Graph는 약자로, 어떤 task들의 모임으로 구성되는데, task들의 순서를 정해줄 수 있습니다. Acyclic이므로 순환 구조는 가질 수 없습니다. DAG와 DAG를 연결해줄 수도 있습니다. 스케줄러와 워커가 나뉘어져 있기 때문에 워커를 확장할 수 있고 이 때문에 수많은 workflow를 실행하고 관리할 수 있습니다. 즉, DAG이 아무리 많아지더라도 관리가 가능하다는거죠. 또한 Airflow는 Web UI 관리 툴이 있..