kkoon9

재직 중인 회사에서 airflow를 사용하여 공부 후 정리한 포스팅입니다. Airflow의 주요 기능 Airflow는 python 기반의 workflow 스케줄러입니다. workflow는 DAG과 task라는 단위로 다양하게 구성 가능합니다. DAG은 Directed Acyclic Graph는 약자로, 어떤 task들의 모임으로 구성되는데, task들의 순서를 정해줄 수 있습니다. Acyclic이므로 순환 구조는 가질 수 없습니다. DAG와 DAG를 연결해줄 수도 있습니다. 스케줄러와 워커가 나뉘어져 있기 때문에 워커를 확장할 수 있고 이 때문에 수많은 workflow를 실행하고 관리할 수 있습니다. 즉, DAG이 아무리 많아지더라도 관리가 가능하다는거죠. 또한 Airflow는 Web UI 관리 툴이 있..

수영 기록을 위해 해당 월에 대한 주(weekOfMonth)를 알아야 했다. calendar Table DDL 그러기 위해 날짜와 주를 가지는 Calendar 테이블을 생성하였다. create table calendar ( id int auto_increment primary key, date date not null comment '날짜(YYYY-MM-DD)', week int not null comment '해당 달의 주차', created_at timestamp default CURRENT_TIMESTAMP not null ) comment '달력 테이블'; 위 테이블에 마이그레이션을 위해 python script를 작성하였다. 규칙 해당 월에 주를 구하기 위해서는 다음과 같은 규칙을 알아야 한다...