kkoon9

재직 중인 회사에서 airflow를 사용하여 공부 후 정리한 포스팅입니다. Airflow의 주요 기능 Airflow는 python 기반의 workflow 스케줄러입니다. workflow는 DAG과 task라는 단위로 다양하게 구성 가능합니다. DAG은 Directed Acyclic Graph는 약자로, 어떤 task들의 모임으로 구성되는데, task들의 순서를 정해줄 수 있습니다. Acyclic이므로 순환 구조는 가질 수 없습니다. DAG와 DAG를 연결해줄 수도 있습니다. 스케줄러와 워커가 나뉘어져 있기 때문에 워커를 확장할 수 있고 이 때문에 수많은 workflow를 실행하고 관리할 수 있습니다. 즉, DAG이 아무리 많아지더라도 관리가 가능하다는거죠. 또한 Airflow는 Web UI 관리 툴이 있..

도커 스터디때 다룬 Dockerfile을 좀 더 공부한 내용입니다. 도커 스터디 [2]- Dockerfile을 직접 작성해보기 🧸 사내에서 진행했던 도커 스터디를 실습 및 정리했던 내용을 정리한 포스팅입니다. Dockerfile 문법 FROM ENV ADD COPY WORKDIR EXPOSE ENTRYPOINT RUN CMD USER ARG LABEL VOLUME ONBUILD STOPSIGNAL HEALTHCHECK 보통 FROM 에서 kkoon9.tistory.com 사내에서 진행하는 사이드 프로젝트를 배포하기 위해 Docker를 공부했습니다. Dockerfile Dockerfile은 원하는 개발환경을 코드로 구성하는 방법을 제공합니다. 코드로서 인프라 환경을 프로비저닝할 수 있습니다. 도커 이미지를..

🧸 사내에서 진행했던 도커 스터디를 실습 및 정리했던 내용을 정리한 포스팅입니다. Dockerfile 문법 FROM ENV ADD COPY WORKDIR EXPOSE ENTRYPOINT RUN CMD USER ARG LABEL VOLUME ONBUILD STOPSIGNAL HEALTHCHECK 보통 FROM 에서 시작해서 RUN, ENTRYPOINT, CMD로 끝난다. 아래 5개의 문법은 잘 안쓴다고 한다. 🐻 쓰더라도 도커 고수들이 쓴다고 하네요. 스터디 멘토님은 LABEL보다는 변수 또는 주석으로 처리하시는 편이라고 한다. RUN vs CMD vs ENTRYPOINT RUN : 도커파일로부터 도커 이미지를 빌드하는 순간에 실행 CMD : 이미지로부터 컨테이너를 생성하여 최초로 실행할 때 수행 ENTR..

🧸 사내에서 진행했던 도커 스터디를 실습 및 정리했던 내용을 정리한 포스팅입니다. TAG latest : 최신 버전으로 자동 업데이트 안전을 위해서 버전을 TAG에 달아주는 게 좋다. IMAGE ID 해당 도커 이미지의 고유한 아이디 IMAGE ID가 동일한데 TAG나 NAME이 다를 수 있다. ⇒ 별칭 환경설정 Docker Compose V2 ⇒ 이번 스터디는 안 다룬다. Resource 도커에 얼마나 할당해줄지 정할 수 있다. Docker Engine 쿠버네티스를 도커 데스크탑을 쓸 수 있다. ⇒ UI로 제공 ⇒ 이번 스터디에는 안 다룬다. DockerHub docker run hello-world 도커가 깔린지 아닌지 위 명령어를 통해 알 수 있다. 🤔 run에서 이미지를 어떻게 찾을까? 도커가 이..

AWS Certificate Mananger를 통해서 인증서 등록을 해봅시다. 1. Certificate Manager 검색 인증서 프로비저닝의 시작하기를 누릅니다. 도메인만 발급받은 상태라면 Certificate Manager를 통해 무료로 발급받을 수 있습니다. 2. 인증서 요청 구매한 도메인에 대해 인증서를 새로 발급받을 것이니 [공인 인증서 요청]을 선택합니다. 3. 도메인 입력 인증서를 발급받을 도메인을 입력합니다. 서브 도메인까지 포함하는 인증서를 발급받고 싶으면 와일드카드(*)를 사용하여 *.connectclass.io를 입력하면 됩니다. 4. 검증 방법 선택 도메인 소유주임을 확인하기 위한 두 가지 검증 방법을 제공합니다. DNS 검증 : DNS Certificate Manager에서 제시..

1. 레코드 생성(Record Set) 호스팅 영역 메뉴를 클릭하여 구입한 도메인을 클릭하고 레코드 생성을 클릭합니다. 정책은 그대로 두고 [값/트래픽 라우팅 대상]에서 Load Balancer를 선택한 뒤 만들어 둔 로드 밸런서를 선택해줍니다. HTTPS 인증서 발급 후 실습 진행 1. EC2 로드 밸런서 리스너 추가 EC2에서 [로드 밸런싱] ⇒ [로드밸런서]로 이동합니다. 기존에 생성했던 로드밸런서를 선택하고 [리스너] 탭을 클릭합니다. 2. HTTPS 추가 [리스너 추가] 버튼을 클릭하고 HTTPS 프로토콜을 선택해준 뒤, 전달 대상을 추가해서 연결하려는 Auto Scaling 그룹을 지정해줍니다. 발급받은 HTTPS 인증서를 추가해줍니다. HTTP를 HTTPS로 리다이렉션 시키기 로드밸런서에서 ..

실제 운영 환경에 적용해서 서비스를 외부에 오픈하기 위해서 필요한 작업을 알아봅시다. 도메인, DNS DNS(Domain Name System) 서버는 도메인과 그 도메인에 연결된 IP 주소들을 관리하는 서버입니다. 도메인을 등록하기 위해서는 대행사에 돈을 내고 사용 가능한 도메인을 사야합니다. 도메인을 산 뒤 내가 원하는 IP 주소를 도메인에 연결해달라고 요청하면 DNS 서버들에 도메인과 IP 주소를 등록합니다. GoDaddy나 AWS Route 53이라는 서비스를 통해 등록이 가능합니다. AWS Route 53을 이용한 도메인 등록 1. 도메인 등록 [도메인(Domains)] ⇒ [등록된 도메인(Registered domains)] 메뉴를 선택합니다. 그 다음, 도메인 등록(Register Domai..

Elastic Load Balancing(ELB, 로드 밸런서)은 앞서 나왔던 로드 밸런서의 역할을 하는 AWS 서비스입니다. 클라이언트의 요청을 직접 받고 로드 밸런서가 관리하는 서버들에게 요청을 골고루 전달해줍니다. 로드 밸런서도 일종의 서버지만 AWS에서 로드 밸런서의 기능을 하는 서버를 내부적으로 관리해주기 때문에 우리는 SSH로 직접 접속할수는 없습니다. 로드 밸런서가 받은 요청을 특정 인스턴스들 혹은 Auto Scaling 그룹으로 전달하도록 설정할 수 있습니다. 로드 밸런서는 너무 많은 요청을 처리하거나 정상적으로 동작하지 않는 서버에는 요청을 보내지 않습니다. Pricing 애플리케이션 로드 밸런서의 요금은 월 22$ 정도입니다. 네트워크 트래픽 분산—Elastic Load Balancin..