TITEDIOS Dev Note

목차Multi-node Airflow ArchitectureMulti-node 환경 구축Multi-node에 맞게 docker-compose.yaml 수정결론Apache Airflow는 워크플로우 관리 및 스케줄링을 위한 오픈소스 툴로, 다양한 작업을 정의하고 실행할 수 있습니다. 기본적으로 Airflow는 단일 노드 환경에서도 동작하지만, 다수의 작업을 병렬로 처리하거나 대규모 환경에서 확장성을 확보하기 위해서는 멀티 노드(Multi-node) 아키텍처가 필요합니다. 이번 글에서는 Airflow의 Multi-node 아키텍처와 이를 구축하기 위한 방법, 그리고 docker-compose.yaml 파일을 Multi-node 환경에 맞게 수정하는 방법을 살펴보겠습니다.1. Multi-node Airflow..

목차DAG 란?DAG 구조Dag Tutorial 작성하기Airflow에서 Dag 실행해 보기결론1. Dag 란?DAG(Directed Acyclic Graph)는 데이터를 처리하거나 워크플로우를 관리하기 위해 사용되는 중요한 개념으로, 방향성이 있고 사이클이 없는 그래프 구조를 의미합니다. 간단히 말해, DAG는 작업 간의 순서를 명확히 하고 종속성을 정의하는 데 사용됩니다. 이 구조는 작업의 병렬 실행과 순차 실행을 효과적으로 관리할 수 있게 해 줍니다.DAG의 특성은 다음과 같습니다:방향성(Directed): 작업 간의 의존 관계는 방향을 가지고 있습니다.비순환성(Acyclic): 순환 구조가 없어 작업이 무한히 반복되지 않습니다.DAG는 주로 데이터 엔지니어링, 머신러닝 파이프라인, ETL(Extr..

Docker의 필요성현대 소프트웨어 개발에서는 애플리케이션을 여러 환경에서 일관되게 배포하고 실행할 수 있는 방법이 필요합니다. 개발 환경, 테스트 환경, 프로덕션 환경 사이의 차이로 인해 애플리케이션이 한 환경에서는 잘 동작하지만 다른 환경에서는 문제가 발생하는 경우가 빈번하기 때문입니다. 이러한 문제를 해결하기 위해 Docker와 같은 컨테이너 기술이 도입되었습니다.Docker는 애플리케이션과 그 종속성을 컨테이너라는 독립적인 패키지로 묶어 어디서나 동일하게 실행될 수 있도록 합니다. 컨테이너는 가상 머신과 달리 운영 체제의 커널을 공유하며, 경량화되어 빠른 시작과 높은 성능을 제공합니다.Docker의 장점일관성 있는 환경 제공Docker는 애플리케이션과 그 필요한 모든 라이브러리, 종속성을 하나의 ..