목록airflow python (1)

TITEDIOS Dev Note

[MLOps] 1강 - 아키텍처 소개 및 환경 준비(Airflow Multi-Node System 구축 가이드 및 사례)

목차목표환경 준비구축할 전체 환경의 동작 흐름결론Apache Airflow는 워크플로우를 작성, 스케줄링, 모니터링하는 데 널리 사용되는 오픈소스 툴입니다. 이번 시리즈에서는 Airflow Multi-Node 시스템을 구축하는 과정을 다룹니다. 첫 번째인 1강에서는 전체적인 아키텍처와 환경을 준비하는 방법에 대해 설명함으로써 마음의 준비를 하겠습니다.1. 목표Airflow Multi-Node 환경을 VirtualBox와 Rocky Linux 9을 사용해 구축합니다. 이 환경은 다음과 같은 구조를 가지게 됩니다.아키텍처 구성:Scheduler Node(VM1):워크플로우를 스케줄링하고 DAG를 관리.Web UI를 통해 사용자가 DAG를 실행하고 상태를 확인.Worker Node(VM2):실제 작업을 실행...
MLOps 2024. 12. 10. 19:00
이전 Prev 1 Next 다음