목록airflow etl (1)

TITEDIOS 편한 코딩

[MLOps] 9강 - 첫 Dag 작성하기 (Airflow Multi-Node System 구축 가이드 및 사례)

목차DAG 란?DAG 구조Dag Tutorial 작성하기Airflow에서 Dag 실행해 보기결론1. Dag 란?DAG(Directed Acyclic Graph)는 데이터를 처리하거나 워크플로우를 관리하기 위해 사용되는 중요한 개념으로, 방향성이 있고 사이클이 없는 그래프 구조를 의미합니다. 간단히 말해, DAG는 작업 간의 순서를 명확히 하고 종속성을 정의하는 데 사용됩니다. 이 구조는 작업의 병렬 실행과 순차 실행을 효과적으로 관리할 수 있게 해 줍니다.DAG의 특성은 다음과 같습니다:방향성(Directed): 작업 간의 의존 관계는 방향을 가지고 있습니다.비순환성(Acyclic): 순환 구조가 없어 작업이 무한히 반복되지 않습니다.DAG는 주로 데이터 엔지니어링, 머신러닝 파이프라인, ETL(Extr..
MLOps 2025. 1. 14. 19:00
이전 Prev 1 Next 다음