CeleryExecutor
-
Airflow 의 Celery executor 의 custom configuration개발/Airflow 2023. 1. 9. 17:47
Airflow의 executor 를 celery 로 사용중에 configuration 을 수정해야할 경우가 있다. 예를 들어, database engine options 를 추가한다던지.. 이번 case는 celery의 result_backend 로 사용하는 mysql 과의 연결 관리를 위해 custom option을 추가한 case로 추가 설정에 대한 내용과, custom_celery_config를 적용하는 방법을 기술하도록 하겠다. celery config를 설정하는 방법은 세가지 정도로 파악을 했는데, celery config 파일을 수정 python dag 파일에서 직접 celery config를 import Airflow configuration을 통해, celery config 파일을 impo..