ha
-
Use Airflow broker with redis sentinel개발/Airflow 2023. 1. 9. 11:10
Airflow 를 운영하며, HA에 대한 요건이 발생하여 단일 redis 로 사용중이던걸 redis sentinel 모드로 구성하였다. 8s 클러스터에 Airflow 를 구성하고, k8s 노드 fail 이 발생했을 시 단일 redis 의 container의 fail 이 동반하면 airflow의 기능이 동작하지 않기 때문에, 이를 방지하고자 여러 노드에 master, slave를 분산하여 HA를 보장하고자 하였다. Airflow was operated, and requirements for HA occurred, so what was being used as a single redis was configured in redis sentinel mode. Airflow is configured in the ..