Пример использования airflow с подключением к БД neo4j

Как развернуть проект

  1. Клонируйте репозиторий:
git clone https://git.ooru.ru/radik/airflow_neo4j.git
cd airflow_neo4j
mkdir -p logs plugins
chown -R 50000:0 logs plugins
  1. Скопируйте и настройте файл переменных окружения:

Переименуйте файл env.example в .env и обязательно заполните все переменные в файле (например, пароли и данные для подключения к Neo4j и Postgres).

cp env.example .env
# Откройте .env и укажите свои значения
  1. Запустите сервисы через Docker Compose:
docker-compose up --build
  1. Дождитесь сообщения в логе:

В процессе инициализации дождитесь строки:

Initialization complete! Starting webserver...

После этого интерфейс Airflow будет доступен по адресу: http://ip:8080

  1. Первый запуск DAG

При первом запуске дага откройте его в Airflow UI и включите тумблер (On). Не нажимайте кнопку запуска (Play) вручную — дождитесь автоматического срабатывания по расписанию или другим триггерам.

Description
Airflow с подключением к БД Neo4j
Readme 48 KiB
Languages
Python 79.9%
Shell 14.5%
Dockerfile 5.6%