5
provo a configurare Airbnb AirFlow per utilizzare il CeleryExecutor come questo:configurazione del flusso d'aria di lavorare con CeleryExecutor
ho cambiato il executer nel airflow.cfg da SequentialExecutor a CeleryExecutor:
# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = CeleryExecutor
Ma ottengo il seguente errore:
airflow.configuration.AirflowConfigException: error: cannot use sqlite with the CeleryExecutor
si noti che il sql_alchemy_conn è configurato in questo modo:
sql_alchemy_conn = sqlite:////root/airflow/airflow.db
ho guardato di flusso d'aria GIT (https://github.com/airbnb/airflow/blob/master/airflow/configuration.py)
e ha scoperto che il codice seguente genera questa eccezione:
def _validate(self):
if (
self.get("core", "executor") != 'SequentialExecutor' and
"sqlite" in self.get('core', 'sql_alchemy_conn')):
raise AirflowConfigException("error: cannot use sqlite with the {}".
format(self.get('core', 'executor')))
Sembra da questo metodo validate che il sql_alchemy_conn non possono contenere sqlite.
Avete qualche idea su come configurare CeleryExecutor senza sqllite? per favore nota che ho scaricato rabitMQ per lavorare con CeleryExecuter come richiesto.
Posso sapere Come aggiungere il collegamento mysql invece di PostgreSQL – abhijeetmote
@abhijeetmote stringa di connessione msql per sqlalchemy può essere qualcosa del tipo 'mysql: // nomeutente: password @ hostname: port/database_name' – nehiljain