上一篇:etl bigdata
更多信息查看:https://blue-shadow.top
快速安裝
在聯(lián)網(wǎng)狀態(tài)下，在線安裝過程很簡單,操作過程如下：
# 首先為Airflow配置一個家目錄，默認(rèn)情況下在 ~/ariflow , 可以通過配置變量AIRFLOW_HOME進(jìn)行修改。
export AIRFLOW_HOME=~/airflow
# 通過pip安裝Airflow
pip install apache-airflow
# 初始化數(shù)據(jù)庫，默認(rèn)使用的sqlite.所以無需做其他而外配置
airflow initdb
#開啟Airflow Web服務(wù)
airflow webserver -p 8888
#開啟調(diào)度器
airflow scheduler
配置說明
成功安裝后，在AIRFLOW_HOME目錄中，生成一個名為airflow.cfg的文件。airflow.cfg是配置的方法之一，另一個方法是直接配置環(huán)境變量,
就像前面安裝中的export AIRFLOW_HOME=~/airflow 操作。其實在airflow.cfg中的配置信息到使用環(huán)境變量的對應(yīng)關(guān)系如下：
以下以cfg文件的格式：通過方括號定義配置小節(jié)，如[core]、[secrets]、[secrets]、[hive]等，在這些小節(jié)下以key=value格式配置。
所有想要通過環(huán)境變量對應(yīng)的格式就變?yōu)椋篈IRFLOW__{SECTION}__{KEY}
[core]
dags_folder = /home/neo/airflow/dags
base_log_folder = /home/neo/airflow/logs
executor = SequentialExecutor
sql_alchemy_conn = sqlite:////home/neo/airflow/airflow.db
.......................
[secrets]
backend =
backend_kwargs =
.....
[cli]
api_client = airflow.api.client.local_client
endpoint_url = http://localhost:8080
[api]
auth_backend = airflow.api.auth.backend.default
[operators]
........
default_owner = airflow
default_cpus = 1
default_ram = 512
default_disk = 512
default_gpus = 0
[hive]
default_hive_mapred_queue =
數(shù)據(jù)庫的配置
由于Airflow默認(rèn)使用Sqlite作為數(shù)據(jù)庫，在執(zhí)行完airflow initdb后，就在數(shù)據(jù)庫文件中創(chuàng)建表，創(chuàng)建的表如下所示：
airflow-database-table
理解了這些數(shù)據(jù)庫表的,能更好的理解Airflow的處理流程，以下對一些表進(jìn)行說明。
如果要配置使用其他的數(shù)據(jù)（Mysql、Postgres），則修改airflow.cfg中的sql_alchemy_conn字段后，重新調(diào)用airflow initdb命令。
針對不同的配置方式：mysql+mysqldb://user:password@host[:port]/dbname
