ETL = Extract(抽取)‑Transform(转换)‑Load(加载)
ETL脚本就是实现ETL流程的代码/脚本文件,用来把数据从各种源拿出来,清洗加工,再写入目标数据库/数仓,通常还会定时反复跑。
ETL脚本常见语言/工具:
- Shell / Bash:处理文件、调用命令行工具,轻量ETL
- Python(Pandas、SQLAlchemy、PySpark):最常用,灵活处理复杂清洗
- SQL脚本:存储过程、insert‑select,数据库内完成抽取转换加载
- PySpark:大数据量ETL
- 工具生成脚本:DataX、Flink、Airflow,底层本质也是运行ETL脚本