ETL = Extract(抽取)‑Transform(转换)‑Load(加载)

ETL脚本就是实现ETL流程的代码/脚本文件,用来把数据从各种源拿出来,清洗加工,再写入目标数据库/数仓,通常还会定时反复跑。

ETL脚本常见语言/工具:

  • Shell / Bash:处理文件、调用命令行工具,轻量ETL
  • Python(Pandas、SQLAlchemy、PySpark):最常用,灵活处理复杂清洗
  • SQL脚本:存储过程、insert‑select,数据库内完成抽取转换加载
  • PySpark:大数据量ETL
  • 工具生成脚本:DataX、Flink、Airflow,底层本质也是运行ETL脚本