Apache Airflow 与 Quartz：Python 数据工作流与 Java 定时调度对比

1.2.2 丰富的算子（Operators）

Airflow 内置大量 Operator，覆盖各种数据生态：

• BashOperator：执行 Shell 命令
• PythonOperator：执行 Python 函数
• MySqlOperator / PostgresOperator：执行 SQL
• SparkSubmitOperator：提交 Spark 任务
• KubernetesPodOperator：在 K8s 中运行 Pod
• Sensor：等待外部条件满足（如文件到达）

1.2.3 资产驱动调度（Asset-driven scheduling）

从 Airflow 2.4 开始引入数据资产（Dataset）概念，工作流不再仅依赖时间，而是依赖上游产出的数据资产。当上游更新数据时，下游自动触发，实现实时化、事件驱动的调度。

from airflow.datasets import Dataset

input_dataset = Dataset('s3://my-batch/input/data.csv')
output_dataset = Dataset('s3://my-batch/output/result.csv')

with DAG(
    dag_id='data_pipeline',
    schedule=[input_dataset],  # 依赖数据资产
    ... 
) as dag:
    # 任务定义...

1.2.4 全新 UI（React）

Airflow 2.0 后 UI 使用 React 重构，界面现代化，支持网格视图、任务详情、日志预览、Gantt 图等，运维体验大幅提升。

1.2.5 高度可扩展

• 自定义插件：可开发自定义 Operator、Hook、Sensor。
• 多种执行器：支持 LocalExecutor（单机）、CeleryExecutor（分布式）、KubernetesExecutor（动态容器）。
• 外部集成：与 Prometheus、ELK、Datadog 等监控工具集成。

1.3 优缺点分析

1.4 适用场景

• 数据 ETL/ELT 流水线：如从 MySQL 同步数据到 Hive，清洗后导入 HBase。
• 机器学习工作流：包括数据预处理、训练、模型评估、部署。
• 复杂依赖的批处理任务：任务之间有先后顺序且可能动态扩展。
• 数据工程师团队：团队以 Python 为主，对工作流可维护性要求高。

二、Quartz：低调的 Java 调度王者

2.1 Quartz 是什么？

Quartz 是 OpenSymphony 开源组织在 Java 调度领域的 老牌框架，自 2001 年发布以来，已成为 Java 定时任务的事实标准。它不是一个完整的调度平台，而是一个 任务调度库，可嵌入任何 Java 应用。Spring 的 @Scheduled 底层就是 Quartz 的简化版，许多分布式调度框架（如 Elastic-Job）也基于 Quartz 二次开发。

2.2 Quartz 的核心价值

• 不可替代的底层基石：Quartz 的稳定性和灵活性经过 20 多年考验，是众多框架的'心脏'。
• 轻量级：无需外部依赖，直接嵌入应用，适合对部署复杂度敏感的小型项目。
• 纯 Java：与 Java 生态无缝集成，特别适合 Spring Boot 项目。

2.3 基础使用：Hello Quartz

2.3.1 引入依赖（Maven）

<dependency>
    <groupId>org.quartz-scheduler</groupId>
    <artifactId>quartz</artifactId>
    <version>2.3.2</version>
</dependency>

2.3.2 定义 Job

import org.quartz.Job;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;

public class HelloJob implements Job {
    @Override
    public void execute(JobExecutionContext context) throws JobExecutionException {
        System.out.println("Hello, Quartz! " + System.currentTimeMillis());
    }
}

2.3.3 调度 Job

import org.quartz.*;
import org.quartz.impl.StdSchedulerFactory;

public class QuartzDemo {
    public static void main(String[] args) throws SchedulerException {
        // 1. 创建调度器
        Scheduler scheduler = StdSchedulerFactory.getDefaultScheduler();
        scheduler.start();

        // 2. 定义 JobDetail
        JobDetail job = JobBuilder.newJob(HelloJob.class)
            .withIdentity("helloJob", "group1")
            .build();

        // 3. 定义 Trigger（每 5 秒执行一次）
        Trigger trigger = TriggerBuilder.newTrigger()
            .withIdentity("helloTrigger", "group1")
            .startNow()
            .withSchedule(SimpleScheduleBuilder.simpleSchedule()
                .withIntervalInSeconds(5).repeatForever())
            .build();

        // 4. 调度任务
        scheduler.scheduleJob(job, trigger);
    }
}

2.4 集群部署：基于数据库行锁实现分布式调度

Quartz 支持集群模式，通过共享数据库实现分布式协调。其原理是：多个调度器节点同时运行时，通过 数据库行锁 竞争执行任务。

配置步骤：

1. 创建 Quartz 数据库表（官方提供 tables_mysql.sql）。
2. 配置 quartz.properties：

org.quartz.jobStore.class=org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass=org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.dataSource=myDS
org.quartz.dataSource.myDS.driver=com.mysql.cj.jdbc.Driver
org.quartz.dataSource.myDS.URL=jdbc:mysql://localhost:3306/quartz
org.quartz.dataSource.myDS.user=root
org.quartz.dataSource.myDS.password=123456
org.quartz.jobStore.isClustered=true # 开启集群
org.quartz.jobStore.clusterCheckinInterval=20000

每个节点启动相同的应用，Quartz 会自动协调，保证每个任务在同一时间只被一个节点执行。如果节点宕机，其他节点会接管。

2.5 局限性

• 无原生分布式分片：任务无法自动分片，需自己实现。
• 无管理界面：任务管理、监控需自研。
• 无重试策略：失败后默认不重试，需自己封装。
• 任务依赖复杂：仅支持简单的顺序依赖，不适合 DAG。

2.6 实战：基于 Quartz 封装轻量级分布式调度组件

在生产中，我们通常会对 Quartz 进行二次封装，添加任务管理、失败重试、告警等功能。下面是一个简单的封装示例（Spring Boot + Quartz）：

2.6.1 引入 Spring Boot Starter

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-quartz</artifactId>
</dependency>

2.6.2 定义可动态调度的 Job

@Component
public class DynamicJob extends QuartzJobBean {
    @Autowired
    private TaskService taskService;

    @Override
    protected void executeInternal(JobExecutionContext context) {
        JobDataMap dataMap = context.getMergedJobDataMap();
        Long taskId = dataMap.getLong("taskId");
        try {
            taskService.execute(taskId); // 执行成功，更新任务状态
        } catch (Exception e) {
            // 记录失败，根据重试策略决定是否重新调度
            handleFailure(taskId, context);
        }
    }
}

2.6.3 任务管理 Service

@Service
public class QuartzService {
    @Autowired
    private Scheduler scheduler;

    public void addTask(String name, String group, String cron, Long taskId) throws SchedulerException {
        JobDetail job = JobBuilder.newJob(DynamicJob.class)
            .withIdentity(name, group)
            .usingJobData("taskId", taskId)
            .storeDurably()
            .build();
        CronTrigger trigger = TriggerBuilder.newTrigger()
            .withIdentity(name + "Trigger", group)
            .withSchedule(CronScheduleBuilder.cronSchedule(cron))
            .build();
        scheduler.scheduleJob(job, trigger);
    }

    public void deleteTask(String name, String group) throws SchedulerException {
        scheduler.deleteJob(JobKey.jobKey(name, group));
    }
}

2.6.4 集群配置

只需在 application.yml 中配置数据源，并开启 spring.quartz.job-store-type=jdbc 和 spring.quartz.properties.org.quartz.jobStore.isClustered=true。

2.7 适用场景

• 小型 Java 项目：任务量不大，不想引入额外中间件。
• 作为底层依赖：如 Elastic-Job、Spring Schedule 等框架的调度核心。
• 已有 Spring Boot 生态：需要简单可靠的定时任务，且对 UI 无要求。

三、Airflow vs Quartz：全方位横向对比

四、选型建议

4.1 什么时候选 Airflow？

• 你的团队以 Python 为主，需要 数据 ETL、机器学习工作流。
• 任务之间 依赖复杂，需要 DAG 编排。
• 希望开箱即用，有完善的 UI 和监控。
• 不介意部署和运维成本。

4.2 什么时候选 Quartz？

• 你正在开发一个 Java/Spring Boot 应用，需要添加一些定时任务。
• 任务量不大，对分布式要求不高（或有数据库集群即可）。
• 你不想引入外部中间件，追求 简单轻量。
• 你愿意自己开发管理界面和重试逻辑，或 Quartz 已内嵌于你使用的框架（如 Elastic-Job）。

4.3 混合使用？

两者并不互斥。例如，可以在数据平台中使用 Airflow 编排大数据任务，同时在业务系统（Java）中使用 Quartz 处理轻量级定时任务。

五、总结

Apache Airflow 和 Quartz 代表了调度领域的两个极端：一个是全功能的数据工作流平台，一个是轻量级的嵌入式调度库。它们没有优劣之分，只有适用场景的不同。

• 如果你的工作涉及复杂的数据处理流程，Airflow 会是不二之选。
• 如果你只是想给 Java 应用加几个定时任务，Quartz 依然宝刀未老。

理解它们的核心价值，才能在做技术选型时游刃有余。希望本文能帮助你做出明智的决策，在合适的场景使用合适的工具。