news 2026/4/24 20:51:49

Flink SQL 的 JOB 管理语句SHOW / DESCRIBE / STOP(SQL CLI SQL Gateway 实战)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink SQL 的 JOB 管理语句SHOW / DESCRIBE / STOP(SQL CLI SQL Gateway 实战)

1. JOB 语句能做什么?

官方定位很明确:

Job statements are used for management of Flink jobs.
(JOB 语句用于 Flink 作业管理。)

也就是说,你不需要跑到 Web UI 或 REST API 才能看作业/停作业,在 SQL CLI/Gateway 里也可以“就地管理”。

2. SQL CLI 实战:三连操作(SHOW → DESCRIBE → STOP)

2.1 SHOW JOBS:列出集群作业

FlinkSQL>SHOWJOBS;+----------------------------------+----------+---------+-------------------------+|job id|job name|status|starttime|+----------------------------------+----------+---------+-------------------------+|228d70913eab60dda85c5e7f78b5782c|myjob|RUNNING|2023-02-11T05:03:51.523|+----------------------------------+----------+---------+-------------------------+

输出一般包含:job id / job name / status / start time

2.2 DESCRIBE JOB:查看某个 job 的信息

FlinkSQL>DESCRIBEJOB'228d70913eab60dda85c5e7f78b5782c';+----------------------------------+----------+---------+-------------------------+|job id|job name|status|starttime|+----------------------------------+----------+---------+-------------------------+|228d70913eab60dda85c5e7f78b5782c|myjob|RUNNING|2023-02-11T05:03:51.523|+----------------------------------+----------+---------+-------------------------+

当你从SHOW JOBS拿到 job_id 后,下一步通常就是DESCRIBE JOB确认目标是不是你要操作的那个。

2.3 STOP JOB:停止作业(带 SAVEPOINT 示例)

先设置 savepoint 目录(也可以由集群配置提供):

FlinkSQL>SET'execution.checkpointing.savepoint-dir'='file:/tmp/';[INFO]Executestatement succeeded.

然后停止作业并触发 savepoint:

FlinkSQL>STOP JOB'228d70913eab60dda85c5e7f78b5782c'WITHSAVEPOINT;+-----------------------------------------+|savepointpath|+-----------------------------------------+|file:/tmp/savepoint-3addd4-0b224d9311e6|+-----------------------------------------+

执行后会返回savepoint path,这通常就是你后续“从 savepoint 恢复”的关键凭证(路径要保存好)。

3. 语法与关键点(官方语义梳理)

3.1 SHOW JOBS

SHOWJOBS

作用:显示 Flink 集群中的作业。
限制:只在 SQL CLI 或 SQL Gateway 可用


3.2 DESCRIBE / DESC JOB

{DESCRIBE|DESC} JOB'<job_id>'

作用:显示指定 job_id 的作业信息。
限制:只在 SQL CLI 或 SQL Gateway 可用


3.3 STOP JOB:停止作业(可选 SAVEPOINT、可选 DRAIN)

STOP JOB'<job_id>'[WITHSAVEPOINT][WITHDRAIN]
WITH SAVEPOINT:停止前做一次 Savepoint
  • 含义:在停止作业前执行一次 savepoint

  • savepoint 目录配置来源:

    • 可在集群配置里设置execution.checkpointing.savepoint-dir
    • 也可通过SET 语句设置(并且SET 的优先级更高

也就是:你在 SQL CLI 里SET了 savepoint-dir,就会覆盖集群默认值。

WITH DRAIN:在最后一次 checkpoint barrier 前把 watermark 提到最大

官方解释是:

Increase the watermark to the maximum value before the last checkpoint barrier. Use it when you want to terminate the job permanently.

直白理解(不展开超出原文的机制细节):

  • WITH DRAIN是一种“更倾向永久终止”的停止方式
  • 它会在停止前把 watermark 推到最大值(在最后一次 checkpoint barrier 之前)

注意:STOP JOB同样只在 SQL CLI 或 SQL Gateway 可用。

4. 最佳实践:生产里怎么用更稳

4.1 停作业前先确认目标:SHOW → DESCRIBE

不要直接 copy job_id 就 stop,建议固定流程:

1)SHOW JOBS;
2)DESCRIBE JOB '<job_id>';(确认名称、状态、启动时间等)

这样能显著减少“停错作业”的概率。

4.2 需要可恢复,优先用 WITH SAVEPOINT

很多生产场景停作业的真实诉求是:可恢复、可迁移、可升级
这时优先:

SET'execution.checkpointing.savepoint-dir'='file:/tmp/';STOP JOB'<job_id>'WITHSAVEPOINT;

并保存返回的savepoint path

4.3 临时变更 savepoint-dir:用 SET 覆盖集群默认

如果你只是临时想把 savepoint 输出到某个位置,不想改集群配置,直接在会话里:

SET'execution.checkpointing.savepoint-dir'='file:/tmp/';

官方明确:SET 的优先级更高

5. 常见坑点提醒

  • 限制坑SHOW JOBS / DESCRIBE JOB / STOP JOB只在SQL CLI / SQL Gateway可用,不要在普通 TableEnvironment 的 Java 程序里指望它们能跑通。
  • 路径坑:开启WITH SAVEPOINT时,别忘了 savepoint-dir 的来源与优先级(SET > cluster config)。
  • 语义坑WITH DRAIN是用于“永久终止”的场景(官方这么建议),不要把它当成普通 stop 的默认选项随手用。

6. 总结

Flink SQL 的 JOB 管理语句很少,但非常实用:

  • SHOW JOBS:列出集群作业

  • DESCRIBE JOB:查看指定作业

  • STOP JOB:停止作业

    • WITH SAVEPOINT:停止前做 savepoint,路径由execution.checkpointing.savepoint-dir决定(SET 优先)
    • WITH DRAIN:提升 watermark 到最大值,用于永久终止场景
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/20 10:21:17

大模型AI时代,程序员为何“哀鸿遍野”?

是危言耸听&#xff0c;还是行业真到了转折点&#xff1f;最近&#xff0c;不少声音都在讨论“AI取代程序员”的话题。社交媒体上有人焦虑&#xff0c;有人自嘲&#xff0c;也有人默默用起了AI工具提升效率。大模型浪潮之下&#xff0c;程序员这个曾经的热门职业&#xff0c;真…

作者头像 李华
网站建设 2026/4/23 16:01:46

Open-AutoGLM周报引擎实战指南(AI驱动办公新革命)

第一章&#xff1a;Open-AutoGLM周报引擎的核心价值Open-AutoGLM周报引擎是一款基于大语言模型与自动化流程的智能报告生成系统&#xff0c;专为技术团队、研发部门及项目管理场景设计。其核心价值在于将碎片化的开发活动数据转化为结构清晰、语义连贯的周期性报告&#xff0c;…

作者头像 李华
网站建设 2026/4/23 4:26:26

参会人员速看,Open-AutoGLM峰会倒计时7天的关键准备清单

第一章&#xff1a;Open-AutoGLM峰会参会须知 参加Open-AutoGLM峰会前&#xff0c;请确保已完成注册并获取电子参会凭证。所有参会者需通过官方平台完成身份绑定&#xff0c;以便现场签到与权限管理。 参会准备事项 提前下载会议App&#xff0c;用于日程查看与实时互动携带有…

作者头像 李华
网站建设 2026/4/23 8:30:11

心电信号ECG去噪:Matlab实现低通滤波与小波分解结合

心电信号ECG去噪&#xff0c;Matlab程序&#xff0c;使用低通滤波和小波分解结合。 先去除高于80Hz的高频噪声&#xff0c;再去除高于50Hz的噪声和工频干扰等&#xff0c;最后去除基线漂移。 具体工作如下&#xff1a; 1、读取一段ECG信号&#xff0c;采样率为200Hz&#xff0c…

作者头像 李华