Flink有3中运行模式,分别是STREAMING,BATCH和AUTOMATIC
Ref
1 | https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/datastream_execution_mode.html |
1.STREAMING运行模式 是DataStream默认的运行模式
2.BATCH运行模式 也可以在DataStream API上运行
3.AUTOMATIC运行模式 是让系统根据source类型自动选择运行模式
可以通过命令行来配置运行模式
1 | bin/flink run -Dexecution.runtime-mode=BATCH examples/streaming/WordCount.jar |
也可以在代码中配置
1 | StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); |
在STREAMING运行模式中,Flink使用StateBackend来控制状态存储和checkpoint的工作,RocksDBStateBackend支持增量Checkpoint,其他2个不支持
在BATCH****运行模式中,statebackend是被忽略的,batch模式不支持checkpoint
Flink支持3种状态后端(StateBackend),其中
1 | 1.MemoryStateBackend |
何时使用 RocksDBStateBackend
1 | 1.RocksDBStateBackend 最适合用于处理大状态,长窗口,或大键值状态的有状态处理任务。 |
StateBackend可以参考
【flink】flink状态后端配置-设置State Backend
从RocksDBStateBackend讲述Flink的State机制
在STREAMING运行模式中,flink使用checkpoint来进行容错,checkpoint参考
1 | https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/stream/state/checkpointing.html |
在BATCH运行模式中,flink会回滚到到之前的stage,只有失败的task才会重启,这比从checkpoint重启所以的task要高效,所以建议如果任务能在BATCK运行模式下运行,就使用BATCH运行模式
Broadcast State
1. STREAMING运行模式,一个典型应用就是允许一个控制流接收一个rules,并将其广播到其他的stream中
2. BATCH运行模式不支持