为了方便使用Flink对流式数据进行统一的读写,需要开发统一的source服务
- kafka source
需要可配置的参数,参考flume的kafka source配置参数
1 | https://flume.apache.org/FlumeUserGuide.html#kafka-source |
定义KafkaSourceConstants,参考:
1 | https://github.com/apache/flume/blob/trunk/flume-ng-sources/flume-kafka-source/src/main/java/org/apache/flume/source/kafka/KafkaSourceConstants.java |
比如对于kafka source相关的配置,统一的前缀为 kafka.source.,比如
1 | # kafka source |
参考文章:Flink学习笔记——配置,对kafka source前缀的配置进行读取