tonglin0325的个人主页

Flink学习笔记——统一的source服务

为了方便使用Flink对流式数据进行统一的读写,需要开发统一的source服务

  1. kafka source

需要可配置的参数,参考flume的kafka source配置参数

1
2
https://flume.apache.org/FlumeUserGuide.html#kafka-source

定义KafkaSourceConstants,参考:

1
2
https://github.com/apache/flume/blob/trunk/flume-ng-sources/flume-kafka-source/src/main/java/org/apache/flume/source/kafka/KafkaSourceConstants.java

比如对于kafka source相关的配置,统一的前缀为 kafka.source.,比如

1
2
3
4
5
# kafka source
kafka.source.bootstrap.servers=localhost:9092
kafka.source.topics=thrift_log_test
kafka.source.group.id=test

参考文章:Flink学习笔记——配置,对kafka source前缀的配置进行读取