mac安装chronograf

wget https://s3.cn-north-1.amazonaws.com.cn/tfssa/packages/oracle-java/oracle-java8-jdk_8u181_amd64.deb
sudo dpkg -i ./oracle-java8-jdk_8u181_amd64.deb

如何依赖不满足

1 2	sudo apt-get install -f

如果依赖的包找不到，可以尝试

1 2	sudo mv /etc/apt/sources.list.d/backports.list /etc/apt/sources.list.d/backports.list.bak

选择使用rpm或者apt-get来安装java-8-oracle，这时的配置将会在 /etc/profile.d/jdk.sh 中

1 2	cat /etc/profile.d/jdk.sh

全文 >>

Flink学习笔记——读写hdfs

2016-04-01

tonglin0325

Flink自带Exactly Once语义，对于支持事务的存储，可以做到数据的不重不丢。

当使用Flink来写hdfs的时候，因为hdfs文件只能在末尾进行append，如果要做到数据不重不丢，hdfs在2.7.0及其以上的版本中提供了truncate功能，可以根据valid-length长度对hdfs文件中的无效数据进行截断操作，从而保证数据不重复。

参考：Flink exactly-once 实战笔记

关于hdfs的truncate功能可以参考：HDFS Truncate文件截断

Kafka学习笔记——Kafka Connect

2016-04-01

tonglin0325

kafka connect是kafka提供的一个用于在kafka和其他数据系统之间传输数据的工具

1 2	https://kafka.apache.org/documentation/#connect

1.Kafka Connect组件

1 2	https://docs.confluent.io/platform/current/connect/concepts.html

Connectors – the high level abstraction that coordinates data streaming by managing tasks

Connectors定义了数据是如何拷贝进kafka以及如何复制出kafka的

包含2种形式的connector，source connector和sink connector

Source connector
全文 >>

SpringBoot学习笔记——spring-boot-configuration-processor作用

2016-04-01

tonglin0325

spring-boot-configuration-processor的作用是生成配置的元数据信息，即META-INF目录下的spring-configuration-metadata.json文件，从而告诉spring这个jar包中有哪些自定义的配置

1.其中spring-configuration-metadata.json文件是在编译的时候自动生成的

2.还可以在resources目录下手动添加META-INF/additional-spring-configuration-metadata.json文件，这个文件是手动添加的，用于对spring-configuration-metadata.json进行补充，编译后会合并到spring-configuration-metadata.json中