Flink中的DataStream任务用于实现data streams的转换，data stream可以来自不同的数据源，比如消息队列，socket，文件等。

Ref 

全文 >>

Flink有以下几种Environment

1. 批处理Environment，ExecutionEnvironment

全文 >>

在Flink任务中，需要加载外置配置参数到任务中，在Flink的开发文档中介绍了，Flink提供了一个名为 ParameterTool 的工具来解决这个问题

Flink开发文档:

全文 >>

1.业界公司数据平台建设规模

1.twitter

Twitter关于日志系统的论文有如下2篇，分别是

《The Unified Logging Infrastructure for Data Analytics at Twitter》和《Scaling Big Data Mining Infrastructure: The Twitter Experience》

全文 >>

Springboot可以通过redis template和redis进行交互，使用方法如下

可以参考这个系列的文章：

【快学springboot】11.整合redis实现session共享

【快学springboot】13.操作redis之String数据结构

【快学springboot】14.操作redis之list

还有python版本的redis实战

全文 >>

下载hadoop的原生版本，版本选择2.6.0，下载地址

全文 >>

SerDe 是Serializer 和 Deserializer 的简称，它提供了Hive和各种数据格式交互的方式。

Amazon的Athena可以理解是Amazon对标hive的一款产品，其中对SerDe的介绍如下

全文 >>

OutputFormat在hadoop源码中是一个抽象类 public abstract class OutputFormat<K, V>，其定义了reduce任务的输出格式

全文 >>

Filebeat的input终于支持了http，可以使用post请求向filebeat的input传输数据，不过现在还是处于beta版本

参考

全文 >>

在 scala和java混合编程的时候，需要添加一些额外的配置到pom中，才能将scala文件的class加到最终的jar中

全文 >>