HTTP和HTTPS区别#

超文本传输协议（HTTP）是用于客户端-服务器通信的协议或一组通信规则。当您访问网站时，您的浏览器会向 Web 服务器发送 HTTP 请求，该服务器将以 HTTP 响应进行响应。Web 服务器将以纯文本形式与您的浏览器交换数据。简而言之，HTTP 协议是为网络通信提供支持的底层技术。

安全超文本传输协议（HTTPS）是 HTTP 的一种更安全的版本或扩展。在 HTTPS 中，浏览器与服务器会在传输数据之前建立安全的加密连接。

HTTPS 协议的工作原理#

HTTP 传输未加密的数据，这意味着从浏览器发送的信息可能会被第三方拦截和读取。这一过程并不理想，因此将其扩展成为 HTTPS，以便为通信再增加一层安全性。HTTPS 将 HTTP 请求和响应与 SSL 和 TLS 技术相结合。

SSL 和 TLS 参考：SSL 与 TLS 之间有何区别？

HTTPS 网站必须从独立证书颁发机构（CA）获取 SSL/TLS 证书。这些网站会在交换数据之前先与浏览器共享该证书，以建立信任。SSL 证书还包含加密信息，以便服务器和 Web 浏览器可以交换加密或刻意打乱的数据。

该过程的工作原理是：

1. 您通过在浏览器的地址栏中键入 https://URL 格式来访问 HTTPS 网站。
2. 浏览器尝试通过请求服务器的 SSL 证书来验证该站点的真实性。
3. 该服务器发送包含公钥的 SSL/TLS 证书作为回复（非对称加密）。
4. 该网站的 SSL 证书将证明该服务器身份。浏览器确认一切妥当后，它将使用该公钥加密并发送包含secret session key的消息。
5. Web 服务器使用其私钥解密消息并检索session key。然后，它将加密该session key，并向浏览器发送确认消息。
6. 现在，浏览器和 Web 服务器都切换到使用相同的session key来安全地交换消息（对称加密）。

参考：HTTP 与 HTTPS 之间有什么区别？

公钥私钥，加密解密，签名验签#

既然是加密，那肯定是不希望别人知道我的消息，所以只有我才能解密，所以可得出公钥负责加密，私钥负责解密；

同理，既然是签名，那肯定是不希望有人冒充我发消息，只有我才能发布这个签名，所以可得出私钥负责签名，公钥负责验证。

参考：RSA的公钥和私钥到底哪个才是用来加密和哪个用来解密？

HTTPS 加密、证书、签名与握手

HTTPS既使用了对称加密，也使用了非对称加密#

在HTTPS协议中，对称加密和非对称加密都发挥了重要的作用。具体来说，HTTPS在内容传输上使用的是对称加密。这意味着在通信过程中，发送方和接收方会生成一个临时的密钥，并使用该密钥对数据进行加密和解密。由于对称加密的加解密速度快，因此可以有效地保障大量数据的传输安全。

然而，仅仅使用对称加密是不够的。为了确保通信双方的身份验证以及防止中间人攻击，HTTPS还需要用到非对称加密。在证书验证阶段，HTTPS使用非对称加密来验证服务器的身份。服务器会向客户端发送自己的证书，其中包括了公钥等信息。客户端会使用证书中的公钥来验证服务器的身份，并确保数据传输过程中的安全性。

1.对称加密算法：对称加密算法使用相同的密钥来加密和解密数据。在HTTPS通信中，客户端和服务器会协商一个对称密钥，通常是使用服务器的公钥加密生成的。这个对称密钥会用于加密和解密数据传输过程中的内容，因为对称加密效率高，适合用于加密大量数据的传输。

2.非对称加密算法：非对称加密算法包括公钥和私钥。服务器会拥有自己的私钥，而与之对应的公钥会被安全地存储在数字证书中。在建立连接时，服务器会把自己的公钥发给客户端。客户端使用服务器的公钥对协商的对称密钥进行加密，然后传输给服务器，服务器再使用自己的私钥解密该对称密钥。

参考：HTTPS：对称加密与非对称加密的完美结合

免费的SSL证书申请#

云厂商一般都提供这种服务，比如AWS Certificate Manager（ACM），

官方地址下载，有mac，windows和linux版本

1
2

https://www.kafkatool.com/download.html

1.查看kafka topic中的数据（支持byte，string和avro）

安装后添加kafka集群的地址，可以选择使用zk地址或者kafka的broker地址来连接集群，这里选择使用kafka broker地址来连接

可以指定topic的partition和offset查看数据

默认查出来的数据是byte数组，即16进制的，可以借助在线转换工具将其转换成字符串后进行查看，比如

1
2

https://tool.lu/hexstr/

也可以在属性中设置value为String，这样就可以直接查看反序列化后字符串

全文 >>

Table API官方文档参考

1
2

https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/tableapi/

RowKind

全文 >>

程序中应用正则表达式则必须依靠Ｐattern类和Ｍatcher类，这两个类都是在java.util.regex包中定义。

Pattern类的主要作用是进行正则规范的编写。

Ｍatcher类主要是执行规范，验证一个字符串是否符合其规范。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

import java.util.regex.Pattern;
import java.util.regex.Matcher;;

public class Ｒegex_demo {

	public static void main(String[] args) {
		// TODO 自动生成的方法存根
//		String str = "123456789";
//		if(Pattern.compile("[0-9]+").matcher(str).matches()){		//使用正则表达式
//			System.out.println("是由数字组成！");
//		} else{
//			System.out.println("不是由数字组成！");
//		}
		
//		String str = "2016-03-11" ;
//		String pat = "\\d{4}-\\d{2}-\\d{2}";			//定义规则，其中/不要转义，//d等于/d
//		Pattern p = Pattern.compile(pat);			//实例化Pattern类
//		Matcher m = p.matcher(str);					//验证字符串内容是否合法
//		if(m.matches()){
//			System.out.println("日期格式合法！");
//		}else{
//			System.out.println("日期格式不合法！");
//		}
		
		String str = "A123B123C123F123" ;
		String pat = "\\d+";
		Pattern p = Pattern.compile(pat);			//实例化Pattern类
		String s[] = p.split(str);								//进行字符串拆分
		for(int i=0;i<s.length;i++){
			System.out.println(s[i]+"\t");				//输出其中符合字母的字符
		}
		
		Matcher m = p.matcher(str);						//实例化Matcher类
		String newString = m.replaceAll("_");		//替换所有的数字
		System.out.println(newString);
	}

}

全文 >>

参考kafka官方文档，版本1.0.x

1
2

http://kafka.apache.org/10/documentation.html#consumerapi

依赖，选择 Cloudera Rel 中的 1.0.1-kafka-3.1.0

1
2
3
4
5
6

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>1.0.1-kafka-3.1.0</version>
</dependency>

Kafka的生产者配置

1
2

http://kafka.apache.org/10/documentation.html#producerconfigs

其中producer api中文含义参考：kafka系列七、kafka核心配置

producer是线程安全的，通常应该在所有线程之间共享，以获得最佳性能。producer管理着一个后台线程，该线程执行I/O操作，并与每个需要通信的broker建立TCP连接。如果使用后不能关闭producer，将会泄漏这些资源。

Timer类是一种线程设施，可以用来实现在某一个时间或某一段时间后安排某一个任务执行一次或定期重复执行。

该功能要与TimerTask类配合使用。TimerTask类用来实现由Timer安排的一次或重复执行的某一任务。

全文 >>

使用idea来开发spring-boot项目，对于community版本的idea，由于没有spring-boot插件，所有对于开发spring-boot的web项目来说不是很方便，所以安装Ultimate版本的idea，使用的版本是2017.1.6版本

参考 :

全文 >>

程序中应用正则表达式则必须依靠Ｐattern类和Ｍatcher类，这两个类都是在java.util.regex包中定义。

Pattern类的主要作用是进行正则规范的编写。

Ｍatcher类主要是执行规范，验证一个字符串是否符合其规范。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

import java.util.regex.Pattern;
import java.util.regex.Matcher;;

public class Ｒegex_demo {

	public static void main(String[] args) {
		// TODO 自动生成的方法存根
//		String str = "123456789";
//		if(Pattern.compile("[0-9]+").matcher(str).matches()){		//使用正则表达式
//			System.out.println("是由数字组成！");
//		} else{
//			System.out.println("不是由数字组成！");
//		}
		
//		String str = "2016-03-11" ;
//		String pat = "\\d{4}-\\d{2}-\\d{2}";			//定义规则，其中/不要转义，//d等于/d
//		Pattern p = Pattern.compile(pat);			//实例化Pattern类
//		Matcher m = p.matcher(str);					//验证字符串内容是否合法
//		if(m.matches()){
//			System.out.println("日期格式合法！");
//		}else{
//			System.out.println("日期格式不合法！");
//		}
		
		String str = "A123B123C123F123" ;
		String pat = "\\d+";
		Pattern p = Pattern.compile(pat);			//实例化Pattern类
		String s[] = p.split(str);								//进行字符串拆分
		for(int i=0;i<s.length;i++){
			System.out.println(s[i]+"\t");				//输出其中符合字母的字符
		}
		
		Matcher m = p.matcher(str);						//实例化Matcher类
		String newString = m.replaceAll("_");		//替换所有的数字
		System.out.println(newString);
	}

}

全文 >>

1.kudu已经包含在cdh的parcels中了，所以直接添加服务

全文 >>

1. 安装filebeat，选择tar包安装方式，下载并解压

1
2
3

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.7.0-linux-x86_64.tar.gz
tar -zxvf filebeat-7.7.0-linux-x86_64.tar.gz

2. 修改配置文件

1
2
3

mv filebeat.yml filebeat.yml.bak
touch filebeat.yml

配置文件内容

全文 >>