tonglin0325的个人主页

go学习笔记——go-redis

tonglin0325

官方文档

https://pkg.go.dev/github.com/go-redis/redis/v8#section-readme

添加依赖

1
2
3
go get github.com/go-redis/redis/v8
go get github.com/go-redis/redis/extra/redisotel/v8

初始化client

1
2
3
4
5
6
7
8
9
10
11
12
client := redis.NewClient(&redis.Options{
    Addr:     "localhost:6379",
    Password: "", // no password set
    DB: 0,          // use default DB
})

client.AddHook(&redisotel.TracingHook{})
if err := client.Ping(context.Background()).Err(); err != nil {
    logger.Error("redis connect failed, err:", zap.Any("err", err))
    panic("failed to connect redis")
}

set key

1
2
3
4
5
err = rdb.Set(ctx, "key", 10, time.Hour).Err()
if err != nil {
    fmt.Println(err)
}

get key

1
2
3
4
5
6
7
result := client.Get(ctx, "key")
str, err := result.Result()
if err != nil {
	fmt.Println(err)
}
fmt.Println(str)

全文 >>

特征平台简介

tonglin0325

特征平台（feature store）的定义：一个用于机器学习的数据管理层，允许共享和发现特征并创建更有效的机器学习管道。

1.特征平台业界实现

1.uber

其最早由uber于2017年提出，uber的feature store名为Michaelangelo，参考：Meet Michelangelo: Uber’s Machine Learning Platform

Michaelangelo主要提供以下6种特性，如下图所示：

  1. Manage data
  2. Train models
  3. Evaluate models
  4. Deploy models
  5. Make predictions
  6. Monitor predictions

2.美团

特征平台所能解决的一些问题：

  • 特征迭代成本高：框架缺乏配置化管理，新特征上线需要同时改动离线侧和在线侧代码，迭代周期较长。
  • 特征复用困难：外卖不同业务线间存在相似场景，使特征的复用成为可能，但框架缺乏对复用能力的很好支撑，导致资源浪费、特征价值无法充分发挥。
  • 平台化能力缺失：框架提供了特征读写的底层开发能力，但缺乏对特征迭代完整周期的平台化追踪和管理能力。

参考：美团外卖特征平台的建设与实践

其他美团的文章：美团配送实时特征平台建设实践

3.字节跳动

特征存储所解决的一些问题：

全文 >>

kafka-ui部署

tonglin0325

1.介绍

kafka-ui是一个开源的kafka ui工具，支持kafka，schema registry（avro和protobuf都支持），kafka connect，KSQL DB等组件

github项目

1
2
https://github.com/provectus/kafka-ui

docker镜像地址

1
2
https://hub.docker.com/r/provectuslabs/kafka-ui

注意：该kafka-ui只支持2.x.x版本的kafka，对于低版本的kafka不支持，参考issue：https://github.com/provectus/kafka-ui/issues/2097

界面如下

其中schema registry的schema类型支持AVRO，JSON和PROTOBUF

全文 >>

mac安装go1.20

tonglin0325

官方下载地址

1
2
https://go.dev/dl/

1.下载pkg版本的安装包，直接双击安装，比如

1
2
https://go.dev/dl/go1.20.12.darwin-amd64.pkg

这时默认的GOPATH路径（go依赖的下载路径）在~/go

2.也可以下载tar的压缩包进行安装

下载mac对应的安装版，intel版本的mac下载x86版本

1
2
https://go.dev/dl/go1.20.12.darwin-amd64.tar.gz

解压到/usr/local目录

1
2
sudo tar -xzvf go1.20.12.darwin-amd64.tar.gz -C /usr/local

全文 >>

Redis学习笔记——应用场景

tonglin0325

redis共有5种基本数据类型：

String（可以是字符串，整数或者浮点数）、

Hash（哈希，Redis hash 是一个 string 类型的 field（字段） 和 value（值） 的映射表，hash 特别适合用于存储对象。Redis 中每个 hash 可以存储 232 - 1 键值对（40多亿））、

Redis Hash 类型底层有两种编码格式：ziplist、hashtable，当哈希对象同时满足以下两种条件时，对象使用 ziplist 编码；不能满足则使用 hashtable 编码。

  • 哈希对象保存的所有键值对的键和值的字符串长度都小于 64 字节；
  • 哈希对象保存的键值对数量小于 512 个。

这里是可以由使用者自定义进行控制的，redis提供了这么几个参数：

hash-max-ziplist-value 64 // ziplist中最大能存放的值长度

hash-max-ziplist-entries 512 // ziplist中最多能存放的

List（列表）、

Set（集合）、

Zset（有序集合）

随着 Redis 版本的更新，后面又支持了四种数据类型： BitMap（2.2 版新增）、HyperLogLog（2.8 版新增）、GEO（3.2 版新增）、Stream（5.0 版新增）。

参考：16个 Redis 常见使用场景

1.string（字符串）

1.session

在多个应用之间共享数据

2.cache

热点数据缓存

3.分布式锁

只有redis的key不存在的时候，才能获得这个锁

全文 >>

Spring MVC学习笔记——JSR303介绍及最佳实践

tonglin0325

JSR 303 – Bean Validation 是一个数据验证的规范，2009 年 11 月确定最终方案。2009 年 12 月 Java EE 6 发布，Bean Validation 作为一个重要特性被包含其中。本文将对 Bean Validation 的主要功能进行介绍，并通过一些示例来演示如何在 Java 开发过程正确的使用 Bean Validation。

 

关于 Bean Validation

在任何时候，当你要处理一个应用程序的业务逻辑，数据校验是你必须要考虑和面对的事情。应用程序必须通过某种手段来确保输入进来的数据从语 义上来讲是正确的。在通常的情况下，应用程序是分层的，不同的层由不同的开发人员来完成。很多时候同样的数据验证逻辑会出现在不同的层，这样就会导致代码 冗余和一些管理的问题，比如说语义的一致性等。为了避免这样的情况发生，最好是将验证逻辑与相应的域模型进行绑定。

Bean Validation 为 JavaBean 验证定义了相应的元数据模型和 API。缺省的元数据是 Java Annotations，通过使用 XML 可以对原有的元数据信息进行覆盖和扩展。在应用程序中，通过使用 Bean Validation 或是你自己定义的 constraint，例如 @NotNull, @Max, @ZipCode， 就可以确保数据模型（JavaBean）的正确性。constraint 可以附加到字段，getter 方法，类或者接口上面。对于一些特定的需求，用户可以很容易的开发定制化的 constraint。Bean Validation 是一个运行时的数据验证框架，在验证之后验证的错误信息会被马上返回。

下载 JSR 303 – Bean Validation 规范 http://jcp.org/en/jsr/detail?id=303

Hibernate Validator 是 Bean Validation 的参考实现 . Hibernate Validator 提供了 JSR 303 规范中所有内置 constraint 的实现，除此之外还有一些附加的 constraint。如果想了解更多有关 Hibernate Validator 的信息，请查看 http://www.hibernate.org/subprojects/validator.html

Bean Validation 中的 constraint


表 1. Bean Validation 中内置的 constraint

 
| Constraint | 详细信息
|@Null|被注释的元素必须为 null
|@NotNull|被注释的元素必须不为 null
|@AssertTrue|被注释的元素必须为 true
|@AssertFalse|被注释的元素必须为 false
|@Min(value)|被注释的元素必须是一个数字，其值必须大于等于指定的最小值
|@Max(value)|被注释的元素必须是一个数字，其值必须小于等于指定的最大值
|@DecimalMin(value)|被注释的元素必须是一个数字，其值必须大于等于指定的最小值
|@DecimalMax(value)|被注释的元素必须是一个数字，其值必须小于等于指定的最大值
|@Size(max, min)|被注释的元素的大小必须在指定的范围内
|@Digits (integer, fraction)|被注释的元素必须是一个数字，其值必须在可接受的范围内
|@Past|被注释的元素必须是一个过去的日期
|@Future|被注释的元素必须是一个将来的日期
|@Pattern(value)|被注释的元素必须符合指定的正则表达式

全文 >>

Spring MVC学习笔记——用户增删该查和服务器端验证

tonglin0325

建立一个动态web项目，起名为SpringMVC_crud

导包，其中包括jstl的一些包等

 

1.先写一个User.java，是用户类

**　　**

 

**　　文件User.java文件**

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
package org.common.model;

import javax.validation.constraints.Size;

import org.hibernate.validator.constraints.Email;
import org.hibernate.validator.constraints.NotEmpty;

public class User {
	private String username;
	private String password;
	private String email;
	private String nickname;
	
	public User() {
		super();
	}
	
	public User(String username, String password, String email, String nickname) {
		super();
		this.username = username;
		this.password = password;
		this.email = email;
		this.nickname = nickname;
	}
	
	@NotEmpty(message="用户名不能为空")
	public String getUsername() {
		return username;
	}

	public void setUsername(String username) {
		this.username = username;
	}

	@Size(min=1,max=10,message="密码长度应该在1和10之间")
	public String getPassword() {
		return password;
	}

	public void setPassword(String password) {
		this.password = password;
	}

	@Email(message="邮箱的格式不正确")
	public String getEmail() {
		return email;
	}

	public void setEmail(String email) {
		this.email = email;
	}

	public String getNickname() {
		return nickname;
	}

	public void setNickname(String nickname) {
		this.nickname = nickname;
	}
	
	
}

 

2.再创建Controller控制器

**　　**

**　　文件UserController.java**

add的时候有两种，第一种

1
2
3
4
5
6
7
8
9
//链接到add页面时候是GET请求，会访问这段代码
@RequestMapping(value="/add",method=RequestMethod.GET)
//把一个对象放到了@ModelAttribute中，Model的Key就是user
public String add(Model model){
	//开启modeDrive
	model.addAttribute(new User());
	return "user/add";
}

 第二种

1
2
3
4
5
6
7
8
9
//链接到add页面时候是GET请求，会访问这段代码
@RequestMapping(value="/add",method=RequestMethod.GET)
//把一个对象放到了@ModelAttribute中，Model的Key就是user
public String add(@ModelAttribute("user") User user){
	//开启modeDrive
	//model.addAttribute(new User());
	return "user/add";
}

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
package org.common.controller;

import java.util.HashMap;
import java.util.Map;

import org.common.model.User;
import org.springframework.stereotype.Controller;
import org.springframework.ui.Model;
import org.springframework.validation.BindingResult;
import org.springframework.validation.annotation.Validated;
import org.springframework.web.bind.annotation.ModelAttribute;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;

@Controller
@RequestMapping("/user")
public class UserController {
	private Map<String,User> users = new HashMap<String,User>();　　//创建一个users对象
	
	public UserController() {
		users.put("ldh",new User("ldh","刘德华","123","123123"));
		users.put("zxy",new User("zxy","张学友","123","123123"));
		users.put("gfc",new User("gfc","郭富城","123","123123"));
		users.put("lm",new User("lm","黎明","123","123123"));
	}
	
	@RequestMapping(value="/users",method=RequestMethod.GET)
	public String list(Model model){
		model.addAttribute("users", users);
		return "user/list";
	}
	
	//链接到add页面时候是GET请求，会访问这段代码
	@RequestMapping(value="/add",method=RequestMethod.GET)
	//把一个对象放到了@ModelAttribute中，Model的Key就是user
	public String add(@ModelAttribute("user") User user){
		//开启modeDrive
		//model.addAttribute(new User());
		return "user/add";
	}
	 
	//在具体添加用户的时候，是POST请求，就访问以下代码
	@RequestMapping(value="/add",method=RequestMethod.POST)
	public String add(@Validated User user,BindingResult br){//一定要紧跟@Validated之后写验证结果类
		if(br.hasErrors()){
			//如果有错误，直接跳转到add视图
			return "user/add";
		}
		users.put(user.getUsername(),user);
		return "redirect:/user/users";
	}
	
//	//链接到add页面时候是GET请求，会访问这段代码
//	@RequestMapping(value="/add",method=RequestMethod.GET)
//	public String add(Model model){
//		//开启modeDrive
//		model.addAttribute(new User());
//		return "user/add";
//	}
//	 
//	//在具体添加用户的时候，是POST请求，就访问以下代码
//	@RequestMapping(value="/add",method=RequestMethod.POST)
//	public String add(User user){
//		users.put(user.getUsername(),user);
//		return "redirect:/user/users";
//	}
	
}

 

 jsp/user/add.jsp

1
2
http://localhost:8080/springmvc_crud/user/add

全文 >>

Flink学习笔记——Flink Mongo CDC

tonglin0325

Flink CDC提供了一系列connector，用于从其他数据源获取变更数据（change data capture）

官方文档

1
2
https://ververica.github.io/flink-cdc-connectors/release-2.3/content/about.html

官方github

1
2
https://github.com/ververica/flink-cdc-connectors

各种数据源使用案例，参考：

基于 AWS S3、EMR Flink、Presto 和 Hudi 的实时数据湖仓 – 使用 EMR 迁移 CDH

Flink CDC关于source和sink全调研及实践

官方文档和原理，参考：Flink CDC MongoDB Connector 的实现原理和使用实践

1
2
https://ververica.github.io/flink-cdc-connectors/release-2.3/content/connectors/mongodb-cdc.html#

全文 >>

tonglin0325

标签

标签云

AWS Airbnb Android CDH Doris ELK Flink Git Grafana HAProxy HBase Hadoop Hive Hudi InfluxDB JDBC JMeter JVM Java LaTex Linkedin Linux ML ML Infra MPP Maven MySQL Nexus OpenTSDB Paper Play Prometheus Python React Redis RocksDB Scala Solr Spark SpringBoot SpringMVC Thrift YARN antlr arthas avro cassandra clickhouse confluent docker filebeat flume golang google gradle hexo impala jenkins k8s kafka kerberos kudu ldap mac mongo mybatis nginx nlp open-falcon openwrt parquet presto ranger rocketmq scyllaDB twitter zookeeper 刷题 前端 图存储及计算 多线程 广告系统 开发工具 数据结构 杂谈 算法 系统设计 计算机基础 设计模式

文章归档

最近文章