tonglin0325的个人主页

特征平台简介

特征平台(feature store)的定义:一个用于机器学习的数据管理层,允许共享和发现特征并创建更有效的机器学习管道。

1.特征平台业界实现

1.uber

其最早由uber于2017年提出,uber的feature store名为Michaelangelo,参考:Meet Michelangelo: Uber’s Machine Learning Platform

Michaelangelo主要提供以下6种特性,如下图所示:

  1. Manage data
  2. Train models
  3. Evaluate models
  4. Deploy models
  5. Make predictions
  6. Monitor predictions

2.美团

特征平台所能解决的一些问题:

全文 >>

Redis学习笔记——应用场景

redis共有5种基本数据类型:

String(可以是字符串,整数或者浮点数)

Hash(哈希,Redis hash 是一个 string 类型的 field(字段) 和 value(值) 的映射表,hash 特别适合用于存储对象。Redis 中每个 hash 可以存储 232 - 1 键值对(40多亿)

Redis Hash 类型底层有两种编码格式:ziplist、hashtable,当哈希对象同时满足以下两种条件时,对象使用 ziplist 编码;不能满足则使用 hashtable 编码。

  • 哈希对象保存的所有键值对的键和值的字符串长度都小于 64 字节;
  • 哈希对象保存的键值对数量小于 512 个。

这里是可以由使用者自定义进行控制的,redis提供了这么几个参数:

hash-max-ziplist-value 64 // ziplist中最大能存放的值长度

hash-max-ziplist-entries 512 // ziplist中最多能存放的

List(列表)

Set(集合)、

全文 >>

Spring MVC学习笔记——JSR303介绍及最佳实践

JSR 303 – Bean Validation 是一个数据验证的规范,2009 年 11 月确定最终方案。2009 年 12 月 Java EE 6 发布,Bean Validation 作为一个重要特性被包含其中。本文将对 Bean Validation 的主要功能进行介绍,并通过一些示例来演示如何在 Java 开发过程正确的使用 Bean Validation。

 

关于 Bean Validation

在任何时候,当你要处理一个应用程序的业务逻辑,数据校验是你必须要考虑和面对的事情。应用程序必须通过某种手段来确保输入进来的数据从语 义上来讲是正确的。在通常的情况下,应用程序是分层的,不同的层由不同的开发人员来完成。很多时候同样的数据验证逻辑会出现在不同的层,这样就会导致代码 冗余和一些管理的问题,比如说语义的一致性等。为了避免这样的情况发生,最好是将验证逻辑与相应的域模型进行绑定。

Bean Validation 为 JavaBean 验证定义了相应的元数据模型和 API。缺省的元数据是 Java Annotations,通过使用 XML 可以对原有的元数据信息进行覆盖和扩展。在应用程序中,通过使用 Bean Validation 或是你自己定义的 constraint,例如 @NotNull, @Max, @ZipCode, 就可以确保数据模型(JavaBean)的正确性。constraint 可以附加到字段,getter 方法,类或者接口上面。对于一些特定的需求,用户可以很容易的开发定制化的 constraint。Bean Validation 是一个运行时的数据验证框架,在验证之后验证的错误信息会被马上返回。

下载 JSR 303 – Bean Validation 规范 http://jcp.org/en/jsr/detail?id=303

Hibernate Validator 是 Bean Validation 的参考实现 . Hibernate Validator 提供了 JSR 303 规范中所有内置 constraint 的实现,除此之外还有一些附加的 constraint。如果想了解更多有关 Hibernate Validator 的信息,请查看 http://www.hibernate.org/subprojects/validator.html

Bean Validation 中的 constraint


表 1. Bean Validation 中内置的 constraint

 
| Constraint | 详细信息
|@Null|被注释的元素必须为 null
|@NotNull|被注释的元素必须不为 null
|@AssertTrue|被注释的元素必须为 true
|@AssertFalse|被注释的元素必须为 false
|@Min(value)|被注释的元素必须是一个数字,其值必须大于等于指定的最小值
|@Max(value)|被注释的元素必须是一个数字,其值必须小于等于指定的最大值
|@DecimalMin(value)|被注释的元素必须是一个数字,其值必须大于等于指定的最小值
|@DecimalMax(value)|被注释的元素必须是一个数字,其值必须小于等于指定的最大值
|@Size(max, min)|被注释的元素的大小必须在指定的范围内
|@Digits (integer, fraction)|被注释的元素必须是一个数字,其值必须在可接受的范围内
|@Past|被注释的元素必须是一个过去的日期
|@Future|被注释的元素必须是一个将来的日期
|@Pattern(value)|被注释的元素必须符合指定的正则表达式

全文 >>