tonglin0325的个人主页

Spark学习笔记——Spark加载jar包的过程

tonglin0325

给spark任务添加jar包的方式

spark中使用的jar分成2种，一种是用户自行添加的jar，另一种是spark环境依赖的jar

1.spark环境依赖的jar

其添加的方式有有下面几种

1. --conf spark.driver.extraClassPath=... or --driver-class-path ...

2. --conf spark.driver.extraLibraryPath=..., or --driver-library-path ...

3. --conf spark.executor.extraClassPath=...

4. --conf spark.executor.extraLibraryPath=...

上面的配置参数指定的jar包最终都是放到了系统类加载器的classpath里，由系统类加载器完成加载。

广告系统——第三方广告平台

tonglin0325

罗列了一下第三方广告平台产品，按照广告的流程，分成4类：

DSP（广告需求方平台，广告主在上面进行投放）

ADX（广告交易平台，负责广告交易和竞价）

SSP（媒体供应方平台，媒体可以在上面售卖网站app的曝光来获得盈利）

DMP（为广告投放投放提供人群画像进行广告的受众定向，并进行人群标签画像的管理）

1.国内

1.BAT

2.字节快手

3.手机厂商

Github博客接入谷歌广告AdSense

tonglin0325

AdSense是Google GAM广告系统中的一个产品，可以在博客中接入Google AdSense来创造收入，下面是Google AdSense的官网

Ubuntu16.04安装presto

tonglin0325

presto有2个社区，一个是PrestoDB（由Facebook员工维护，版本号是0.xxx），一个是PrestoSQL（由一些离开Facebook的Presto主力开发者维护，版本号是xxx，PrestoSQL 从版本 351 开始将其名称变更为 Trino）

社区版本	官网	安装包下载地址	版本号	安装文档
PrestoDB	https://prestodb.io/	https://repo1.maven.org/maven2/com/facebook/presto/	0.xxx（比如0.245）	https://prestodb.io/docs/current/installation/deployment.html#installing-presto
PrestoSQL（Trino）	https://trino.io/	https://repo1.maven.org/maven2/io/prestosql/	xxx（比如330）	https://trino.io/docs/current/installation/deployment.html

PrestoSQL安装步骤

安装prestoSQL330

1.下载和安装

330是presto最后一个支持java8的版本，高于330的版本需要java11的支持，且java8的版本最低要8u161，否则会报下面错误：ERROR: Presto requires Java 11+ (found 1.8.0_121) 以及 ERROR: Presto requires Java 8u161+ (found 1.8.0_121)

在minikube下创建kafka集群

tonglin0325

在minikube下安装的kafka集群分成4个步骤

1.在mac上安装minikube

这里安装的minikube是基于virtualbox的，也就是minikube是运行在virtualbox启动的一个虚拟机中

参考：Mac下安装minikube

2.给zk和kafka创建local persistence volumn

参考：Helm 安装Kafka

zk和kafka的数据需要落盘，所以需要依赖pv，这里创建的是k8s的local pv，注意如果volumeBindingMode选择WaitForFirstConsumer的话，只有在pod创建的时候，pvc才会绑定到pv上，没有pod就话pvc就一直是pending状态

StorageClass的yaml，local-storage.yaml

K8S学习笔记——创建pv

tonglin0325

在K8S上使用存储的时候，需要创建Persistence Volumes（持久化卷）用于持久化数据，否则当pod重启后，数据将会丢失，可以参考官方文档：

JavaScript学习笔记——基本知识

tonglin0325

1.JavaScript的放置和注释

1.输出工具

A.alert();

B.document.write();

C.prompt(“”,””);

Hive学习笔记——常用语法

tonglin0325

1.查看表的列表

CSS学习笔记——基本写法

tonglin0325

1.div+css网页标准布局

1.div

　　1.DIV全称是division，意为“区块、分割”，DIV标签是一个无意义的容器标签，用于将页面划分出不同的区域

　　2.通过DIV将复杂的页面进行细分块，可以将问题细分一个一个解决，所以通过DIV将页面分块是一个关键的工作，也是决定最终效果与质量的前提。

2.css

　　CSS (Cascading Style Sheet)，中文翻译为层叠样式表，是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

3.div承载的是内容，而css承载的是样式

Cassandra学习笔记——基本概念

tonglin0325

1.Cassandra介绍

Apache Cassandra是最流行的分布式宽表数据库，具有SQL的入口，最初由Facebook开发，后续贡献给Apache。参考：认识Cassandra

2.Partition Key, Composite Key和Clustering Columns

参考：Apache Cassandra Composite Key\Partition key\Clustering key 介绍

3.使用场景

用户的画像信息，订单信息，Feed流，IOT车联网的高并发写入场景等，由于Cassandra是OLTP数据库，所以可以很方便的支持增删改查，增加扩展字段。和其功能类似的还有HBase，ScyllaDB等。

参考：Cassandra全球使用的公司及场景

Cassandra 的过去、现在、未来（三）