autox.js下载软件地址
https://github.com/kkevsekk1/AutoX/releases
参考:Autox.js 脚本开发环境搭建,从案例到打包apk(详细流程)
Spark的parser使用的是antlr来实现,其g4文件如下
1 | https://github.com/apache/spark/blob/master/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser/SqlBase.g4 |
如果想解析spark SQL的语句,可以使用其原生的parser来进行解析,代码如下
1 | package com.bigdata.spark |
1 | 'InsertIntoTable 'UnresolvedRelation `xx`.`table2`, false, false |
1 | 'Project ['id, 'name] |
由于spark默认是不支持解析create sql的,需要依赖hive
使用sparksession解析会报
1 | Exception in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found. |
使用CatalystSqlParser解析会报
1.采用parcels包的方式来安装flink
编译parcels请参考:制作Flink的Parcel包和csd文件
2.将parcels包拷贝到对应目录
1 | lintong@master:/opt/cloudera/parcel-repo$ ls | grep FLINK |
csd包
1 | lintong@master:/opt/cloudera/csd$ ls |
3.安装
想想终于要离开武汉了
1.datagrip插件中安装Big Data Tools
2.big data tool支持amazon s3,alibaba oss(需要datagrip高版本)
添加connection
1 | $ getprop ro.product.cpu.abi |
cpu架构表格
架构 | Tag | 说明 |
---|---|---|
armeabi | linux/arm/v5或者linux/arm/v6 | 第5代第6代的ARM处理器,早期手机用的比较多。比如ARM9,ARM11系列(08年左右的手机,如HTC Hero,使用骁龙MSM7200A处理器,基于 ARM11 架构)等 |
armeabi-v7a | linux/arm/v7 | 第七代及以上的ARM处理器。比如骁龙400系列(12年左右的手机)。 |
arm64-v8a | linux/arm64 | 第8代64位ARM处理器。比如 ``2016年 之后中高端的手机,比如 骁龙8系列 、麒麟9系列 、联发科1000+ 等。 |
x86 | linux/386 | 32位的桌面PC电脑CPU。平板 、模拟器 用得比较多。 |
x86_64 | linux/amd64 | 64位桌面PC电脑CPU。64 位的平板。 |
1 | termux-change-repo |
参考:https://mirrors.tuna.tsinghua.edu.cn/help/termux/
https://chromewebstore.google.com/detail/selenium-ide/mooikfkahbdckldjjndioackbalphokd
创建项目
输入网址
开始点击页面,停止并保存
可以使用export将其导出成python等语言的代码
注意在Tests下是可以export的,executing是不可以的
YARN有3种调度器:FIFO Scheduler,Capacity Scheduler(容器调度器) 和 FairS cheduler(公平调度器)。cloudera官方推荐使用Capacity Scheduler,而且在cloudera的CDP中,只保留了Capacity Scheduler这一种调度器。
1.FIFO Scheduler:FIFO Scheduler把应用按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给队列中最头上的应用进行分配资源,待最头上的应用需求满足后再给下一个分配,以此类推。在FIFO 调度器中,小任务会被大任务阻塞。
2.Capacity Scheduler(容量调度器):而对于Capacity调度器,有一个专门的队列用来运行小任务,但是为小任务专门设置一个队列会预先占用一定的集群资源,这就导致大任务的执行时间会落后于使用FIFO调度器时的时间。
参考:hadoop3 Yarn容量(Capacity Scheduler)调度器和公平(Fair Scheduler)调度器配置
3.Fair Scheduler(公平调度器):
在Fair调度器中,我们不需要预先占用一定的系统资源,Fair调度器会为所有运行的job动态的调整系统资源。
如下图所示,当第一个大job提交时,只有这一个job在运行,此时它获得了所有集群资源;当第二个小任务提交后,Fair调度器会分配一半资源给这个小任务,让这两个任务公平的共享集群资源。
需要注意的是,在下图Fair调度器中,从第二个任务提交到获得资源会有一定的延迟,因为它需要等待第一个任务释放占用的Container。小任务执行完成之后也会释放自己占用的资源,大任务又获得了全部的系统资源。最终的效果就是Fair调度器即得到了高的资源利用率又能保证小任务及时完成。
到了2022年,已经不能使用brew安装sshfs来挂载linux的磁盘了,但是可以通过安装包的方式来安装,会报错
1 | error: sshfs has been disabled because it requires closed-source macFUSE! |
首先需要安装sshfs,版本是SSHFS 2.5.0
1 | https://osxfuse.github.io/2014/02/03/SSHFS-2.5.0.html |
其次需要安装macFUSE
1 | https://osxfuse.github.io/2022/08/19/macFUSE-4.4.1.html |
然后就能挂载linux的硬盘了
首先创建目录
1 | mkdir /Users/xxx/data01 |
挂载linux的/data01目录到刚刚创建的目录