tonglin0325的个人主页

open-falcon实现邮件报警

tonglin0325

1.请安装好Go的环境，参考上一篇open-falcon的安装博文

2.安装** mail-provider**

1 2	https://github.com/open-falcon/mail-provider

安装方法

cd $GOPATH/src
mkdir github.com/open-falcon/ -p
cd github.com/open-falcon/
git clone https://github.com/open-falcon/mail-provider.git
cd mail-provider
go get ./...
./control build

编译成功之后，修改cfg.json文件相关信息，使用

1 2	./control start

在cfg.json里面使用的163邮箱的smtp服务，需要开启客户端授权码，如果提示：发送数量超过配额，请过24小时再请求手机验证码

Ubuntu下安装open-falcon-v0.2.1

tonglin0325

在Ubuntu下安装open-falcon和Centos下安装的方法有点区别，因为Ubuntu使用的包管理器是apt-get，而Centos下使用的是Yum，建议不要再Ubuntu下使用yum

建议自己下载源码打包二进制包来安装，因为官方给出的二进制包应该是再centos下打包的，再Ubuntu下运行可能会出现问题

1.安装Go，首先去官网下载，需要fq

1 2	https://golang.org

顺便安装Goland，注册服务器 http://idea.youbbs.org

2.在/etc/profile中添加，后source /etc/profile

#Go
export GOROOT=/home/lintong/software/go
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin
export GOPATH=/home/lintong/software/gopath

验证是否安装成功

1
2
3

go version
go version go1.10.2 linux/amd64

接下来参考

open-falcon监控Flume

tonglin0325

1.首先你需要知道flume的http监控端口是否启动

请参考博文 Flume的监控参数

即在 http://localhost:3000/metrics 可以访问到如下内容

2.在open-falcon中安装flume监控插件，参考官方文档 http://book.open-falcon.org/zh_0_2/usage/flume.html

官方文档写的很不清楚，请参考本文接下来给出的步骤

首先修改agent的配置文件，agent负责的是采集数据，同时有调度脚本插件的功能

1
2
3

~/software/open-falcon-v0.2.1/agent/config
vim cfg.json

修改如下，即写入了flume监控脚本的git地址，在此感谢插件作者在学习过程中的指导

Python学习笔记——发邮件

tonglin0325

1.首先需要注册一个网易的邮箱，开启smtp服务，并使用其授权码

2.发送邮件的Python脚本

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import smtplib
from email.header import Header
from email.mime.text import MIMEText

# 第三方 SMTP 服务  
mail_host = "smtp.163.com"  # SMTP服务器
mail_user = "XXX"  # 用户名
mail_pass = "XXX"  # 授权密码，非登录密码

sender = "XXX@163.com"  # 发件人邮箱(最好写全, 不然会失败)
receivers = ["XXX@126.com"]  # 接收邮件，可设置为你的QQ邮箱或者其他邮箱

content = '我用Python'
title = '人生苦短'  # 邮件主题  


def sendEmail():
    message = MIMEText(content, 'plain', 'utf-8')  # 内容, 格式, 编码
    message['From'] = "{}".format(sender)
    message['To'] = ",".join(receivers)
    message['Subject'] = title

    try:
        smtpObj = smtplib.SMTP_SSL(mail_host, 465)  # 启用SSL发信, 端口一般是465  
        smtpObj.login(mail_user, mail_pass)  # 登录验证  
        smtpObj.sendmail(sender, receivers, message.as_string())  # 发送  
        print("mail has been send successfully.")
    except smtplib.SMTPException as e:
        print(e)


def send_email2(SMTP_host, from_account, from_passwd, to_account, subject, content):
    email_client = smtplib.SMTP(SMTP_host)
    email_client.login(from_account, from_passwd)
    # create msg  
    msg = MIMEText(content, 'plain', 'utf-8')
    msg['Subject'] = Header(subject, 'utf-8')  # subject  
    msg['From'] = from_account
    msg['To'] = to_account
    email_client.sendmail(from_account, to_account, msg.as_string())

    email_client.quit()


if __name__ == '__main__':
    sendEmail()
    # receiver = '***'  
    # send_email2(mail_host, mail_user, mail_pass, receiver, title, content)

参考：Python3实现163邮箱SMTP发送邮件

如果想美化邮件，可以在其中添加html样式，并将邮件的格式指定成html

content = """
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Email Template</title>
    <style>
        body {
            font-family: Arial, sans-serif;
            background-color: #f4f4f4;
            margin: 0;
            padding: 0;
        }
        .container {
            max-width: 600px;
            margin: 20px auto;
            background-color: #ffffff;
            border: 1px solid #ddd;
            border-radius: 5px;
            overflow: hidden;
        }
        .header {
            background-color: #007bff;
            color: #ffffff;
            text-align: center;
            padding: 20px;
        }
        .header h1 {
            margin: 0;
            font-size: 24px;
        }
        .content {
            padding: 20px;
        }
        .content p {
            margin: 10px 0;
            line-height: 1.5;
            color: #333;
        }
        .button {
            display: block;
            width: 200px;
            margin: 20px auto;
            text-align: center;
            padding: 10px 15px;
            background-color: #007bff;
            color: #ffffff;
            text-decoration: none;
            border-radius: 5px;
            font-weight: bold;
        }
        .button:hover {
            background-color: #0056b3;
        }
        .footer {
            background-color: #f4f4f4;
            text-align: center;
            padding: 10px;
            font-size: 12px;
            color: #666;
            border-top: 1px solid #ddd;
        }
    </style>
</head>
<body>
    
        <!-- Header Section -->
        
            <h1>Welcome to Our Service</h1>
        
        <!-- Content Section -->
        
            Dear [User],
            Thank you for signing up for our service! We're excited to have you on board. Please click the button below to confirm your email address and get started:
            [Confirm Email]([CONFIRMATION_LINK])
            If you did not sign up for this account, you can safely ignore this email.
        
        <!-- Footer Section -->
        
            &copy; 2024 Your Company. All rights reserved.
        
    
</body>
</html>
"""

def sendEmail():
    message = MIMEText(content, "html", _charset='utf-8')  # 内容, 格式, 编码
    message['From'] = "{}".format(sender)
    message['To'] = ",".join(receivers)
    message['Subject'] = title
    try:
        smtpObj = smtplib.SMTP_SSL(mail_host, 465)  # 启用SSL发信, 端口一般是465  
        smtpObj.login(mail_user, mail_pass)  # 登录验证  
        smtpObj.sendmail(sender, receivers, message.as_string())  # 发送  
        print("mail has been send successfully.")
    except smtplib.SMTPException as e:
        print(e)

邮件样式如下

Flume的监控参数

tonglin0325

参考 flume的http监控参数说明

普通的flume启动命令

1 2	bin/flume-ng agent -c conf -f conf/flume-conf.properties -n agent -Dflume.root.logger=INFO,console

日志信息在终端输出，只有去掉这个参数，日志才能在log4j和logback中输出

1 2	-Dflume.root.logger=INFO,console

如果要加上http监控的话

1 2	bin/flume-ng agent -c conf -f conf/flume-conf.properties -n agent -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=34545

即加上参数，flume.monitoring.type=http 指定了Reporting的方式为http，flume.monitoring.port 指定了http服务的端口号

1 2	-Dflume.monitoring.type=http -Dflume.monitoring.port=34545

Ubuntu下安装Kafka Manager

tonglin0325

参考： kafka管理器kafka-manager部署安装

下载Kafka Manager，并进行打包，由于Kafka manager是由scala写的，所以需要由sbt的支持

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
./sbt clean dist

关于sbt的的安装，请移步

1 2	http://www.cnblogs.com/tonglin0325/p/8884470.html

配置zk的地址

1 2	在conf/application.conf中将kafka-manager.zkhosts的值设置为localhost

打包完成后，对kafka-manager-1.3.3.17.zip包进行解压，位置在

1 2	kafka-manager/target/universal

Ubuntu系统监控indicator-sysmonitor

tonglin0325

参考： http://www.cnblogs.com/EasonJim/p/7130171.html

安装indicator-sysmonitor

sudo add-apt-repository ppa:fossfreedom/indicator-sysmonitor
sudo apt-get update
sudo apt-get install indicator-sysmonitor

或者直接下载deb包

1 2	https://launchpad.net/indicator-sysmonitor/+download

启动：

indicator-sysmonitor &

添加

cpu: {cpu} 内存: {mem} 网络: {net}保存

kafka知识点

tonglin0325

搭建kafka的时候需要根据数据流量预估kafka集群的规模，aws为其MSK服务（aws上的托管kafka）提供了一个excel表格，可以输入参数来评估集群需要的硬件参数

1 2	https://amazonmsk.s3.amazonaws.com/MSK_Sizing_Pricing.xlsx

Ubuntu下安装sbt

tonglin0325

参考 ubuntu14 手动安装sbt

1、下载sbt通用平台压缩包：sbt-0.13.5.tgz

1	http://www.scala-sbt.org/download.html

　2、建立目录，解压文件到所建立目录

1	$ sudo tar zxvf sbt-0.13.5.tgz -C /opt/scala/

　3、建立启动sbt的脚本文件

/*选定一个位置，建立启动sbt的脚本文本文件，如/opt/scala/sbt/ 目录下面新建文件名为sbt的文本文件*/
$ cd /opt/scala/sbt/
$ vim sbt
/*在sbt文本文件中添加 
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@" 
然后按esc键 输入 :wq 保存退出，注意红色字体中的路径是定位到解压的sbt文件包中的sbt-launch.jar文件的绝对路径*/

/&times;修改sbt文件权限&times;/
$ chmod u+x sbt

Ubuntu安装shadow$ocks-libev

tonglin0325

参考 ubuntu16.04 配置shadowsocks及使用教程，支持chacha20-ietf-poly1305加密方式

安装shadow$ocks-libev

sudo apt-get install software-properties-common -y
sudo add-apt-repository ppa:max-c-lv/shadowsocks-libev -y
sudo apt-get update
sudo apt install shadowsocks-libev

配置文件

1 2	sudo vi /etc/shadowsocks-libev.json

内容

{
"server":"XXXX服务器地址",
"server_port":XXXX端口,
"local_address":"127.0.0.1",
"local_port":1080,
"password":"XXXX密码",
"timeout":60,
"method":"chacha20-ietf-poly1305",
"fast_open":false,
"workers":1
}

运行shadow$ocks

1 2	ss-local -c /etc/shadowsocks-libev.json &

Centos下安装

参考

1
2
3

https://gist.github.com/aa65535/ea090063496b0d3a1748
https://roxhaiy.wordpress.com/2017/08/04/430/