tonglin0325的个人主页

open-falcon监控Flume

1.首先你需要知道flume的http监控端口是否启动

请参考博文 Flume的监控参数

即在 http://localhost:3000/metrics 可以访问到如下内容

 

2.在open-falcon中安装flume监控插件,参考官方文档 http://book.open-falcon.org/zh_0_2/usage/flume.html

官方文档写的很不清楚,请参考本文接下来给出的步骤

首先修改agent的配置文件,agent负责的是采集数据,同时有调度脚本插件的功能

1
2
3
~/software/open-falcon-v0.2.1/agent/config
vim cfg.json

 修改如下,即写入了flume监控脚本的git地址,在此感谢插件作者在学习过程中的指导

1
2
https://github.com/mdh67899/openfalcon-monitor-scripts

 

在内存中更新cfg.json配置,如果不更新配置是没有加载的,访问下面网址就可以

1
2
http://127.0.0.1:1988/config/reload

 

 

下载插件,访问 http://localhost:1988/plugin/update

之后查看目录 ~/software/open-falcon-v0.2.1/plugin,会发现多了一个flume文件夹,这个就是刚刚下载下来的插件

1
2
3
~/software/open-falcon-v0.2.1/plugin$ ls
flume

查看下载的插件有没有执行权限

1
2
3
4
5
6
7
8
9
lintong@master:~/software/open-falcon-v0.2.1/plugin/flume$ ls
60_flume-monitor.py README.md
lintong@master:~/software/open-falcon-v0.2.1/plugin/flume$ ls -al
总用量 16
drwxrwxr-x 2 lintong lintong 4096 5月 2 11:13 .
drwxrwxr-x 4 lintong lintong 4096 5月 2 11:13 ..
-rw-rw-r-- 1 lintong lintong 2813 5月 2 11:13 60_flume-monitor.py
-rw-rw-r-- 1 lintong lintong 3981 5月 2 11:13 README.md

如果没有执行权限的话,添加执行权限

1
2
chmod +x 60_flume-monitor.py

 3.在open-falcon中绑定插件

首先在host group中添加一个新的组,起名就叫flume吧

添加一个host,就添加本机,我的本机叫lintong-XXXX

 添加一个plugins,就添加flume插件

注意:这里的plugin dir和 ~/software/open-falcon-v0.2.1/agent/config/cfg.json中的dir有关

比如我们的cfg.json中写的是./plugin,这里的根目录指的是 ~/software/open-falcon-v0.2.1,然后插件的安装目录就是 ~/software/open-falcon-v0.2.1/plugin

然后我们的plugin dir需要和插件安装目录组成一个完整的插件地址

因为我们的插件地址在 ~/software/open-falcon-v0.2.1/plugin/flume/60_flume-monitor.py,所以这里的plugin dir就要写flume

4.对flume监控脚本进行修改

1
2
#r = requests.post("http://127.0.0.1:1988/v1/push", data=json.dumps(payload)) # 去掉注释

5.重新启动open-falcon,这一步待寻找有没有不用重启的方式

1
2
3
./open-falcon stop
./open-falcon start

6.在agent/logs下查看插件运行日志,已经出现了,说明插件已经成功run起来了

1
2
2018/05/02 12:41:23 plugin.go:78: <Plugins:[flume], Timestamp:1525236083>