分享好友

×
取消 复制
开源实时日志分析ELK平台部署
2020-05-29 13:58:02
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。开源实时日志分析ELK平台部署 - 运维爱好者 - 51CTO技术博客

开源实时日志分析ELK平台部署

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。

集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站:Powering Data Search, Log Analysis, Analytics

l Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

l Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索)。

l kibana 也是一个开源和免费的工具,他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

工作原理如下如所示:

在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到logstash indexer,logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

开源实时日志分析ELK平台部署流程:

(1)安装Logstash依赖包JDK

Logstash的运行依赖于Java运行环境, Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。由于我们只是运行Java程序,而不是开发,下载JRE即可。首先,在Oracle官方下载新版jre,下载地址:Java SE Runtime Environment 8

可以看到提供了多种版本,下载时,选择适合自己机器运行环境的版本,我使用的是RHEL6.5 x86_64的操作系统,所以,下载linux-64的版本。如果使用Linux下载执行如下命令下载即可。


1
#wget download.oracle.com/otn

JDK的安装方式比较简单,只需将下载回来的程序包解压到相应的目录即可。


1
2
# mkdir /usr/local/java
# tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

设置JDK的环境变量,如下:


1
2
3
4
# tail -3 ~/.bash_profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_45
export PATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

在Shell提示符中执行java –version命令,显示如下结果,说明安装成功:


1
2
3
4
# java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode)

(2)安装Logstash

下载并安装Logstash,安装logstash只需将它解压的对应目录即可,例如:/usr/local下:


1
2
# download.elastic.co/log
# tar –zxf logstash-1.5.2.tar.gz -C /usr/local/

安装完成后运行如下命令:


1
2
3
4
# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Logstash startup completed
Hello World!
2015-07-15T03:28:56.938Z noc.vfast.com Hello World!

我们可以看到,我们输入什么内容logstash按照某种格式输出,其中-e参数参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令可以退出之前运行的Logstash。

使用-e参数在命令行中指定配置是很常用的方式,不过如果需要配置更多设置则需要很长的内容。这种情况,我们首先创建一个简单的配置文件,并且指定logstash使用这个配置文件。例如:在logstash安装目录下创建一个“基本配置”测试文件logstash-test.conf,文件内容如下:


1
2
3
4
5
# cat logstash-simple.conf
input { stdin { } }
output {
stdout { codec=> rubydebug }
}

Logstash使用input和output定义收集日志时的输入和输出的相关配置,本例中input定义了一个叫"stdin"的input,output定义一个叫"stdout"的output。无论我们输入什么字符,Logstash都会按照某种格式来返回我们输入的字符,其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。

使用logstash的-f参数来读取配置文件,执行如下开始进行测试:


1
2
3
4
5
6
7
8
9
10
11
# echo "`date` hello World"
Thu Jul 16 04:06:48 CST 2015 hello World
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf
Logstash startup completed
Tue Jul 14 18:07:07 EDT 2015 hello World #该行是执行echo “`date`hello World” 后输出的结果,直接粘贴到该位置
{
"message" => "Tue Jul 14 18:07:07 EDT 2015 helloWorld",
"@version" => "1",
"@timestamp" => "2015-07-14T22:07:28.284Z",
"host" => "noc.vfast.com"
}

(3)安装Elasticsearch

下载Elasticsearch后,解压到对应的目录就完成Elasticsearch的安装。


1
# tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/

启动Elasticsearch


1
# /usr/local/elasticsearch-1.6.0/bin/elasticsearch

如果使用远程连接的Linux的方式并想后台运行elasticsearch执行如下命令:


1
# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &

确认elasticsearch的9200端口已监听,说明elasticsearch已成功运行


1
2
# netstat -anp |grep :9200
tcp 0 0 :::9200 :::* LISTEN 3362/java

接下来我们在logstash安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf,该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中。


1
2
3
4
5
6
# cat logstash-es-simple.conf
input { stdin { } }
output {
elasticsearch {host => "localhost" }
stdout { codec=> rubydebug }
}

执行如下命令


1
2
3
4
5
6
7
8
9
10
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf
… …
Logstash startup completed
hello logstash
{
"message" => "hello logstash",
"@version" => "1",
"@timestamp" => "2015-07-15T18:12:00.450Z",
"host" => "noc.vfast.com"
}

我们可以使用curl命令发送请求来查看ES是否接收到了数据:


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# curl 'http://localhost:9200/_search?pretty'
返回结果
{
"took": 58,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits": {
"total" : 1,
"max_score" : 1.0,
"hits" : [ {
"_index" : "logstash-2015.07.15",
"_type" : "logs",
"_id" : "AU6TWiixxDXYhySMyTkP",
"_score" : 1.0,
"_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"}
} ]
}
}

至此,你已经成功利用Elasticsearch和Logstash来收集日志数据了。

(4)安装elasticsearch插件

Elasticsearch-kopf插件可以查询Elasticsearch中的数据,安装elasticsearch-kopf,只要在你安装Elasticsearch的目录中执行以下命令即可:


1
2
# cd /usr/local/elasticsearch-1.6.0/
# ./plugin -install lmenezes/elasticsearch-kopf

安装完成后在plugins目录下可以看到kopf


1
2
# ls plugins/
kopf

在浏览器访问10.1.1.188:9200/_plugin浏览保存在Elasticsearch中的数据,如下所示:

(5)安装Kibana

下载kibana后,解压到对应的目录就完成kibana的安装


1
# tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/

启动kibana


1
# /usr/local/kibana-4.1.1-linux-x64/bin/kibana

使用http://kibanaServerIP:5601访问Kibana,登录后,首先,配置一个索引,默认,Kibana的数据被指向Elasticsearch,使用默认的logstash-*的索引名称,并且是基于时间的,点击“Create”即可。

看到如下界面说明索引创建完成。

点击“Discover”,可以搜索和浏览Elasticsearch中的数据,默认搜索的是最近15分钟的数据。可以自定义选择时间。

到此,说明你的ELK平台安装部署完成。

(6)配置logstash作为Indexer

将logstash配置为索引器,并将logstash的日志数据存储到Elasticsearch,本范例主要是索引本地系统日志。


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# cat /usr/local/logstash-1.5.2/logstash-indexer.conf
input {
file {
type =>"syslog"
path => ["/var/log/messages", "/var/log/syslog" ]
}
syslog {
type =>"syslog"
port =>"5544"
}
}
output {
stdout { codec=> rubydebug }
elasticsearch {host => "localhost" }
}
# /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf

使用echo命令模拟写入日志,命令执行后看到如下图的信息


1
# echo "`date` 优衣库视频" >>/var/log/messages

刷新kibana,发现最新的测试数据显示到浏览器中,如下图所示:

到此,ELK平台部署和基本的测试已完成。

分享好友

分享这个小栈给你的朋友们,一起进步吧。

Elasticsearch
创建时间:2020-05-22 14:49:51
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。我们建立一个网站或应用程序,并要添加搜索功能,但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快,我们希望能有一个零配置和一个完全免费的搜索模式,我们希望能够简单地使用JSON通过HTTP来索引数据,我们希望我们的搜索服务器始终可用,我们希望能够从一台开始并扩展到数百台,我们要实时搜索,我们要简单的多租户,我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

技术专家

查看更多
  • 栈栈
    专家
戳我,来吐槽~