Logstash学习经验

大数据

一、概述

  1. Logstash是什么

    Logstash是一个内置有分析和转换工具的日志分析工具，是一个管道，可以把生产上面的日志从服务器移动到另外一个地方，支持多种格式

  2. 核心配置

    Logstash核心包括inputs、codecs、filters、outputs等，inputs负责将某种格式的日志数据传输到Logstash中，codecs对于数据流进行某种方式处理（如JSON、msgpack、plain等），filters用于过滤信息，outputs是Logstash的输出部分

二、详解

  1. Input详解

    Input支持多种方式输入，我们挑几个重点

    • [x] 处理基于File方式输入的数据

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      input{
         file{
             codec=>...                 #可选，默认为plain,设置编码方式
             discover_interval=>...     #可选，隔多少秒去监听新闻建，默认15s
             exclude=>...               #可选，不想被监听的文件
             sincedb_path=>...          #可选，sincedb位置，
             sincedb_write_interval=>...#可选，每隔多久写一次sincedb文件
             path=>...                  #必选，文件路径
             stat_interval=>...         #可选，多久有更新，默认1s去监听
             start_position=>...        #可选，从哪里开始
             tags=>...                  #可选，标记这个日志
             type=>...
         }
      }

    • [x] OK

    • [x] ​

  2. Codecs：格式化日志数据

    在logstash中，codecs部分用于格式化日志数据，支持多种格式

    • [ ] json格式

      ​

    • [ ] plain格式

三、使用

1、安装配置

Share