LogStash输入插件详解
概述官方文档：https://www.elastic.co/guide/en/logstash/7.17/input-plugins.html
输入插件使 Logstash 能够读取特定的事件源。
LogStash 提供了 50 + 种输入插件，常见类型包括：
[*]文件类：file, s3
[*]网络类：beats, tcp, udp, http, kafka
[*]数据库类：jdbc, mongodb，redis
[*]系统类：syslog, eventlog, windows_eventlog
[*]特殊类：stdin, generator
所有输入插件都支持以下核心参数：
[*]add_field：值类型是哈希，默认值是{}，其主要作用是向事件添加字段
[*]codec：值类型是编解码器，默认值是plain，
[*]enable_metric：值类型为布尔值，默认值是true，是否开启metric指标
[*]id：值类型为字符串，此设置没有默认值。为插件配置添加一个唯一的ID。
[*]tags：为事件添加标签，值类型是数组
[*]type：值类型为字符串，type向此输入处理的所有事件添加一个字段。可以在 Kibana 中搜索它
常用输入插件-Stdin
Stdin是从标准输入读取事件。默认情况下，每个事件都被视为一行。如果需要合并多行，则需要使用多行编解码器。
stdin插件主要用于测试和开发环境，不适合生产环境的高吞吐量场景。
常用字段解释
[*]add_field：值类型是哈希，默认值是{}，其主要作用是向事件添加字段
[*]codec：值类型是编解码器，默认值是line，
[*]enable_metric：值类型为布尔值，默认值是true，是否开启metric指标
[*]id：值类型为字符串，此设置没有默认值。为插件配置添加一个唯一的ID。
[*]tags：为事件添加标签，值类型是数组
[*]type：值类型为字符串，type向此输入处理的所有事件添加一个字段。可以在 Kibana 中搜索它
实战
# cat stdin.conf
# 输入
input {
stdin {
type => "stdin"
id => "my_stdin"
tags => ["stdin","my_stdin"]
add_field => {
"name" => "张三"
"age" => 18
}
codec => line
}
}
# 输出，以debug方式输出
output {
stdout {
codec => rubydebug
}
}启动LogStash验证
# logstash -f ./stdin.conf
# 打印的日志信息省略
1 #输入1，然后回车
{
"age" => "18", #add_field添加的字段
"host" => "ELK01",
"name" => "张三",
"type" => "stdin" # 指定的type类型
"@version" => "1",
"@timestamp" => 2025-06-15T05:34:25.042Z,
"tags" => [ #添加的tag
"stdin",
"my_stdin"
],
"message" => "1", #输入的字段
}常用输入插件-file
参考文档：https://www.elastic.co/guide/en/logstash/7.17/plugins-inputs-file.html
在 Logstash 中，file输入插件是最常用的输入插件之一，主要用于从文件系统读取数据，常见的使用场景包括收集日志文件、监控文件变更，file插件能够读取所有的文件
常用字段解释
[*]path（必需）
[*]功能：用于指定要监控的文件路径，可以使用绝对路径或相对路径。
[*]注意事项：
[*]若路径指向的是目录而非文件，该插件会递归读取目录下的所有文件。
[*]要保证 Logstash 进程拥有读取这些文件的权限。
path => ["/var/log/*.log", "/data/app/*.out"]# 支持使用通配符匹配多个文件
[*]start_position
[*]功能：确定首次读取文件时的起始位置。
[*]可选值：
[*]beginning：从文件开头开始读取，适用于历史数据迁移的场景。
[*]end（默认值）：从文件末尾开始读取，适合实时日志收集的情况。
start_position => "beginning"
[*]sincedb_path
[*]功能：指定 sincedb 文件的存储位置，该文件用于记录已读取文件的偏移量。
[*]默认值：$HOME/.sincedb_
sincedb_path => "/data/logstash/sincedb"# 生产环境建议使用专用目录
[*]ignore_older
[*]功能：设置一个时间阈值，超过该阈值的文件将被忽略。
[*]单位：秒、分钟、小时、天等，例如3600（3600 秒）、2h（2 小时）。
ignore_older => "1d"# 忽略超过1天未修改的文件
[*]exclude
[*]功能：用于排除不需要监控的文件。
exclude => ["*.gz", "*.bak"]# 排除压缩文件和备份文件
[*]stat_interval
[*]功能：设置检查文件更新的时间间隔。
[*]默认值：1（秒）
stat_interval => 5# 每5秒检查一次文件更新
[*]discover_interval
[*]功能：设置扫描目录以发现新文件的时间间隔，在监控目录时会用到。
[*]默认值：15（秒）
discover_interval => 30# 每30秒扫描一次目录
[*]file_completed_action与file_completed_log_path
[*]用于处理已完成读取的文件
file_completed_action => "log"# 可选值: log, delete, archive
file_completed_log_path => "/var/log/logstash/completed_files.log"
[*]file_sort_by与file_sort_direction
控制文件读取顺序
file_sort_by => "last_modified"# 可选值: path, last_modified
file_sort_direction => "asc" # 可选值: asc(升序), desc（降序）
[*]delimiter
[*]指定行分隔符（适用于非标准换行符的文件）
delimiter => "\r\n"# Windows格式换行符
[*]max_open_files
[*]限制最大打开文件数（防止系统资源耗尽）
max_open_files => 1024# 默认值为4095
[*]sincedb_write_interval
[*]设置 sincedb 写入间隔（提高性能）
sincedb_write_interval => 15# 每15秒写入一次sincedb
[*]sincedb_clean_after
[*]清理过期的 sincedb 记录
sincedb_clean_after => "7d"# 清理7天未访问的文件记录，默认值为14天
[*]mode
选择监控模式（默认是tail，即追加模式）
mode => "read"# 一次性读取文件，读完即关闭，默认值为tail实战
定义配置文件
# cat file.conf
input {
file {
id => "my_app_log"
codec => "plain"
tags => ["file","myfile"]
add_field => {
"name" => "zhangsan"
"age" => 18
}
type => "file"
# 读取日志的文件路径
path => "/tmp/apps*.log"
# 读取的开始位置
# 该参数剩下的前提条件时"sincedb*"文件中没有对新文件的记录.
start_position => beginning
# sincedb文件
sincedb_path => "/data/logstash/sincedb"
ignore_older => "3d"
# 读取频率，1秒
stat_interval => 1
max_open_files => 1024
sincedb_write_interval => 10
mode => tail
}
}
output {
stdout {
codec => rubydebug
}
}启动logstash
# logstash -f ./file.conf
Pipeline Java execution initialization time {"seconds"=>0.58}
Pipeline started {"pipeline.id"=>"main"}
START, creating Discoverer, Watch with file and sincedb collections
Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}写入内容至/tmp/apps01.log
# echo hello logstash file >> apps.log查看控制台
{
"@version" => "1",
"host" => "ELK01",
"path" => "/tmp/apps.log",
"message" => "hello logstash file", # 我们写入文件的内容
"type" => "file",
"name" => "zhangsan",
"tags" => [
"file",
"myfile"
],
"@timestamp" => 2025-06-15T06:24:17.191Z,
"age" => "18"
}查看sincedb文件
# cat /data/logstash/sincedb
2490408 0 64768 44 1749968657.193113 /tmp/apps.log
# 2490408表示文件的inodb
# 0 表示磁盘分区
# 64768表示文件当前偏移量，单位字节
# 44表示记录文件元数据（如权限、所有者）最后修改的时间戳（秒级）。
# /tmp/apps.log表示读取的日志文件持续更新其它插件
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]