Logstash的一個典型應用場景,就是接收filebeat發(fā)送過來的數據并且寫入到Elasticsearch, 使用騰訊云Logstash產品,可以通過簡單的配置快速地完成這一過程。
創(chuàng)建管道
在“管道管理”頁面,點擊“新建管道”按鈕,創(chuàng)建一個管道:

image
進入管道配置頁面,點擊“引用模板”按鈕,同時引用“input-beats”和“output-elasticsearch”兩個模板:

image

image
在管道配置中,分別針對“input-beats”和“output-elasticsearch”進行配置,一些關鍵的配置參數說明如下:
input-beats
- host: logstash要監(jiān)聽的ip地址,可設置為節(jié)點的ip,默認為0.0.0.0
- port: logstash要監(jiān)聽的端口號,默認為5044
- type: 標識字段
查看更多參數,可以參考input-beats
output-elasticsearch
- hosts: elasticsearch集群地址列表
- user: elasticsearch集群賬號
- password: elasticsearch集群密碼
- index: 索引名稱
- document_type: 索引type,對于不同版本的ES集群,該字段有不同的默認值,5.x及以下的集群,默認會使用input中指定的type字段,如果type字段不存在,則該字段的值為doc;6.x的集群,該字段默認值為doc;7.x的集群,該字段默認值為_doc; 8.x的集群,不會使用該字段
- document_id: 文檔ID
查看更多參數,可以參考output-elasticsearch
在配置完管道后,點擊“保存并部署”創(chuàng)建一個管道并自動部署:

image
查看日志
在控制臺查看Logstash的運行日志,如果沒有ERROR級別的日志,則說明管道運行正常:

image
查看數據寫入情況
進入到output-elasticsearch中定義的輸出端的ES集群對應的kibana頁面,在Dev tools工具欄里查看索引是否存在,以及索引的文檔數量是否正確:

image