騰訊云Logstash實戰(zhàn)3-接收filebeat發(fā)送的數據并寫入到Elasticsearch

Logstash的一個典型應用場景,就是接收filebeat發(fā)送過來的數據并且寫入到Elasticsearch, 使用騰訊云Logstash產品,可以通過簡單的配置快速地完成這一過程。

創(chuàng)建管道

在“管道管理”頁面,點擊“新建管道”按鈕,創(chuàng)建一個管道:


image

進入管道配置頁面,點擊“引用模板”按鈕,同時引用“input-beats”和“output-elasticsearch”兩個模板:


image

image

在管道配置中,分別針對“input-beats”和“output-elasticsearch”進行配置,一些關鍵的配置參數說明如下:

input-beats

  • host: logstash要監(jiān)聽的ip地址,可設置為節(jié)點的ip,默認為0.0.0.0
  • port: logstash要監(jiān)聽的端口號,默認為5044
  • type: 標識字段

查看更多參數,可以參考input-beats

output-elasticsearch

  • hosts: elasticsearch集群地址列表
  • user: elasticsearch集群賬號
  • password: elasticsearch集群密碼
  • index: 索引名稱
  • document_type: 索引type,對于不同版本的ES集群,該字段有不同的默認值,5.x及以下的集群,默認會使用input中指定的type字段,如果type字段不存在,則該字段的值為doc;6.x的集群,該字段默認值為doc;7.x的集群,該字段默認值為_doc; 8.x的集群,不會使用該字段
  • document_id: 文檔ID

查看更多參數,可以參考output-elasticsearch

在配置完管道后,點擊“保存并部署”創(chuàng)建一個管道并自動部署:


image

查看日志

在控制臺查看Logstash的運行日志,如果沒有ERROR級別的日志,則說明管道運行正常:


image

查看數據寫入情況

進入到output-elasticsearch中定義的輸出端的ES集群對應的kibana頁面,在Dev tools工具欄里查看索引是否存在,以及索引的文檔數量是否正確:


image
?著作權歸作者所有,轉載或內容合作請聯系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容