td-agent server配置
官網(wǎng)：http://docs.fluentd.org/articles/out_forward
翻譯：
out_forward緩沖輸出插件將事件轉(zhuǎn)發(fā)到其他fluentd節(jié)點(diǎn)。 此插件支持負(fù)載平衡和自動(dòng)故障轉(zhuǎn)移（又名主動(dòng) - 主動(dòng)備份）。 對(duì)于復(fù)制，請(qǐng)使用out_copy插件。
out_forward插件使用“φaccrual failure detector”算法檢測(cè)服務(wù)器故障。 您可以自定義算法的參數(shù)。 當(dāng)服務(wù)器故障恢復(fù)時(shí)，插件使服務(wù)器在幾秒鐘后自動(dòng)可用。
out_forward插件支持最多一次和至少一次語(yǔ)義。 默認(rèn)值為最多一次。
{請(qǐng)勿在沒有安全連接的情況下使用此插件進(jìn)行DC或公共互聯(lián)網(wǎng)數(shù)據(jù)傳輸。 所有數(shù)據(jù)未加密，并且此插件不是為高延遲網(wǎng)絡(luò)環(huán)境設(shè)計(jì)的。 如果需要節(jié)點(diǎn)之間的安全連接，請(qǐng)考慮使用in_secure_forward。}
Example Configuration:
out_forward包含在Fluentd的核心中。 無需額外的安裝過程。
<match pattern>
@type forward
send_timeout 60s
recover_wait 10s
heartbeat_interval 1s
phi_threshold 16
hard_timeout 60s
<server>
name myserver1
host 192.168.1.3
port 24224
weight 60
</server>
<server>
name myserver2
host 192.168.1.4
port 24224
weight 60
</server>
...
<secondary>
@type file
path /var/log/fluent/forward-failed
</secondary>
</match>
Parameters
類型（必需）
該值必須為forward。
<server>（至少需要一個(gè)）
目標(biāo)服務(wù)器。 每個(gè)服務(wù)器必須具有以下信息。
name：服務(wù)器的名稱。 此參數(shù)用于錯(cuò)誤消息。
host（必需）：服務(wù)器的IP地址或主機(jī)名。
port：主機(jī)的端口號(hào)。 默認(rèn)值為24224.請(qǐng)注意，TCP數(shù)據(jù)包（事件流）和UDP數(shù)據(jù)包（心跳消息）都會(huì)發(fā)送到此端口。
重量：負(fù)載平衡重量。 如果一個(gè)服務(wù)器的權(quán)重為20，另一個(gè)服務(wù)器的權(quán)重為30，則事件以2：3的比率發(fā)送。 默認(rèn)權(quán)重為60。
require_ack_response
將協(xié)議更改為至少一次。 插件等待來自目標(biāo)的in_forward插件的ack。
ack_response_timeout
當(dāng)require_ack_response為true時(shí)，使用此選項(xiàng)。 默認(rèn)值為190.此默認(rèn)值基于常用的tcp_syn_retries。
如果設(shè)置為0，這個(gè)插件不等待ack響應(yīng)。
<secondary>（可選）
所有服務(wù)器不可用時(shí)使用的備份目標(biāo)。
send_timeout
發(fā)送事件日志的超時(shí)時(shí)間。 默認(rèn)值為60秒。
recover_wait
接受服務(wù)器故障恢復(fù)之前的等待時(shí)間。 默認(rèn)值為10秒。
心跳類型
用于心跳的傳輸協(xié)議。 默認(rèn)值為“udp”，但您也可以選擇“tcp”。 設(shè)置“none”以禁用心跳。
heartbeat_interval
心跳包裝器的間隔。 默認(rèn)值為1秒。
phi_failure_detector
使用“Phi應(yīng)計(jì)故障檢測(cè)器”檢測(cè)服務(wù)器故障。 默認(rèn)值為true。
phi_threshold
用于檢測(cè)服務(wù)器故障的閾值參數(shù)。 默認(rèn)值為16。
hard_timeout
用于檢測(cè)服務(wù)器故障的硬超時(shí)。 默認(rèn)值等于send_timeout參數(shù)。
standby
將節(jié)點(diǎn)標(biāo)記為Fluentd節(jié)點(diǎn)之間的活動(dòng) - 備用模型的備用節(jié)點(diǎn)。 當(dāng)活動(dòng)節(jié)點(diǎn)關(guān)閉時(shí)，備用節(jié)點(diǎn)將升級(jí)到活動(dòng)節(jié)點(diǎn)。 在此之前，out_forward插件不使用備用節(jié)點(diǎn)。
<match pattern>
@type forward
...
<server>
name myserver1
host 192.168.1.3
weight 60
</server>
<server> # forward doesn't use myserver2 until myserver1 goes down
name myserver2
host 192.168.1.4
weight 60
standby
</server>
...
</match>
expire_dns_cache
設(shè)置TTL以秒為單位過期DNS緩存。 設(shè)置為0不使用DNS緩存。 默認(rèn)值為nil（表示持久性緩存）。
dns_round_robin
啟用客戶端DNS輪循。 統(tǒng)一隨機(jī)選擇IP地址以在主機(jī)名具有服務(wù)器IP地址時(shí)發(fā)送數(shù)據(jù)。
Buffered Output Parameters
對(duì)于高級(jí)用途，您可以使用這些參數(shù)調(diào)整Fluentd的內(nèi)部緩沖機(jī)制。
buffer_type
默認(rèn)情況下，緩沖區(qū)類型是內(nèi)存（buf_memory）。也可以選擇文件（buf_file）緩沖區(qū)類型。如果使用文件緩沖區(qū)類型，則需要使用buffer_path參數(shù)。
buffer_queue_limit，buffer_chunk_limit
塊隊(duì)列的長(zhǎng)度和每個(gè)塊的大小。請(qǐng)參閱緩沖區(qū)插件概述文章了解基本緩沖區(qū)結(jié)構(gòu)。默認(rèn)值分別為64和8m。后綴“k”（KB），“m”（MB）和“g”（GB）可以用于buffer_chunk_limit。
flush_interval
數(shù)據(jù)刷新之間的間隔。默認(rèn)值為60s。可以使用后綴“s”（秒），“m”（分鐘）和“h”（小時(shí)）。
flush_at_shutdown
如果設(shè)置為true，F(xiàn)luentd會(huì)在關(guān)閉時(shí)等待緩沖區(qū)刷新。默認(rèn)情況下，它對(duì)于內(nèi)存緩沖區(qū)設(shè)置為true，對(duì)于文件緩沖區(qū)設(shè)置為false。
retry_wait，max_retry_wait
寫重試之間的初始和最大間隔。默認(rèn)值為1.0秒，未設(shè)置（無限制）。間隔加倍（+/- 12.5％隨機(jī)性），每次重試，直到達(dá)到max_retry_wait。在默認(rèn)配置中，最后一次重試等待大約131072秒，大約36小時(shí)。
retry_limit，disable_retry_limit
緩沖數(shù)據(jù)之前的重試次數(shù)的限制被丟棄，并且有一個(gè)選項(xiàng)禁用該限制（如果為true，則忽略retry_limit的值，沒有限制）。默認(rèn)值為17和false（不禁用）。如果達(dá)到限制，則丟棄緩沖數(shù)據(jù)，并將重試間隔重置為其初始值（retry_wait）。
num_threads
刷新緩沖區(qū)的線程數(shù)。此選項(xiàng)可用于將寫入并行到輸出插件指定的輸出中。增加線程數(shù)可提高刷新吞吐量，以隱藏寫入/網(wǎng)絡(luò)延遲。默認(rèn)值為1。
slow_flush_log_threshold
用于檢查塊沖洗性能的閾值。默認(rèn)值為20.0秒。注意，參數(shù)類型是float，而不是時(shí)間。
如果chunk flush需要比這個(gè)閾值更長(zhǎng)的時(shí)間，fluentd日志警告消息如下：
2016-12-19 12:00:00 +0000 [warn]：緩沖區(qū)刷新花費(fèi)的時(shí)間比slow_flush_log_threshold更長(zhǎng)：elapsed_time = 15.0031226690043695 slow_flush_log_threshold = 10.0 plugin_id =“foo”
log_level選項(xiàng)
log_level選項(xiàng)允許用戶為每個(gè)插件設(shè)置不同級(jí)別的日志記錄。支持的日志級(jí)別是：致命，錯(cuò)誤，警告，信息，調(diào)試和跟蹤。
故障排除
“沒有節(jié)點(diǎn)可用”
請(qǐng)確保您可以使用不僅TCP，而且UDP與端口24224通信。 這些命令將有助于檢查網(wǎng)絡(luò)配置。
有關(guān)更多詳細(xì)信息，請(qǐng)參閱日志記錄文章。
$ telnet host 24224
$ nmap -p 24224 -sU主機(jī)
請(qǐng)注意，有一個(gè)已知的問題，VMware會(huì)偶爾丟失用于心跳的小UDP數(shù)據(jù)包。 td-agent server配置
官網(wǎng)：http://docs.fluentd.org/articles/out_forward
翻譯：
out_forward緩沖輸出插件將事件轉(zhuǎn)發(fā)到其他fluentd節(jié)點(diǎn)。 此插件支持負(fù)載平衡和自動(dòng)故障轉(zhuǎn)移（又名主動(dòng) - 主動(dòng)備份）。 對(duì)于復(fù)制，請(qǐng)使用out_copy插件。
out_forward插件使用“φaccrual failure detector”算法檢測(cè)服務(wù)器故障。 您可以自定義算法的參數(shù)。 當(dāng)服務(wù)器故障恢復(fù)時(shí)，插件使服務(wù)器在幾秒鐘后自動(dòng)可用。
out_forward插件支持最多一次和至少一次語(yǔ)義。 默認(rèn)值為最多一次。
{請(qǐng)勿在沒有安全連接的情況下使用此插件進(jìn)行DC或公共互聯(lián)網(wǎng)數(shù)據(jù)傳輸。 所有數(shù)據(jù)未加密，并且此插件不是為高延遲網(wǎng)絡(luò)環(huán)境設(shè)計(jì)的。 如果需要節(jié)點(diǎn)之間的安全連接，請(qǐng)考慮使用in_secure_forward。}
Example Configuration:
out_forward包含在Fluentd的核心中。 無需額外的安裝過程。
<match pattern>
@type forward
send_timeout 60s
recover_wait 10s
heartbeat_interval 1s
phi_threshold 16
hard_timeout 60s
<server>
name myserver1
host 192.168.1.3
port 24224
weight 60
</server>
<server>
name myserver2
host 192.168.1.4
port 24224
weight 60
</server>
...
<secondary>
@type file
path /var/log/fluent/forward-failed
</secondary>
</match>
Parameters
類型（必需）
該值必須為forward。
<server>（至少需要一個(gè)）
目標(biāo)服務(wù)器。 每個(gè)服務(wù)器必須具有以下信息。
name：服務(wù)器的名稱。 此參數(shù)用于錯(cuò)誤消息。
host（必需）：服務(wù)器的IP地址或主機(jī)名。
port：主機(jī)的端口號(hào)。 默認(rèn)值為24224.請(qǐng)注意，TCP數(shù)據(jù)包（事件流）和UDP數(shù)據(jù)包（心跳消息）都會(huì)發(fā)送到此端口。
重量：負(fù)載平衡重量。 如果一個(gè)服務(wù)器的權(quán)重為20，另一個(gè)服務(wù)器的權(quán)重為30，則事件以2：3的比率發(fā)送。 默認(rèn)權(quán)重為60。
require_ack_response
將協(xié)議更改為至少一次。 插件等待來自目標(biāo)的in_forward插件的ack。
ack_response_timeout
當(dāng)require_ack_response為true時(shí)，使用此選項(xiàng)。 默認(rèn)值為190.此默認(rèn)值基于常用的tcp_syn_retries。
如果設(shè)置為0，這個(gè)插件不等待ack響應(yīng)。
<secondary>（可選）
所有服務(wù)器不可用時(shí)使用的備份目標(biāo)。
send_timeout
發(fā)送事件日志的超時(shí)時(shí)間。 默認(rèn)值為60秒。
recover_wait
接受服務(wù)器故障恢復(fù)之前的等待時(shí)間。 默認(rèn)值為10秒。
心跳類型
用于心跳的傳輸協(xié)議。 默認(rèn)值為“udp”，但您也可以選擇“tcp”。 設(shè)置“none”以禁用心跳。
heartbeat_interval
心跳包裝器的間隔。 默認(rèn)值為1秒。
phi_failure_detector
使用“Phi應(yīng)計(jì)故障檢測(cè)器”檢測(cè)服務(wù)器故障。 默認(rèn)值為true。
phi_threshold
用于檢測(cè)服務(wù)器故障的閾值參數(shù)。 默認(rèn)值為16。
hard_timeout
用于檢測(cè)服務(wù)器故障的硬超時(shí)。 默認(rèn)值等于send_timeout參數(shù)。
standby
將節(jié)點(diǎn)標(biāo)記為Fluentd節(jié)點(diǎn)之間的活動(dòng) - 備用模型的備用節(jié)點(diǎn)。 當(dāng)活動(dòng)節(jié)點(diǎn)關(guān)閉時(shí)，備用節(jié)點(diǎn)將升級(jí)到活動(dòng)節(jié)點(diǎn)。 在此之前，out_forward插件不使用備用節(jié)點(diǎn)。
<match pattern>
@type forward
...
<server>
name myserver1
host 192.168.1.3
weight 60
</server>
<server> # forward doesn't use myserver2 until myserver1 goes down
name myserver2
host 192.168.1.4
weight 60
standby
</server>
...
</match>
expire_dns_cache
設(shè)置TTL以秒為單位過期DNS緩存。 設(shè)置為0不使用DNS緩存。 默認(rèn)值為nil（表示持久性緩存）。
dns_round_robin
啟用客戶端DNS輪循。 統(tǒng)一隨機(jī)選擇IP地址以在主機(jī)名具有服務(wù)器IP地址時(shí)發(fā)送數(shù)據(jù)。
Buffered Output Parameters
對(duì)于高級(jí)用途，您可以使用這些參數(shù)調(diào)整Fluentd的內(nèi)部緩沖機(jī)制。
buffer_type
默認(rèn)情況下，緩沖區(qū)類型是內(nèi)存（buf_memory）。也可以選擇文件（buf_file）緩沖區(qū)類型。如果使用文件緩沖區(qū)類型，則需要使用buffer_path參數(shù)。
buffer_queue_limit，buffer_chunk_limit
塊隊(duì)列的長(zhǎng)度和每個(gè)塊的大小。請(qǐng)參閱緩沖區(qū)插件概述文章了解基本緩沖區(qū)結(jié)構(gòu)。默認(rèn)值分別為64和8m。后綴“k”（KB），“m”（MB）和“g”（GB）可以用于buffer_chunk_limit。
flush_interval
數(shù)據(jù)刷新之間的間隔。默認(rèn)值為60s?？梢允褂煤缶Y“s”（秒），“m”（分鐘）和“h”（小時(shí)）。
flush_at_shutdown
如果設(shè)置為true，F(xiàn)luentd會(huì)在關(guān)閉時(shí)等待緩沖區(qū)刷新。默認(rèn)情況下，它對(duì)于內(nèi)存緩沖區(qū)設(shè)置為true，對(duì)于文件緩沖區(qū)設(shè)置為false。
retry_wait，max_retry_wait
寫重試之間的初始和最大間隔。默認(rèn)值為1.0秒，未設(shè)置（無限制）。間隔加倍（+/- 12.5％隨機(jī)性），每次重試，直到達(dá)到max_retry_wait。在默認(rèn)配置中，最后一次重試等待大約131072秒，大約36小時(shí)。
retry_limit，disable_retry_limit
緩沖數(shù)據(jù)之前的重試次數(shù)的限制被丟棄，并且有一個(gè)選項(xiàng)禁用該限制（如果為true，則忽略retry_limit的值，沒有限制）。默認(rèn)值為17和false（不禁用）。如果達(dá)到限制，則丟棄緩沖數(shù)據(jù)，并將重試間隔重置為其初始值（retry_wait）。
num_threads
刷新緩沖區(qū)的線程數(shù)。此選項(xiàng)可用于將寫入并行到輸出插件指定的輸出中。增加線程數(shù)可提高刷新吞吐量，以隱藏寫入/網(wǎng)絡(luò)延遲。默認(rèn)值為1。
slow_flush_log_threshold
用于檢查塊沖洗性能的閾值。默認(rèn)值為20.0秒。注意，參數(shù)類型是float，而不是時(shí)間。
如果chunk flush需要比這個(gè)閾值更長(zhǎng)的時(shí)間，fluentd日志警告消息如下：
2016-12-19 12:00:00 +0000 [warn]：緩沖區(qū)刷新花費(fèi)的時(shí)間比slow_flush_log_threshold更長(zhǎng)：elapsed_time = 15.0031226690043695 slow_flush_log_threshold = 10.0 plugin_id =“foo”
log_level選項(xiàng)
log_level選項(xiàng)允許用戶為每個(gè)插件設(shè)置不同級(jí)別的日志記錄。支持的日志級(jí)別是：致命，錯(cuò)誤，警告，信息，調(diào)試和跟蹤。
故障排除
“沒有節(jié)點(diǎn)可用”
請(qǐng)確保您可以使用不僅TCP，而且UDP與端口24224通信。 這些命令將有助于檢查網(wǎng)絡(luò)配置。
有關(guān)更多詳細(xì)信息，請(qǐng)參閱日志記錄文章。
$ telnet host 24224
$ nmap -p 24224 -sU主機(jī)
請(qǐng)注意，有一個(gè)已知的問題，VMware會(huì)偶爾丟失用于心跳的小UDP數(shù)據(jù)包。
