關(guān)于 Redis 的 keyspace notification(密鑰空間通知)這個東西和環(huán)形隊列

我決定收尾呼應(yīng)先來說一下廢墟樂隊的新專輯《正大光明》。哈哈哈哈

首先是需求,其實我們想做的就是一個定時發(fā)系統(tǒng)消息的任務(wù)。這個時間節(jié)點是后臺進行設(shè)置的。然而這個定時任務(wù)是需要精確到秒的。所以如果用 Linux 的 crontab 就不是很合適。所以就想別的方法。

然后就看到了網(wǎng)上說的 keyspace notification(密鑰空間通知)這個東西。但我告訴你,這是其實是不行的。不哄你,

這里 有相關(guān)介紹,并且該功能是自** 2.8.0 *版本之后可用的功能。如果使用該功能需要到 redis 的配置中 配置 notify-keyspace-events 的參數(shù)為 “Ex” 或者 “Kx”。x 代表了過期事件 *大概就是一種你的 redis 的 key 發(fā)生變化的時候就會觸發(fā)這個功能,并且通知你。比如你的 key 過期了,刪除了之類的。

他會發(fā)送兩種類型:

  • K鍵空間通知,所有通知以 __keyspace@ __ 為前綴的

  • E鍵事件通知,所有通知以 __keyevent@ __ 為前綴的

我們本來的思路是后臺每添加一個定時任務(wù)的時候,就直接在 redis 里存一個具有時效性的key (SETEX、EXPIRE),當該 key 失效的時候就會觸發(fā) K 或者 E 的通知,收到通知后我們就做發(fā)消息處理。為了避免和其他的時效 key 有混淆,redis 的密鑰空間通知是提供正則匹配的。所以美滋滋的實現(xiàn)了代碼:

/**
 * Redis處理類
 */
class RedisInstance {

    private $redis;

    public function __construct($host = '127.0.0.1', $port = 6379) {
        $this->redis = new Redis();
        $this->redis->connect($host, $port);
    }

    public function expire($key = null, $time = 0) {
        return $this->redis->expire($key, $time);
    }

    public function psubscribe($patterns = array(), $callback) {
        $this->redis->psubscribe($patterns, $callback);
    }

    public function setOption() {
        $this->redis->setOption(\Redis::OPT_READ_TIMEOUT,-1);
    }
}

這里沒有寫具體的消息處理,只是收到通知并且把 key 打印出來!

<?php
/**
 * 處理BI后臺消息定時發(fā)送
 * User: 郭貳小姐
 * Date: 2017/4/13
 * Time: 下午9:47
 */
require_once '/data/momoma.com/redis/RedisInstance.php';
$redis = new \RedisInstance();
// 解決Redis客戶端訂閱時候超時情況
$redis->setOption();
$redis->psubscribe(array('__keyspace@0*gm_cp*'), 'psCallback');
// 回調(diào)函數(shù),這里寫處理邏輯
function psCallback($redis, $pattern, $chan, $msg)
{
    echo "Pattern: $pattern\n";
    echo "Channel: $chan\n";
    echo "Payload: $msg\n\n";
}

結(jié)果,無論是用 Ex 還是用 Kx 都不是很好使,有時候可以收到通知,有時候很久都收不到通知。

那么 why? 為什么?我覺得大概的原因是:

首先 官方 最后一段關(guān)于這個 “過期活動的時間” 的說法,我理解的就是,當某個 key 過期了的時候,實際上他并沒有馬上刪除,所以并不會馬上去通知,什么情況會下觸發(fā)過期并且通知:

  1. 當密鑰被命令訪問并被發(fā)現(xiàn)已過期時。
  2. Redis會隨機掃帶有過期時間的 key,當掃到并發(fā)現(xiàn)已過期時間。

所以官方講:如果沒有命令不斷地定位密鑰,并且有許多與TTL相關(guān)聯(lián)的密鑰,則在關(guān)鍵生存時間到零之間的時間和生成過期事件的時間之間(就是你設(shè)置了某個 key 失效時間【比如60秒】和該 key 實際失效并且觸發(fā)通知事件的時間 【可能70秒】)可能存在顯著的延遲。

其次 還有什么原因我就不得而知了...哈哈哈

既然不行

那只能再想別的辦法,后來參考了 1分鐘實現(xiàn)“延遲消息”功能 做一個環(huán)形隊列,大概原理就是:

環(huán)形隊列

做一個3600(其實我做了60)的環(huán)形隊列,當你有一個任務(wù)是59秒后執(zhí)行,你就可以將這個任務(wù)存到第59個格里,然后圈數(shù)存為0。當你有一個任務(wù)需要61秒后執(zhí)行,那你可以將這個任務(wù)存到第一個格里,但是圈數(shù)要存為1。

然后有一個定時器,每秒鐘都會沿著這個圈中的小格無線循環(huán)下去。當然這個定時器小人跳到某一格,他會把該格子中所有圈數(shù)為0的數(shù)據(jù)都處理掉,圈數(shù)不為0的,可能需要下一圈或者下下很多圈才需要處理。

這就是原理,如果你沒太理解可以去看下原文,如果你看懂了是不是覺得,嗨,確實是這么回事。這TM有點意思哈...然而并沒有什么卵用,代碼我還是不會寫。

這個環(huán)形隊列要怎么實現(xiàn)呢?我想了下可以用 redis 的哈希來實現(xiàn):

//添加任務(wù) hash
$value = [0=>['a任務(wù)','b任務(wù)'],1=>['c任務(wù)'],2=>['d任務(wù)']];
$value = json_encode($value);
$redis->hSet('cycle','second_1',$value);

$value = [0=>['e任務(wù)','f任務(wù)'],1=>['g任務(wù)'],2=>['h任務(wù)']];
$value = json_encode($value);
$redis->hSet('cycle','second_2',$value);

然后是小人跳格子的環(huán)形隊列:

/**
* 小人跳格子的環(huán)形隊列啊
* User: 郭貳小姐
* Date: 2017/4/16
* Time: 下午10:38
*/
require_once '/data/momoma.com/redis/RedisInstance.php';
$redis = new \RedisInstance();

// 執(zhí)行任務(wù)的函數(shù)
function task($task){
   //if(!empty($task)){
   echo "----開始一次執(zhí)行任務(wù)----\n";
   foreach ($task as $val){
       echo "正在執(zhí)行 $val\n";
   }
}

while (true){
   for ($i=1;$i<=60;$i++){
       // 存儲當前指針的位置
       $redis->set('current',$i);
       $val = $redis->hGet('cycle','second_'.$i);
       $val = json_decode($val);

       if($val){
           // 執(zhí)行當前要執(zhí)行的任務(wù)
           task($val[0]);
           array_shift($val);
           // 把剩余的任務(wù)重新寫到redis
           $val = json_encode($val);
           $redis->hSet('cycle','second_'.$i,$val);
       } else {
           echo "$i 當前時間沒有任務(wù)可執(zhí)行\(zhòng)n";
       }
       sleep(1);
   }
}

額好吧,我這里用的 sleep(1),你可以用 swoole 來做定時器。

但是其實這個方案我們最終并沒有用,就算用 swoole 來做定時器,配合 supervisor 來實現(xiàn)進程管理。我覺得還差點什么吶...

最后,聽一首,不,是一張專輯。來自廢墟樂隊的2017新專輯,從大二開始聽周云山的廢墟樂隊。說實話,這張新專輯也是等了好久的,終于出了,滿心歡喜。美滋滋。

美滋滋

《正大光明》 - 來自廢墟樂隊

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1.1 資料 ,最好的入門小冊子,可以先于一切文檔之前看,免費。 作者Antirez的博客,Antirez維護的R...
    JefferyLcm閱讀 17,329評論 1 51
  • 分布式緩存技術(shù)PK:選擇Redis還是Memcached? 經(jīng)平臺同意授權(quán)轉(zhuǎn)載 作者:田京昆(騰訊后臺研發(fā)工程師)...
    meng_philip123閱讀 69,062評論 7 60
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,699評論 19 139
  • 相戀的小情侶幾乎都一樣,大多數(shù)通常都是要經(jīng)歷新鮮期、熱戀期、降溫期和冷淡期這四個戀愛階段。前兩個階段可謂是充滿了甜...
    Ketno花間閱讀 1,611評論 5 2
  • 無奈的我們想的多做的少害怕卻又不珍惜
    化沙閱讀 98評論 0 1

友情鏈接更多精彩內(nèi)容