業(yè)務(wù)背景

各大公司也都基于自身業(yè)務(wù)場景和數(shù)據(jù)規(guī)模定制了自己的大數(shù)據(jù)計算平臺，但這些大數(shù)據(jù)計算平臺大都是批處理系統(tǒng)，雖然具備海量數(shù)據(jù)處理能力，但在時效性上有明顯的滯后。顯然，數(shù)據(jù)的價值不僅體現(xiàn)在空間維度上，同時也在時間維度上進(jìn)行伸展，很多場景下數(shù)據(jù)的價值也會隨著時間的流逝而逐漸消失。因此，大數(shù)據(jù)計算平臺需要能夠盡可能的提升計算的時效性，越快地從數(shù)據(jù)中挖掘出信息就意味著能夠獲取到更大的價值。

時效性對數(shù)據(jù)價值的影響尤其在電子商務(wù)領(lǐng)域更加明顯。通常人們在不同時刻會有著不同的消費需求和潛在目標(biāo)。很多時候，這些需求和目標(biāo)都是臨時的（即和歷史行為關(guān)聯(lián)度較低），并且從產(chǎn)生到結(jié)束之間的時間是非常有限的。這種情況在阿里巴巴雙十一大促這樣的場景中表現(xiàn)的尤為明顯。

大促場景下，用戶會由于豐富的促銷活動和環(huán)境而臨時產(chǎn)生更多的購物需求，并且每個購物需求的有效期是有限的。因此，搜索和推薦系統(tǒng)需要及時發(fā)現(xiàn)用戶的需求變化，在數(shù)據(jù)有效期內(nèi)完成模型更新，推薦用戶當(dāng)前感興趣的商品。此外，阿里巴巴的數(shù)據(jù)大屏也需要在大促期間實時展示成交額等大家關(guān)注的統(tǒng)計信息，而不是大促結(jié)束后第二天再讓大家看到數(shù)據(jù)。

其實目前不僅在阿里巴巴，各個行業(yè)都對大數(shù)據(jù)時效性的計算需求在日益增加，因此，阿里巴巴需要研發(fā)世界級一流的流式計算引擎，實時處理海量數(shù)據(jù)，提供在線統(tǒng)計、學(xué)習(xí)和預(yù)測能力，不僅支持阿里巴巴自己的核心電商場景，同時也能通過阿里云向外部中小企業(yè)提供流式計算服務(wù)，輸出實時計算能力，這就是我今天要分享的最新一代阿里巴巴實時計算引擎Blink。

例如：雙11當(dāng)天有很多爆款商品，銷售速度非常快，可能很快售罄，如果將用戶都引導(dǎo)到這些商品上，會導(dǎo)致用戶實際沒有成交機(jī)會，浪費大量流量，良好的時效性數(shù)據(jù)可以讓在線學(xué)習(xí)平臺較快的預(yù)測到這種場景，并將用戶流量進(jìn)行更加合理的分配。因此可以看出，基于實時計算的在線機(jī)器學(xué)習(xí)平臺其實已經(jīng)開始真正走向舞臺，并產(chǎn)生巨大價值。

技術(shù)背景

Blink可以說是基于開源流計算引擎Apache Flink的阿里巴巴定制版。

發(fā)展現(xiàn)狀

architecture

usecase

product

阿里云上架

Porsche

StreamCompute

未來

Blink作為底層計算引擎（又稱實時計算平臺），未來將承載和呈現(xiàn)出更多實時計算產(chǎn)品

---------------------

作者：西子湖畔的蝸牛

來源：CSDN

原文：https://blog.csdn.net/wzhqazcscs/article/details/80767360

版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請附上博文鏈接！