關(guān)于 Apache Pulsar
Apache Pulsar 是 Apache 軟件基金會(huì)頂級(jí)項(xiàng)目,是下一代云原生分布式消息流平臺(tái),集消息、存儲(chǔ)、輕量化函數(shù)式計(jì)算為一體,采用計(jì)算與存儲(chǔ)分離架構(gòu)設(shè)計(jì),支持多租戶、持久化存儲(chǔ)、多機(jī)房跨區(qū)域數(shù)據(jù)復(fù)制,具有強(qiáng)一致性、高吞吐、低延時(shí)及高可擴(kuò)展性等流數(shù)據(jù)存儲(chǔ)特性。
GitHub 地址:http://github.com/apache/pulsar/
導(dǎo)語(yǔ)
各位小伙伴們,Pulsar 社區(qū)周報(bào)帶著假期期間的更新來啦!
在閱讀周報(bào)之前,大家記得把活動(dòng)加入日程哦:10 月 15 日,即周四晚上 8-9 點(diǎn),Apache Pulsar PMC 翟佳將在云原生學(xué)院分享 Apache Pulsar 架構(gòu)與最新技術(shù)進(jìn)展,以及云原生時(shí)代下消息流系統(tǒng)的技術(shù)發(fā)展。觀看直播參與活動(dòng)還可以獲得 Pulsar t 恤和周邊哦。
本次 Pulsar 社區(qū)周報(bào),為大家呈現(xiàn) Pulsar client、broker、Pulsar Admin、Pulsar Functions、Pulsar schema 等內(nèi)容,幫助社區(qū)小伙伴們掌握 Pulsar 項(xiàng)目及社區(qū)每周進(jìn)展,也方便大家更好地參與到 Pulsar 社區(qū)中來!
感謝本周以下小伙伴為 Apache Pulsar 添磚加瓦(排名不分先后,看看你有沒有上榜):
@zymap、@315157973、@hangc0276、@racorn、@lhotari、@BewareMyPower、@wangjialing218、@rdhabalia、@srkukarni、@k2la、@massakam、@yuanboliu、@david-streamlio、@sbourkeostk、@vaihtovirta、@tuteng
接下來,一起看看 09-26 ~ 10-09 有哪些值得你關(guān)注的進(jìn)展吧!
重要進(jìn)展
- 因?yàn)?PR 較多,僅列舉較大 PR 進(jìn)展,不包括當(dāng)周全部動(dòng)態(tài)
- 下面 PR 均已合入 Pulsar 主分支
[Client] 改進(jìn) ClientCnx 的超時(shí)處理,對(duì)目前所有不處理超時(shí)的請(qǐng)求進(jìn)行超時(shí)處理。
PR 地址:https://github.com/apache/pulsar/pull/8149
[Broker] 攔截發(fā)送給消費(fèi)者的消息,并支持拋出相關(guān)異常。
PR 地址:https://github.com/apache/pulsar/pull/8129
[pulsar-admin] 支持刪除與集群關(guān)聯(lián)的數(shù)據(jù)。
PR 地址:https://github.com/apache/pulsar/pull/8133
貢獻(xiàn)者:@BewareMyPower
[Broker] 跳過攔截 multipart 請(qǐng)求。
PR 地址:https://github.com/apache/pulsar/pull/8156
[Common] 支持在 brokerServiceUrl 中指定多個(gè) IPv6 主機(jī)地址。
PR 地址:https://github.com/apache/pulsar/pull/8120
貢獻(xiàn)者:@wangjialing218
[Broker] 添加 getLastMessageId 至 Pulsar Admin API(V1) 。
PR 地址:https://github.com/apache/pulsar/pull/8081
[pulsar-admin] 添加 CLI 命令,獲取最新消息 ID。
PR 地址:https://github.com/apache/pulsar/pull/8082
[Admin] 支持同時(shí)刪除 topic 和 schema ledger。
PR 地址:https://github.com/apache/pulsar/pull/8167
貢獻(xiàn)者:@BewareMyPower
[Broker] 添加相關(guān) CLI 命令行,支持從 ZooKeeper 集群中刪除 metadata。
PR 地址:https://github.com/apache/pulsar/pull/8169
貢獻(xiàn)者:@BewareMyPower
[Functions] 支持禁用轉(zhuǎn)發(fā)源消息屬性。
PR 地址:https://github.com/apache/pulsar/pull/8158
[Broker] 支持禁用復(fù)制的訂閱。
PR 地址:https://github.com/apache/pulsar/pull/8144
[Common] 添加 ChannelFutures 實(shí)用類至 CompletableFuture。
PR 地址:https://github.com/apache/pulsar/pull/8137
[Broker] 在設(shè)置自動(dòng)讀取之前檢查空指針。
PR 地址:https://github.com/apache/pulsar/pull/7999
[Python Client] 更新構(gòu)建 docker 鏡像的腳本,使 Python 客戶端正常工作。
PR 地址:https://github.com/apache/pulsar/pull/8153
[IO] 添加 org.apache.pulsar.io.core.Context 接口。
PR 地址:https://github.com/apache/pulsar/pull/8164
貢獻(xiàn)者:@david-streamlio
[Client] 使能 TLS 的 Pulsar Java broker 客戶端支持 SNI。
PR 地址:https://github.com/apache/pulsar/pull/8117
[Admin] 支持獲取 topic 的內(nèi)部統(tǒng)計(jì)信息和 ledger metadata。
PR 地址:https://github.com/apache/pulsar/pull/8180
[Broker] 為 namespace 級(jí)別的 TTL 添加新的狀態(tài)。
PR 地址:https://github.com/apache/pulsar/pull/8178
[Python Client] 暴露 batchingType 接口。
PR 地址:https://github.com/apache/pulsar/pull/8185
[Broker] 清理不活躍的非持久化訂閱。
PR 地址:https://github.com/apache/pulsar/pull/8166
[Topic Policy] 檢查空指針,以避免 internalSetTopicPolicies 的空指針異常。
PR 地址:https://github.com/apache/pulsar/pull/8201
[C++ Client] 為 C++ 客戶端 HandleBase 添加 epoch,用于處理創(chuàng)建生產(chǎn)者時(shí)產(chǎn)生的超時(shí)問題。
PR 地址:https://github.com/apache/pulsar/pull/8191
[Dashboard] 修復(fù) Django 模型中 consumerName 遷移的問題。
PR 地址:https://github.com/apache/pulsar/pull/8188
貢獻(xiàn)者:@sbourkeostk
[Go Client] 修復(fù) pulsarProducerSendCallbackProxy 的參數(shù)類型。
PR 地址:https://github.com/apache/pulsar/pull/8186
[Functions] 將用戶定義的參數(shù)傳播到 Pulsar Go Functions的實(shí)例中。
PR 地址:https://github.com/apache/pulsar/pull/8132
貢獻(xiàn)者:@vaihtovirta
[Bookie] 在 bookkeeper.conf 文件中暴露 ensemblePlacementPolicy。
PR 地址:https://github.com/apache/pulsar/pull/8210
[Broker] 僅在配置攔截器時(shí),支持?jǐn)r截過濾器。
PR 地址:https://github.com/apache/pulsar/pull/8157
[Python Client] 為 Python schema 字段添加默認(rèn)值。
PR 地址:https://github.com/apache/pulsar/pull/8122
重要 Bug 修復(fù)
- 因修復(fù)內(nèi)容較多,僅列舉較重要修復(fù)內(nèi)容,不包括本周全部動(dòng)態(tài)
- 下面修復(fù)均已合入 Pulsar 主分支
[C++ Client] 修復(fù) testIndividualAck 單元測(cè)試不穩(wěn)定的問題。
PR 地址:https://github.com/apache/pulsar/pull/8141
貢獻(xiàn)者:@BewareMyPower
[Client] 修復(fù) ConsumerImpl 內(nèi)存泄露的問題。
PR 地址:https://github.com/apache/pulsar/pull/8160
[Broker] 修復(fù)服務(wù)單元未就緒時(shí)返回 Pulsar 客戶端錯(cuò)誤碼的問題。
PR 地址:https://github.com/apache/pulsar/pull/8147
[Schema] 修復(fù)啟動(dòng) BookkeeperSchemaStorage 時(shí)可能產(chǎn)生的空指針異常問題。
PR 地址:https://github.com/apache/pulsar/pull/8172
[Admin] 修復(fù)訂閱名稱不存在時(shí)無法查看消息的問題。
PR 地址:https://github.com/apache/pulsar/pull/8182
[Client] 修復(fù)暫停消費(fèi)的消費(fèi)者重新連接到 broker 時(shí)仍會(huì)收到新消息的問題。
PR 地址:https://github.com/apache/pulsar/pull/8165
[Broker] 修復(fù)關(guān)閉 Pulsar 服務(wù)時(shí)引發(fā)的異常。
PR 地址:https://github.com/apache/pulsar/pull/8197
[Schema] 修復(fù) JSON schema 會(huì)將字節(jié)反序列化為字符串的問題。
PR 地址:https://github.com/apache/pulsar/pull/8140
活動(dòng)和新聞
-
[TGIP] 每周直播:Pulsar 及其生態(tài)系統(tǒng)
- 點(diǎn)擊此處,獲取以往視頻鏈接
-
[TGIP-CN] 每周直播:Pulsar 及其生態(tài)系統(tǒng)
- 點(diǎn)擊此處,獲取以往視頻鏈接
[教學(xué)視頻] Broker Routing by Jesse Anderson - 視頻鏈接
活動(dòng)預(yù)告
- Pulsar 2020 亞洲峰會(huì)演講征集延期到10月21日,部分嘉賓仍在精心準(zhǔn)備,希望大家盡快提交喲!
官網(wǎng)地址: https://pulsar-summit.org/en/event/asia-2020
演講提交: 點(diǎn)擊此處
報(bào)名觀看: 點(diǎn)擊此處
-
10 月 27 日:線上研討會(huì) Low-Latency Stream Processing with Jet
主講人:Can Gencer,Director of Engineering at Hazelcast
點(diǎn)擊此處,報(bào)名活動(dòng)
-
10 月 21 日:FlinkForward:“Flink + Pulsar: The Path To Unified Batch and Streaming”
主講人:Addison Higham,StreamNative 高級(jí)工程師
點(diǎn)擊此處,報(bào)名活動(dòng)
推薦閱讀
-
博客:Building An Event-Driven Orchestration Engine
作者:Gilles Barbier
博客鏈接: https://medium.com/@gillesbarbier/building-an-event-driven-orchestration-engine-bf62d45aef5d
-
博客:Pulsar Function Deep Dive
作者:Sanjeev Kulkarni
博客鏈接: https://streamnative.io/blog/tech/2020-10-06-pulsar-functions-deep-dive
作為全球性開源項(xiàng)目,截至 2020 年 10 月 09 日,Apache Pulsar 已擁有超出 300 名貢獻(xiàn)者、6.6K+ Star 、1.6K+ Fork 。正是由于分布在全球各地的社區(qū)開發(fā)者的貢獻(xiàn),才使得 Apache Pulsar 項(xiàng)目不斷發(fā)展與前進(jìn)。
讓我們期待下一周的 Apache Pulsar 周報(bào)!
如果你也想為 Apache Pulsar 項(xiàng)目出一份力、成為我們的 Contributor,參考下面鏈接,來加入我們吧:
Apache Pulsar 是 Apache 軟件基金會(huì)頂級(jí)項(xiàng)目,是下一代云原生分布式消息流平臺(tái),集消息、存儲(chǔ)、輕量化函數(shù)式計(jì)算為一體,采用計(jì)算與存儲(chǔ)分離架構(gòu)設(shè)計(jì),支持多租戶、持久化存儲(chǔ)、多機(jī)房跨區(qū)域數(shù)據(jù)復(fù)制,具有強(qiáng)一致性、高吞吐、低延時(shí)及高可擴(kuò)展性等流數(shù)據(jù)存儲(chǔ)特性。
GitHub 地址:http://github.com/apache/pulsar/
導(dǎo)語(yǔ)
各位小伙伴們,Pulsar 社區(qū)周報(bào)帶著假期期間的更新來啦!
在閱讀周報(bào)之前,大家記得把活動(dòng)加入日程哦:10 月 15 日,即周四晚上 8-9 點(diǎn),Apache Pulsar PMC 翟佳將在云原生學(xué)院分享 Apache Pulsar 架構(gòu)與最新技術(shù)進(jìn)展,以及云原生時(shí)代下消息流系統(tǒng)的技術(shù)發(fā)展。觀看直播參與活動(dòng)還可以獲得 Pulsar t 恤和周邊哦。
本次 Pulsar 社區(qū)周報(bào),為大家呈現(xiàn) Pulsar client、broker、Pulsar Admin、Pulsar Functions、Pulsar schema 等內(nèi)容,幫助社區(qū)小伙伴們掌握 Pulsar 項(xiàng)目及社區(qū)每周進(jìn)展,也方便大家更好地參與到 Pulsar 社區(qū)中來!
感謝本周以下小伙伴為 Apache Pulsar 添磚加瓦(排名不分先后,看看你有沒有上榜):
@zymap、@315157973、@hangc0276、@racorn、@lhotari、@BewareMyPower、@wangjialing218、@rdhabalia、@srkukarni、@k2la、@massakam、@yuanboliu、@david-streamlio、@sbourkeostk、@vaihtovirta、@tuteng
接下來,一起看看 09-26 ~ 10-09 有哪些值得你關(guān)注的進(jìn)展吧!
重要進(jìn)展
- 因?yàn)?PR 較多,僅列舉較大 PR 進(jìn)展,不包括當(dāng)周全部動(dòng)態(tài)
- 下面 PR 均已合入 Pulsar 主分支
[Client] 改進(jìn) ClientCnx 的超時(shí)處理,對(duì)目前所有不處理超時(shí)的請(qǐng)求進(jìn)行超時(shí)處理。
PR 地址:https://github.com/apache/pulsar/pull/8149
[Broker] 攔截發(fā)送給消費(fèi)者的消息,并支持拋出相關(guān)異常。 PR 地址:https://github.com/apache/pulsar/pull/8129
[pulsar-admin] 支持刪除與集群關(guān)聯(lián)的數(shù)據(jù)。
PR 地址:https://github.com/apache/pulsar/pull/8133
貢獻(xiàn)者:@BewareMyPower
[Broker] 跳過攔截 multipart 請(qǐng)求。
PR 地址:https://github.com/apache/pulsar/pull/8156
[Common] 支持在 brokerServiceUrl 中指定多個(gè) IPv6 主機(jī)地址。
PR 地址:https://github.com/apache/pulsar/pull/8120
貢獻(xiàn)者:@wangjialing218
[Broker] 添加 getLastMessageId 至 Pulsar Admin API(V1) 。
PR 地址:https://github.com/apache/pulsar/pull/8081
[pulsar-admin] 添加 CLI 命令,獲取最新消息 ID。
PR 地址:https://github.com/apache/pulsar/pull/8082
[Admin] 支持同時(shí)刪除 topic 和 schema ledger。
PR 地址:https://github.com/apache/pulsar/pull/8167
貢獻(xiàn)者:@BewareMyPower
[Broker] 添加相關(guān) CLI 命令行,支持從 ZooKeeper 集群中刪除 metadata。
PR 地址:https://github.com/apache/pulsar/pull/8169
貢獻(xiàn)者:@BewareMyPower
[Functions] 支持禁用轉(zhuǎn)發(fā)源消息屬性。 PR 地址:https://github.com/apache/pulsar/pull/8158
[Broker] 支持禁用復(fù)制的訂閱。 PR 地址:https://github.com/apache/pulsar/pull/8144
[Common] 添加 ChannelFutures 實(shí)用類至 CompletableFuture。 PR 地址:https://github.com/apache/pulsar/pull/8137
[Broker] 在設(shè)置自動(dòng)讀取之前檢查空指針。 PR 地址:https://github.com/apache/pulsar/pull/7999
[Python Client] 更新構(gòu)建 docker 鏡像的腳本,使 Python 客戶端正常工作。 PR 地址:https://github.com/apache/pulsar/pull/8153
[IO] 添加 org.apache.pulsar.io.core.Context 接口。 PR 地址:https://github.com/apache/pulsar/pull/8164
貢獻(xiàn)者:@david-streamlio
[Client] 使能 TLS 的 Pulsar Java broker 客戶端支持 SNI。
PR 地址:https://github.com/apache/pulsar/pull/8117
[Admin] 支持獲取 topic 的內(nèi)部統(tǒng)計(jì)信息和 ledger metadata。
PR 地址:https://github.com/apache/pulsar/pull/8180
[Broker] 為 namespace 級(jí)別的 TTL 添加新的狀態(tài)。
PR 地址:https://github.com/apache/pulsar/pull/8178
[Python Client] 暴露 batchingType 接口。 PR 地址:https://github.com/apache/pulsar/pull/8185
[Broker] 清理不活躍的非持久化訂閱。 PR 地址:https://github.com/apache/pulsar/pull/8166
[Topic Policy] 檢查空指針,以避免 internalSetTopicPolicies 的空指針異常。
PR 地址:https://github.com/apache/pulsar/pull/8201
[C++ Client] 為 C++ 客戶端 HandleBase 添加 epoch,用于處理創(chuàng)建生產(chǎn)者時(shí)產(chǎn)生的超時(shí)問題。 PR 地址:https://github.com/apache/pulsar/pull/8191
[Dashboard] 修復(fù) Django 模型中 consumerName 遷移的問題。
PR 地址:https://github.com/apache/pulsar/pull/8188
貢獻(xiàn)者:@sbourkeostk
[Go Client] 修復(fù) pulsarProducerSendCallbackProxy 的參數(shù)類型。 PR 地址:https://github.com/apache/pulsar/pull/8186
[Functions] 將用戶定義的參數(shù)傳播到 Pulsar Go Functions的實(shí)例中。 PR 地址:https://github.com/apache/pulsar/pull/8132
貢獻(xiàn)者:@vaihtovirta
[Bookie] 在 bookkeeper.conf 文件中暴露 ensemblePlacementPolicy。 PR 地址:https://github.com/apache/pulsar/pull/8210
[Broker] 僅在配置攔截器時(shí),支持?jǐn)r截過濾器。 PR 地址:https://github.com/apache/pulsar/pull/8157
[Python Client] 為 Python schema 字段添加默認(rèn)值。
PR 地址:https://github.com/apache/pulsar/pull/8122
重要 Bug 修復(fù)
- 因修復(fù)內(nèi)容較多,僅列舉較重要修復(fù)內(nèi)容,不包括本周全部動(dòng)態(tài)
- 下面修復(fù)均已合入 Pulsar 主分支
[C++ Client] 修復(fù) testIndividualAck 單元測(cè)試不穩(wěn)定的問題。 PR 地址:https://github.com/apache/pulsar/pull/8141
貢獻(xiàn)者:@BewareMyPower
[Client] 修復(fù) ConsumerImpl 內(nèi)存泄露的問題。
PR 地址:https://github.com/apache/pulsar/pull/8160
[Broker] 修復(fù)服務(wù)單元未就緒時(shí)返回 Pulsar 客戶端錯(cuò)誤碼的問題。 PR 地址:https://github.com/apache/pulsar/pull/8147
[Schema] 修復(fù)啟動(dòng) BookkeeperSchemaStorage 時(shí)可能產(chǎn)生的空指針異常問題。
PR 地址:https://github.com/apache/pulsar/pull/8172
[Admin] 修復(fù)訂閱名稱不存在時(shí)無法查看消息的問題。
PR 地址:https://github.com/apache/pulsar/pull/8182
[Client] 修復(fù)暫停消費(fèi)的消費(fèi)者重新連接到 broker 時(shí)仍會(huì)收到新消息的問題。
PR 地址:https://github.com/apache/pulsar/pull/8165
[Broker] 修復(fù)關(guān)閉 Pulsar 服務(wù)時(shí)引發(fā)的異常。 PR 地址:https://github.com/apache/pulsar/pull/8197
[Schema] 修復(fù) JSON schema 會(huì)將字節(jié)反序列化為字符串的問題。 PR 地址:https://github.com/apache/pulsar/pull/8140
活動(dòng)和新聞
-
[TGIP] 每周直播:Pulsar 及其生態(tài)系統(tǒng)
- 點(diǎn)擊此處,獲取以往視頻鏈接
-
[TGIP-CN] 每周直播:Pulsar 及其生態(tài)系統(tǒng)
- 點(diǎn)擊此處,獲取以往視頻鏈接
[教學(xué)視頻] Broker Routing by Jesse Anderson - 視頻鏈接
活動(dòng)預(yù)告
- Pulsar 2020 亞洲峰會(huì)演講征集延期到10月21日,部分嘉賓仍在精心準(zhǔn)備,希望大家盡快提交喲!
官網(wǎng)地址: https://pulsar-summit.org/en/event/asia-2020
演講提交: 點(diǎn)擊此處
報(bào)名觀看: 點(diǎn)擊此處
-
10 月 27 日:線上研討會(huì) Low-Latency Stream Processing with Jet
主講人:Can Gencer,Director of Engineering at Hazelcast
點(diǎn)擊此處,報(bào)名活動(dòng)
-
10 月 21 日:FlinkForward:“Flink + Pulsar: The Path To Unified Batch and Streaming”
主講人:Addison Higham,StreamNative 高級(jí)工程師
點(diǎn)擊此處,報(bào)名活動(dòng)
推薦閱讀
-
博客:Building An Event-Driven Orchestration Engine
作者:Gilles Barbier
博客鏈接: https://medium.com/@gillesbarbier/building-an-event-driven-orchestration-engine-bf62d45aef5d
-
博客:Pulsar Function Deep Dive
作者:Sanjeev Kulkarni
博客鏈接: https://streamnative.io/blog/tech/2020-10-06-pulsar-functions-deep-dive
作為全球性開源項(xiàng)目,截至 2020 年 10 月 09 日,Apache Pulsar 已擁有超出 300 名貢獻(xiàn)者、6.6K+ Star 、1.6K+ Fork 。正是由于分布在全球各地的社區(qū)開發(fā)者的貢獻(xiàn),才使得 Apache Pulsar 項(xiàng)目不斷發(fā)展與前進(jìn)。
讓我們期待下一周的 Apache Pulsar 周報(bào)!
如果你也想為 Apache Pulsar 項(xiàng)目出一份力、成為我們的 Contributor,參考下面鏈接,來加入我們吧: