頭條

AWS 與 Hugging Face 合作研發(fā)下一代 Bloom ， 目標(biāo)對(duì)手是ChatGPT

Bloom 是一種多語(yǔ)言模型，是 Huggingface 領(lǐng)導(dǎo)的協(xié)作成果。它是在法國(guó)超級(jí)計(jì)算機(jī)上訓(xùn)練的，并試圖復(fù)制 GPT-3 大小的模型。 AWS 宣布他們將與 Huggingface 合作，成為這些大型開(kāi)放模型的下一代首選計(jì)算提供商。

貝恩與 OpenAI 合作

可用于回答業(yè)務(wù)特定查詢的自定義模型。它結(jié)合了OpenAI行業(yè)領(lǐng)先的人工智能工具和平臺(tái)以及貝恩的戰(zhàn)略指導(dǎo)和數(shù)字化實(shí)施能力，幫助企業(yè)利用生成人工智能的力量實(shí)現(xiàn)業(yè)務(wù)轉(zhuǎn)型。

人工智能和 Instagram 問(wèn)題：不要讓閃亮的物體讓你懷疑你工作的價(jià)值

本文討論了 Instagram 等社交媒體平臺(tái)上令人印象深刻的 AI 項(xiàng)目的流行如何讓其他開(kāi)發(fā)人員對(duì)自己的工作感到不足。作者鼓勵(lì) AI 開(kāi)發(fā)者根據(jù)自己的標(biāo)準(zhǔn)來(lái)判斷他們的項(xiàng)目，不要被當(dāng)前的流行趨勢(shì)所左右。 AI 領(lǐng)域在不斷發(fā)展，新技術(shù)不斷涌現(xiàn)，保持學(xué)習(xí)和與時(shí)俱進(jìn)很重要。文章提醒開(kāi)發(fā)者，一項(xiàng)新的熱門技術(shù)的出現(xiàn)并不意味著他們當(dāng)前項(xiàng)目的價(jià)值有所降低。

研究

淺談大型語(yǔ)言模型

技術(shù)和哲學(xué)與大型語(yǔ)言模型 (LLM) 找到了有趣的交集。在提及這些系統(tǒng)時(shí)，我們經(jīng)常使用擬人化的詞，例如“知道”、“理解”或“相信”。本文提倡社區(qū)在談?wù)撨@些功能極其強(qiáng)大的系統(tǒng)時(shí)要小心，并使用更合適的語(yǔ)言（例如，編碼、存儲(chǔ)、包含）。

在文本中編碼圖像，無(wú)監(jiān)督的文本圖像對(duì)齊

本文介紹了 LQAE，它使用預(yù)訓(xùn)練的語(yǔ)言模型并將圖像編碼為文本標(biāo)記序列，然后他們訓(xùn)練具有 BERT 掩碼目標(biāo)的解碼器，學(xué)習(xí)用相似的文本標(biāo)記簇表示相似的圖像。他們訓(xùn)練解碼器從預(yù)測(cè)的文本標(biāo)記嵌入中重建原始圖像。這用于以無(wú)監(jiān)督的方式對(duì)齊兩種模式。一個(gè)有趣的副作用是能夠?qū)D像壓縮為文本（僅幾 kb）并通過(guò)單個(gè)前向傳遞重建有損版本。

Pix2pix3D：3D 感知條件圖像合成

這項(xiàng)工作提出了 pix2pix3D，這是一種用于可控逼真圖像合成的 3D 感知條件生成模型。給定一個(gè) 2D 標(biāo)簽圖，例如分割圖或邊緣圖，該模型學(xué)習(xí)從不同的視點(diǎn)合成相應(yīng)的圖像。為了實(shí)現(xiàn)顯式 3D 用戶控制，作者擴(kuò)展了具有神經(jīng)輻射場(chǎng)的條件生成模型。給定廣泛可用的單目圖像和標(biāo)簽圖對(duì)，該模型除了顏色和密度外，還學(xué)習(xí)為每個(gè) 3D 點(diǎn)分配標(biāo)簽，這使其能夠同時(shí)渲染圖像和像素對(duì)齊的標(biāo)簽圖。

工程

Engineering & Resources

將您的 DataFrame 變成用于可視化分析的 UI (GitHub Repo)

PyGWalker（發(fā)音為 Pig Walker）是一種用于對(duì)數(shù)據(jù)進(jìn)行探索性分析的圖形工具。它允許您快速檢查關(guān)系、相關(guān)性和分布。自述文件庫(kù)中提供了示例和屏幕截圖。

通用音頻合成模型(GitHub Repo)

一種用于生成高保真音頻的通用聲碼器，能夠根據(jù)特定功能進(jìn)行調(diào)節(jié)。這是同類中的第一個(gè)大規(guī)模 GAN 模型。提供模型、代碼和示例。

ControlNet：一種通過(guò)添加額外條件來(lái)控制擴(kuò)散模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(GitHub Repo)

研究人員引入了一種名為 ControlNet 的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它可以控制預(yù)訓(xùn)練的大型擴(kuò)散模型以支持額外的輸入條件。這種新方法允許以端到端的方式進(jìn)行特定于任務(wù)的學(xué)習(xí)，并且能夠使用小型訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)。訓(xùn)練與微調(diào)擴(kuò)散模型一樣快，可以在個(gè)人設(shè)備上完成，也可以使用強(qiáng)大的計(jì)算集群擴(kuò)展到大量數(shù)據(jù)。研究人員證明，ControlNets 可以為大型擴(kuò)散模型啟用條件輸入，例如邊緣圖、分割圖和關(guān)鍵點(diǎn)，這可以使各種相關(guān)應(yīng)用受益。

BioGPT (GitHub Repo)

這個(gè) GitHub 存儲(chǔ)庫(kù)包含 BioGPT 的實(shí)現(xiàn)，BioGPT 是一種用于生物醫(yī)學(xué)文本生成和挖掘的生成式預(yù)訓(xùn)練轉(zhuǎn)換器。它僅用一小部分參數(shù)就優(yōu)于 GPT-3。

雜七雜八

來(lái)自 Stanford MLSys group 的 Fast Attention 講座

關(guān)Transformer近期主要系統(tǒng)突破之一的精彩講座。 Flash Attention 已被幾乎所有主要的深度學(xué)習(xí)框架采用，并導(dǎo)致顯著的加速和改進(jìn)的上下文長(zhǎng)度。

滑鐵盧大學(xué)“數(shù)據(jù)科學(xué)優(yōu)化”課程上線

本課程“數(shù)據(jù)科學(xué)優(yōu)化”涵蓋了適用于數(shù)據(jù)科學(xué)的優(yōu)化基本原則和技術(shù)。

要理解語(yǔ)言模型，我們必須將“語(yǔ)言”與“思想”分開(kāi)

德克薩斯大學(xué)奧斯汀分校和麻省理工學(xué)院的研究人員撰寫了一篇論文，深入探討了圍繞大型語(yǔ)言模型 (LLM) 的困惑。他們認(rèn)為，要了解 LLM 的力量和局限性，我們必須區(qū)分形式語(yǔ)言能力和功能語(yǔ)言能力。他們強(qiáng)調(diào)了 LLM 的謬誤，并指出 LLM 擅長(zhǎng)語(yǔ)言，但在語(yǔ)言的功能方面仍有很多工作要做。他們認(rèn)為，避免這些謬誤可能有助于尋找方法來(lái)構(gòu)建能夠以類似人類的方式理解和使用語(yǔ)言的模型。

雜志因 AI 生成內(nèi)容激增而暫停投稿

科幻出版物 Clarkesworld Magazine 正在暫停提交短篇小說(shuō)，理由是人工智能生成的內(nèi)容大量涌入。

生成式 AI 為律師服務(wù)

人工智能越來(lái)越多地被用于法律行業(yè)，引發(fā)了一場(chǎng)關(guān)于其使用的辯論，因?yàn)橹С终叽蹬跛岣吡诵?，而反?duì)者則指出了它的準(zhǔn)確性問(wèn)題。

我們的社會(huì)還沒(méi)有為這種令人敬畏的人工智能做好準(zhǔn)備

本文論證了人工智能將成為社會(huì)進(jìn)步的關(guān)鍵驅(qū)動(dòng)力，但社會(huì)還沒(méi)有為此做好準(zhǔn)備。