頭條
世界上最大的開源模型
Near Protocol 宣布計劃創(chuàng)建一個擁有 1.4 萬億參數(shù)的龐大開源 AI 模型。它旨在超越 Meta 的 Llama 等現(xiàn)有模型。
Modal 收購 Tidbyt
https://modal.com/blog/tidbyt-is-joining-modal
這是彈性擴展 GPU 公司首次收購。Modal 收購了位于紐約的硬件公司 Tidbyt，以吸引該團隊在基礎設施和容器化方面的內(nèi)部人才。
OpenAI 面臨 AI 改進放緩
據(jù)報道，OpenAI 的下一個主要模型代號為“Orion”，與之前的模型相比改進較少，這表明 AI 進步放緩。為了解決這個問題，OpenAI 成立了一個基礎團隊，專注于使用替代方法（例如合成數(shù)據(jù)訓練和訓練后調(diào)整）來增強模型，因為新數(shù)據(jù)的可用性已經(jīng)減少。
研究
Frontier Math Benchmark
Epoch AI 發(fā)布了一項新的具有挑戰(zhàn)性的數(shù)學基準。大多數(shù)前沿模型無法解決超過 2% 的問題。
BitNet a4.8：1 位 LLM 的 4 位激活
https://arxiv.org/abs/2411.04965
1.58 位 LLM 面臨的一個關鍵挑戰(zhàn)是缺乏硬件加速支持。這項工作提出了 4.8 位激活，以利用新硬件中的 INT4/FP4 內(nèi)核。它沒有運行時成本。
使用 LLM 增強 CLIP
https://microsoft.github.io/LLM2CLIP/
LLM2CLIP 將 CLIP 的視覺和文本對齊與 LLM 的高級語言理解相結(jié)合。
工程
Torch 兼容 Muon 優(yōu)化器
https://github.com/KellerJordan/Muon
Muon 是用于 GPT-2 訓練記錄的優(yōu)化器。它是一種動量適應的 SGD 樣式方法。此存儲庫包含一個可以放入 AdamW 的實現(xiàn)。
具有優(yōu)化推理的 Mochi 視頻模型
https://github.com/xdit-project/mochi-xdit
Mochi 是最好的開源文本轉(zhuǎn)視頻模型。在發(fā)布時，它需要 8 個 H100 才能運行?，F(xiàn)在，感謝社區(qū)，它可以在單個 48GB L40 上運行，不會損失質(zhì)量。
可訓練的 AlphaFold3 PyTorch 復刻版
https://github.com/bytedance/Protenix
Protenix 是 DeepMind 蛋白質(zhì)折疊項目 AlphaFold3 的可運行、可訓練復刻版。它由字節(jié)跳動的“AI for Science”團隊編寫。
雜七雜八
LlamaPReview
https://github.com/marketplace/llamapreview
LlamaPReview 是 GitHub 的 AI 助手，提供一鍵安裝和自動審查拉取請求的功能，并具有上下文感知分析功能。它支持多種編程語言，并與 GitHub Actions 集成，可直接在 PR 上提供有見地的反饋。它目前免費提供，通過識別問題和建議優(yōu)化來提高代碼質(zhì)量。
SmolLM2
https://simonwillison.net/2024/Nov/2/smollm2/
Hugging Face 的 SmolLM2 是一個緊湊的語言模型系列，其參數(shù)大小從 135M 到 1.7B 不等，在 11 萬億個 token 上進行訓練。這些模型可在設備上高效運行并支持各種任務，權重可在 Apache 2 許可下使用。量化模型（如 1.7GB 和 138MB 版本）為不同的計算需求提供了不同的靈活性。
嵌入被低估了
https://technicalwriting.dev/data/embeddings.html
機器學習嵌入可以通過對任意文本進行數(shù)學比較來改變技術寫作，從而改進具有語義相似性的推薦系統(tǒng)等功能。它們將文本置于多維空間中，提供直觀的語義關系，這對于識別相關內(nèi)容等任務很有用。為其內(nèi)容提供嵌入的文檔站點所有者可以從他們的社區(qū)中培養(yǎng)創(chuàng)新應用程序。
三星推出人工智能“下一代 Bixby”，但目前還不能使用
https://9to5google.com/2024/11/06/samsung-next-generation-bixby-china/
三星在中國的 Galaxy W25 和 W25 Flip 上推出了具有增強人工智能功能的“下一代 Bixby”。
現(xiàn)在就連微軟記事本也開始使用人工智能文本編輯
https://www.theverge.com/2024/11/6/24289707/microsoft-notepad-ai-text-editing-rewrite
微軟正在將人工智能文本編輯功能集成到記事本中，使用戶能夠通過一項名為“重寫”的功能重新措辭、調(diào)整語氣和修改文本長度。
用于實時聚變等離子體行為預測和操控的人工智能
https://control.princeton.edu/machine-learning-for-rt-profile-control-in-tokamaks/
一種新的多模態(tài)機器學習方法增強了超分辨率數(shù)據(jù)，以便更好地分析復雜的聚變等離子體現(xiàn)象，例如邊緣局部模式 (ELM)，從而有助于穩(wěn)定未來的聚變反應堆。
