Inverse Scaling Prize數(shù)據(jù)發(fā)布完整指南5分鐘上手11個獲獎數(shù)據(jù)集快速復(fù)現(xiàn)大模型逆擴展曲線【免費下載鏈接】prizeA prize for finding tasks that cause large language models to show inverse scaling項目地址: https://gitcode.com/gh_mirrors/pr/prizeInverse Scaling Prize逆擴展獎官方數(shù)據(jù)發(fā)布包收錄了全部 11 個獲獎數(shù)據(jù)集專門用于研究大模型越大、表現(xiàn)反而越差的逆擴展Inverse Scaling現(xiàn)象。本文帶你 5 分鐘上手數(shù)據(jù)格式、字段說明與圖表結(jié)構(gòu)快速復(fù)現(xiàn)大模型逆擴展曲線適合剛接觸 LLM 評測的讀者。一、什么是逆擴展30 秒理解越大越差 按擴展定律Scaling Laws語言模型參數(shù)越多、訓(xùn)練算力越大基準測試表現(xiàn)通常越好。但 Inverse Scaling Prize 發(fā)現(xiàn)了一類反例任務(wù)模型越強錯誤反而越多。該賽事由 AI 安全研究機構(gòu)于 2022 年發(fā)起總獎池 25 萬美元目標是找到重要且可復(fù)現(xiàn)的逆擴展任務(wù)。經(jīng)過兩輪評審官方在 2023 年 3 月一次性發(fā)布了全部 11 個獲獎數(shù)據(jù)集。下面的圖是典型的逆擴展曲線橫軸為模型算力FLOPs縱軸為負對數(shù)損失?？梢钥吹?Gopher、OPT 等模型系列越大的版本在 Memo Trap 任務(wù)上損失越高表現(xiàn)越差二、5 分鐘上手獲取 11 個獲獎數(shù)據(jù)集 1. 克隆倉庫獲取數(shù)據(jù)發(fā)布包所有數(shù)據(jù)位于data-release/isp-data-release.zip克隆倉庫即可拿到git clone https://gitcode.com/gh_mirrors/pr/prize2. 解壓并查看數(shù)據(jù)unzip />少樣本條件下許多任務(wù)的逆擴展依然存在。下圖是 Gopher 系列在 Into the Unknown 數(shù)據(jù)集上的表現(xiàn)五、使用數(shù)據(jù)前必讀的注意事項 ??Canary 字符串數(shù)據(jù)中嵌入了 BIG-Bench 風格的 canary GUID聲明基準數(shù)據(jù)不應(yīng)出現(xiàn)在訓(xùn)練語料中請勿將其用于模型預(yù)訓(xùn)練許可證全部數(shù)據(jù)采用 CC-BY 4.0 許可Modus Tollens 勘誤數(shù)據(jù)發(fā)布后發(fā)現(xiàn)有少于 10% 的樣例存在語法錯誤官方仍保留這些樣例如需過濾受影響的樣例下標已列在data-release/modus-tollens_affected_indices.txt數(shù)據(jù)清理resisting-correction有意略去 part 1memo-trap僅保留 part 1 與 3完整變更記錄見data-release/README.md六、常見問題 FAQ Q復(fù)現(xiàn)曲線需要花錢調(diào) API 嗎A不需要。官方曲線已完整收錄在plots/目錄若要自己在開源模型如 OPT上重跑使用 Hugging Face 上的開源權(quán)重即可零成本。Qpart和round字段有什么用Apart區(qū)分數(shù)據(jù)集內(nèi)部的不同子集如sig-figs有 21 個部分round標明數(shù)據(jù)提交自哪一輪兩輪之間更新過的任務(wù)resisting-correction、redefine只保留了第二輪版本。Q數(shù)據(jù)量有多大夠跑實驗嗎A11 個數(shù)據(jù)集共約 22 MB單文件從幾百條如neqa到上萬條不等全部滿足賽事至少 300 條的最低門檻多數(shù)在千條量級足以觀察到清晰的縮放趨勢。總結(jié)Inverse Scaling Prize 數(shù)據(jù)發(fā)布包是目前研究大模型逆擴展現(xiàn)象最權(quán)威的公開資源——11 個獲獎數(shù)據(jù)集 三類官方評測曲線開箱即用?？寺}庫、解壓data-release/isp-data-release.zip即可在 5 分鐘內(nèi)開始你的復(fù)現(xiàn)實驗?！久赓M下載鏈接】prizeA prize for finding tasks that cause large language models to show inverse scaling項目地址: https://gitcode.com/gh_mirrors/pr/prize創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考