热re99久久精品国产99热-热re99久久精品国99热-热re99久久国产精品-热re91久久精品国产91热-热er99久久6国产精品免费-热99这里只有精品

您當前的位置 :環球傳媒網>資訊 > 正文
大語言模型中的涌現現象是不是偽科學? 環球熱議
2023-04-21 02:11:59 來源:程序員客棧 編輯:

Datawhale干貨

作者:平凡@知乎,諾桑比亞大學,在讀博士

今天晚上,花了一點兒時間看了兩篇文章:


(資料圖片)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior,即涌現現象。

大規模神經網絡下的涌現現象

在機器學習中使用大規模神經網絡時,由于增加了參數數量、訓練數據或訓練步驟等因素,出現了定性上的新能力和性質,這些能力和性質在小規模神經網絡中往往是不存在的。

第一篇文章舉了這個例子,每個圖都可以理解為一個任務,橫軸是神經網絡的規模,而縱軸是準確率,可以理解為模型的性能。

我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務上都表現出類似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:

作者發現,當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時,網絡在某個時間突然獲得了 100% 準確率。分析發現,神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法!這個算法可以證明是正確的, 反人類直覺的。

從這倆例子里面我的感受是,只要數據量足夠且真實,且模型沒有硬錯誤的前提下,不斷的訓練說不定真的能夠產生一些意想不到的效果。

還有就是我覺得人類現在積累的知識并不少,但是系統的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話,我覺得有很大概率會讓它涌現出意想不到的能力。

甚至可能把人類的生產力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

關鍵詞:

相關閱讀
分享到:
版權和免責申明

凡注有"環球傳媒網"或電頭為"環球傳媒網"的稿件,均為環球傳媒網獨家版權所有,未經許可不得轉載或鏡像;授權轉載必須注明來源為"環球傳媒網",并保留"環球傳媒網"的電頭。

Copyright ? 1999-2017 cqtimes.cn All Rights Reserved 環球傳媒網-重新發現生活版權所有 聯系郵箱:8553 591@qq.com
主站蜘蛛池模板: 啊皇上你好大要知画 | 亚洲天堂精品视频 | 午夜精品免费 | 国产自一区 | 日韩爱爱| 亚洲人成网站在线观看妞妞网 | 国偷盗摄自产福利一区在线 | 国产精品视频一区二区三区不卡 | 白丝h视频 | 青青青草国产线观 | 日韩 国产 欧美 精品 在线 | 四虎地址8848aa4hc44四虎 四虎成人永久地址 | 被强上后我成瘾了小说 | 青草色视频 | 白丝萝莉h | 欧美日韩高清观看一区二区 | 太粗 好紧 使劲舒服 | 国产综合成色在线视频 | 91免费高清视频 | 秋霞理论在一l级毛片 | 亚洲国产在线视频精品 | 精品日韩欧美一区二区三区在线播放 | 国产ay | 91久久国产露脸精品 | 高清在线观看mv的网址免费 | 操老肥熟 | 四虎最新紧急更新地址 | 双子母性本能在线 | 美女扒开腿让男人桶爽免费gif | 精品久久香蕉国产线看观看亚洲 | 末代皇帝无删减版在线观看 | 欧美日韩国产一区二区三区伦 | 美女撒尿毛片免费看 | 777奇米影视一区二区三区 | 国产欧美日韩在线不卡第一页 | 秋霞717理论片在线观看 | 手机在线免费观看视频 | 精品亚洲国产一区二区 | 春意影院午夜爽爽爽免费 | 国产99久久九九精品免费 | 欧美1区|