聊天机器人ChatGPT能力波动：质数识别准确率下降

聊天機器人ChatGPT能力波動：質數識別準確率下降

來源：中關村在線　2022-09-08 08:10:08

(資料圖片)

斯(si)坦福大學的(de)(de)(de)(de)(de)(de)(de)(de)一(yi)(yi)項新(xin)研(yan)(yan)究(jiu)(jiu)(jiu)發(fa)(fa)現(xian)(xian)，熱門生成式人(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)(neng)(neng)（AI）聊天機(ji)器人(ren)(ren)(ren)ChatGPT的(de)(de)(de)(de)(de)(de)(de)(de)能(neng)(neng)(neng)(neng)(neng)力(li)在(zai)(zai)(zai)(zai)幾個(ge)(ge)月(yue)內有所(suo)波動。研(yan)(yan)究(jiu)(jiu)(jiu)人(ren)(ren)(ren)員(yuan)(yuan)評估了(le)ChatGPT在(zai)(zai)(zai)(zai)幾個(ge)(ge)月(yue)內如何處(chu)理不(bu)(bu)(bu)同的(de)(de)(de)(de)(de)(de)(de)(de)任(ren)(ren)務(wu)，發(fa)(fa)現(xian)(xian)ChatGPT的(de)(de)(de)(de)(de)(de)(de)(de)能(neng)(neng)(neng)(neng)(neng)力(li)隨時(shi)間推(tui)移而出(chu)現(xian)(xian)不(bu)(bu)(bu)一(yi)(yi)致。目(mu)前，ChatGPT有兩個(ge)(ge)版本，免(mian)費(fei)的(de)(de)(de)(de)(de)(de)(de)(de)GPT-3.5模(mo)(mo)型和(he)更智能(neng)(neng)(neng)(neng)(neng)、更快速(su)的(de)(de)(de)(de)(de)(de)(de)(de)付費(fei)GPT-4版本。研(yan)(yan)究(jiu)(jiu)(jiu)人(ren)(ren)(ren)員(yuan)(yuan)發(fa)(fa)現(xian)(xian)，GPT-4在(zai)(zai)(zai)(zai)3月(yue)份能(neng)(neng)(neng)(neng)(neng)夠有效地解(jie)決(jue)數(shu)學問題，識別質(zhi)數(shu)的(de)(de)(de)(de)(de)(de)(de)(de)準確(que)(que)率為97.6%。但(dan)三(san)個(ge)(ge)月(yue)后(hou)，其(qi)準確(que)(que)率下降到(dao)(dao)了(le)2.4%。而另一(yi)(yi)方面，GPT-3.5卻變得更好(hao)，從7.4%的(de)(de)(de)(de)(de)(de)(de)(de)準確(que)(que)率提高(gao)到(dao)(dao)了(le)86.8%。研(yan)(yan)究(jiu)(jiu)(jiu)人(ren)(ren)(ren)員(yuan)(yuan)還(huan)注意(yi)到(dao)(dao)，在(zai)(zai)(zai)(zai)編寫代碼(ma)和(he)視覺推(tui)理方面也(ye)有類似的(de)(de)(de)(de)(de)(de)(de)(de)波動。斯(si)坦福大學計算機(ji)科(ke)學教授(shou)James Zou表(biao)示(shi)：“當我們調整一(yi)(yi)個(ge)(ge)大型語言(yan)模(mo)(mo)型來提高(gao)它在(zai)(zai)(zai)(zai)某些任(ren)(ren)務(wu)上(shang)的(de)(de)(de)(de)(de)(de)(de)(de)表(biao)現(xian)(xian)時(shi)，那(nei)可(ke)(ke)能(neng)(neng)(neng)(neng)(neng)會(hui)(hui)有很(hen)(hen)多意(yi)想不(bu)(bu)(bu)到(dao)(dao)的(de)(de)(de)(de)(de)(de)(de)(de)后(hou)果(guo)，可(ke)(ke)能(neng)(neng)(neng)(neng)(neng)會(hui)(hui)損害這(zhe)個(ge)(ge)模(mo)(mo)型在(zai)(zai)(zai)(zai)其(qi)他任(ren)(ren)務(wu)上(shang)的(de)(de)(de)(de)(de)(de)(de)(de)表(biao)現(xian)(xian)……這(zhe)個(ge)(ge)模(mo)(mo)型回答(da)問題的(de)(de)(de)(de)(de)(de)(de)(de)方式有各種各樣的(de)(de)(de)(de)(de)(de)(de)(de)相互依賴性(xing)，這(zhe)可(ke)(ke)能(neng)(neng)(neng)(neng)(neng)導(dao)致我們觀察到(dao)(dao)的(de)(de)(de)(de)(de)(de)(de)(de)一(yi)(yi)些惡化行(xing)為。”研(yan)(yan)究(jiu)(jiu)(jiu)人(ren)(ren)(ren)員(yuan)(yuan)認為，結果(guo)并(bing)不(bu)(bu)(bu)能(neng)(neng)(neng)(neng)(neng)真(zhen)正(zheng)(zheng)反映ChatGPT性(xing)能(neng)(neng)(neng)(neng)(neng)的(de)(de)(de)(de)(de)(de)(de)(de)準確(que)(que)性(xing)狀(zhuang)態(tai)，而是(shi)(shi)顯(xian)示(shi)了(le)微調模(mo)(mo)型帶來的(de)(de)(de)(de)(de)(de)(de)(de)意(yi)外后(hou)果(guo)。本質(zhi)上(shang)，當修改模(mo)(mo)型的(de)(de)(de)(de)(de)(de)(de)(de)一(yi)(yi)部(bu)分(fen)來改善(shan)一(yi)(yi)個(ge)(ge)任(ren)(ren)務(wu)時(shi)，其(qi)他任(ren)(ren)務(wu)可(ke)(ke)能(neng)(neng)(neng)(neng)(neng)會(hui)(hui)受到(dao)(dao)影響。為什么會(hui)(hui)這(zhe)樣很(hen)(hen)難(nan)確(que)(que)定，因(yin)為沒有人(ren)(ren)(ren)知道ChatGPT是(shi)(shi)如何運(yun)作的(de)(de)(de)(de)(de)(de)(de)(de)，而且它的(de)(de)(de)(de)(de)(de)(de)(de)代碼(ma)也(ye)不(bu)(bu)(bu)是(shi)(shi)開(kai)源的(de)(de)(de)(de)(de)(de)(de)(de)。隨著時(shi)間的(de)(de)(de)(de)(de)(de)(de)(de)推(tui)移，研(yan)(yan)究(jiu)(jiu)(jiu)人(ren)(ren)(ren)員(yuan)(yuan)注意(yi)到(dao)(dao)，ChatGPT的(de)(de)(de)(de)(de)(de)(de)(de)回答(da)不(bu)(bu)(bu)僅變得不(bu)(bu)(bu)太準確(que)(que)，而且還(huan)停(ting)止了(le)解(jie)釋(shi)其(qi)推(tui)理過程。由于ChatGPT的(de)(de)(de)(de)(de)(de)(de)(de)運(yun)作方式，要(yao)研(yan)(yan)究(jiu)(jiu)(jiu)和(he)衡量其(qi)表(biao)現(xian)(xian)可(ke)(ke)能(neng)(neng)(neng)(neng)(neng)很(hen)(hen)困難(nan)。這(zhe)項研(yan)(yan)究(jiu)(jiu)(jiu)強調了(le)觀察和(he)評估驅動ChatGPT等(deng)工(gong)具的(de)(de)(de)(de)(de)(de)(de)(de)大型語言(yan)模(mo)(mo)型（LLM）性(xing)能(neng)(neng)(neng)(neng)(neng)變化的(de)(de)(de)(de)(de)(de)(de)(de)必要(yao)性(xing)。該(gai)研(yan)(yan)究(jiu)(jiu)(jiu)已經在(zai)(zai)(zai)(zai)arXiv上(shang)發(fa)(fa)布，并(bing)正(zheng)(zheng)在(zai)(zai)(zai)(zai)等(deng)待同行(xing)評審。