美國賓州大學行銷學副教授梅魯瑪德(Shiri Melumad)在The Conversation網站撰文說,自從ChatGPT在2022年問世以來,已有數百萬人開始使用大型語言模型(large language model,LLM)來獲取知識。使用者只要提出問題,就能獲得精煉的綜合答案,接著繼續學習,這個過程看似毫不費力。
然而,梅魯瑪德在她參與寫作的一篇研究報告中指出,這種便利性可能會付出代價——當人們依賴LLM來總結某個主題的訊息時,與經由標準的谷歌搜尋學習相比,他們對該主題的了解往往會比較淺薄。
這篇報告係以針對超過一萬名參與者所進行的七項研究作為基礎。其中大多數研究都採用相同的範式,亦即要求參與者學習某個主題(例如如何種植菜園),並隨機指派他們使用ChatGPT等LLM,或使用谷歌搜尋引擎所取得的網頁連結來完成學習。
他們使用這些工具的方式沒有任何限制。他們可以隨意在谷歌搜尋引擎上搜尋,也可以繼續向ChatGPT求助。在完成研究後,他們被要求依據所學到的知識,就該主題為朋友寫一些建議。
研究結果顯示,通過LLM而非網路搜尋來了解某個主題的人,感覺自己學到的東西比較少,之後撰寫建議時投入的精力也比較少,最終寫出的建議比較短、比較籠統、也比較缺乏事實性。
當這些建議提供給一組獨立的讀者時(這些讀者並不知道作者使用哪種工具來了解該主題),他們發現這些建議的訊息量比較少、比較沒有幫助,而且比較不願意採用。
梅魯瑪德表示,他們發現這些差異在各種情況下都十分顯著。他們認為,LLM使用者撰寫的建議比較短和比較籠統的一個可能原因是,LLM的搜尋結果向使用者展示的訊息,不如谷歌搜尋結果那麼豐富多樣。
這些「阻力」其實是「助力」
你可能會問,為什麼使用LLM似乎會降低學習效果?
梅魯瑪德說:
技能發展最基本的原則之一是——人們在積極整理學習材料時,學習效果最佳。
當我們藉由谷歌搜尋了解某個主題時,我們會面臨比較多的「阻力」。比如說,我們必須瀏覽不同的網頁,閱讀訊息來源,並自行解讀和整合。
雖然這種「阻力」比較具有挑戰性,但它有助於我們對當前主題形成更深刻、更獨特的認知。如果我們使用LLM,所有這些過程都由系統自動完成,我們的學習也從主動轉變為被動,學習效果自然就變差了。
梅魯瑪德澄清說,他們並不認為解決這些問題的方法是避免使用LLM。他們想表達的是:
人們需要更明智、更具策略性的使用LLM——首先要從了解LLM在哪些領域對目標有利,在哪些領域有害開始。
她建議:
- 如果你想迅速獲得某些問題的答案,你可以詢問你最喜歡的AI助理。
- 如果你的目標是在某個領域學習深入且可推廣的知識,僅僅依賴LLM的綜合結果則收效甚微。
至於人們能否讓LLM學習變得比較主動?梅魯瑪德說,他們在另一項實驗中使用專門的AI模型來驗證這一點。該模型會在產生答案的同時,提供即時的網頁連結。
但他們發現,一旦參與者收到LLM摘要,他們就沒有動力去深入挖掘原始資料。結果,與使用谷歌搜尋的參與者相比,這些參與者的知識仍然較淺。
有鑑於此,梅魯瑪德說,她計畫在未來的研究中,探討生成式AI工具如何為學習任務設定合理的「阻力」,進而有效的激勵使用者主動學習,而不要只是提供合成的答案。◇


loading...

