【那些 AI 沒告訴你的事】系列之二
ChatGPT 是不是已經成為你生活中不可或缺的一部份了呢？如果你使用的是 Bing 或 ChatGPT 付費版本，還可以從網路取得資訊，讓答案更即時；但是這類 AI 語言模型，最為人垢病的就是資料的正確性 –– 看起來言之鑿鑿的答案，驗證之後卻錯誤百出。這樣的工具，要怎麼才能應用在做研究上呢？
答：當我們想在學術搜尋和文本生成領域應用 AI 工具時，需要考慮許多因素。
如 ChatGPT 這樣的大型語言模型，雖然在理解語言和生成有意義的文本方面表現令人驚嘆，但卻不能直接用於學術搜尋和文本生成
原因如下：
- 其訓練資料通常來自各種來源，並不特定於學術內容，因此可能在處理專業和深度學術內容時難以達到理想效果。
- 生成文本時，並不會進行原始資料的查找或驗證，這在學術環境中可能導致資訊的不準確。
- 這些模型的知識截止日期是固定的，意味著可能存在資料遺漏和資訊過時。
要應用 AI 工具在學術搜尋和文本生成，有些特定條件和注意事項需要考慮。首先，工具必須有足夠的學術數據供訓練，這樣才能確保其理解和生成的內容具有學術深度。其次，AI 工具需要配備檢索和驗證功能，以確保所提供的內容是準確和可靠的。最後，由於學術研究需要追蹤最新的研究趨勢，AI 工具必須能夠處理新的學術內容。
目前市場上已有數個針對學術文獻所開發的 AI 工具，能夠執行研究文獻搜尋、內容分析、文本生成等任務。來源多來自於學術資料庫，並提供問答模式，由使用者以 free-text 提出問題，由工具提供生成的簡短答案，並列出相關文獻。相關工具包含 scite.ai、elicit.org、consensus.app、perplexity AI 等。
以 scite.ai 為例，可詢問的問題類型包含：
| 範例 | 應用場景 | |
| 事實性問題 | How does the structure of a protein affect its function? |
|
| 文本生成型問題 | Write an essay on how video games influence spatial reasoning | 需要輸出為特定文件格式類型時 |
| 任務型問題 | find a source for the following sentence: | 執行特定任務如查找參考資料、尋找科學證據等 |
scite.ai 的資料來源是 2 億篇來自學術出版社的全文內容，參考資料來源是實際已經出版的、經過同儕評論的內容，較一般 AI 工具更能使用於學術搜尋和文本生成上。
無論使用何種 AI 學術工具，建議使用者以審慎的眼光，運用以下問題評估所生成內容的可靠性與可用性：
- 內容是否正確？
- 是否可能含有偏見？
- 是否有參考文獻佐證？
- 參考文獻是否實際存在？
- 參考文獻品質是否可靠？
- 該工具所被訓練的內容或所涵蓋資料來源為何？
必須注意的是，由於使用者仍需負起使用該內容最終的責任，因此建議使用者將其視為輔助工具，而不要完全依賴 AI 工具。
【另一篇關於 Writefull 與 ChatGPT 的比較文章，請點此前往觀看。】