[實證] 會幫忙評ROB的神奇網站 RobotReviewer

大概是半年前在微信某個群看到有人分享RobotReviewer這個網站，當時以為是某個厲害的中國人利用AI做出的網頁， 看起來很炫，把蒐集到的pdf檔案丟進去就幫你評估ROB，竟然可以把耗費大量時間精神人力的這件事用一兩分鐘就完成，這是什麼神奇的魔法！ 

神奇的黑魔法?!

不過也有點擔憂自己搜集好的內容，會不會在幫忙你的同時也知道你未來可能發表的主題，搶先一步做好數據萃取，甚至發表論文，這就不是神奇而是黑魔法了！所以當下不以為意，想說有些事還是自己做比較保險。

這次在台灣實證醫學學會舉辦的 SR&MA workshop，聽到講師鄺心穎博士再次提到這網站，決定好好瞭解一下

其實操作步驟很簡單

1. 先將下載好的pdf放在同一個資料夾，然後丟入中間的欄位，稍等1-2分鐘

2. 它會節錄pdf檔案的文字摘要跟風險評估

3. 之後還會給你每篇研究的相關摘要

個人的使用經驗認為使用這工具能快速整理PICO的重點，對於後續資料的萃取更方便，但是在risk of bias的部分相對來說比較不實用，有時候甚至被判斷為non-RCT文章，就不會有評讀的結果。

人工智慧與工人智慧的比較 

原來製作這網站的團隊在2017年前已經發表相關論文，它是透過機器學習與自然語言，自動生成一份報告，他們的目標是讓RobotReviewer自動提取結構化的數據來提供訊息。它是一個開放源代碼系統，作者將code都放在GitHub上面了，它用NLP模型進行系統評價的數據提取，相對於傳統的2-3個工人智慧評估出來的，它具有時間上的絕對優勢。

在論文後面討論也提到，在評估風險偏倚方面，RobotReviewer與傳統的人工評價相比，具有競爭性，但準確度略遜一籌，因此建議將RobotReviewer當作省時的手動數據萃取初步工具，或者將傳統數據萃取流程中的兩人，其中之一替換為這樣的自動化流程，可以大量減少人力時間成本。

在另篇論文中有提到，這個RobotReviewer利用CDSR(Cochrane database of systematic review)的12808個pdf檔案去學習，它跟人類專家比較了兩個面向

1.   閱讀本文後擷取摘要：在內容相關性部分，實證專家56.5%相符，RobotReviewer 60.4%略勝，但是沒有顯著差異

2.   閱讀本文後評估風險偏差：在準確率的部分，RobotReviewer 71%略輸於實證專家評估的78.3%，兩者差異<10%

未來的可能應用

目前很多臨床問題都沒有系統性評論，或者大多數評論發表後，過沒幾年就資訊落後了，另外對於某些沒時間細讀所有論文的醫療人員來說，這樣的快速方式說不定有適合發揮的地方。

在論文最後有提到RobotReviewer得到美國國立衛生研究院（NIH）國家醫學圖書館（NLM）的支持，但內容責任僅由作者承擔，不代表美國國立衛生研究院的正式觀點。

Cochrane除了與RobotReviewer合作，甚至連Cochrane SR都收錄使用RobotReviewer的Hodgkin's lymphoma相關論文了！

我相信工人智慧總有一天會變成人工智慧，如果再不跟上時代，連當工人的資格都快要沒有了XD

p.s 以上言論僅代表個人立場，對網路資安不熟所以無法保證100%安全，而且他的ROB評估格式跟Revman目前的圖示不同，但個人也認為連Cochrane都合作的RobotReviewer應該是個可以好好使用的網站

p.s 2 如果以上看法有誤，歡迎大家指正