Brown Univ. study warns of AI challenges in radiology, stressing incorrect feedback's impact on interpretations and need for caution.
//

Apa konsekuensi dari umpan balik AI yang salah terhadap radiologi?

Studi dari Universitas Brown memperingatkan tantangan AI dalam radiologi, menekankan dampak umpan balik yang salah terhadap interpretasi dan perlunya kehati-hatian.

Kecerdasan buatan (AI) sangat bermanfaat untuk pengenalan pola. Karena alasan ini, penggunaan AI telah meluas di bidang radiologi diagnostik. Program AI dapat dilatih untuk mendeteksi kanker payudara, patah tulang rusuk, gumpalan darah di paru-paru dan otak, serta sejumlah lesi lainnya. Para ahli radiologi semakin mengandalkan AI untuk membantu diagnosis ini. Seiring dengan perkembangan teknologi, tren ini akan terus berlanjut.

Namun, ada dua peringatan penting yang perlu dipertimbangkan. Pertama, meskipun AI adalah alat yang sangat hebat, AI tidaklah sempurna. Sistem AI dapat mendeteksi kelainan yang sebenarnya tidak ada (positif palsu, FP) dan terkadang dapat mengabaikan kelainan yang ada (negatif palsu, FN).

Kedua, kita masih jauh dari tahap di mana kita dapat membiarkan sistem AI untuk menginterpretasikan mammogram semata-mata tanpa pengawasan ahli radiologi yang telah menjalani pelatihan selama bertahun-tahun untuk mengidentifikasi dan mendiagnosis berbagai penyakit yang sering kali tidak kentara dan tersembunyi dibalik tampilan sinar-X. Pada intinya, diskusi tentang AI dalam radiologi secara efektif adalah tentang interaksi antara AI dan ahli radiologi, yaitu interaksi AI-ahli radiologi. Oleh karena itu, AI harus dipandang sebagai alat pendukung bagi ahli radiologi.

Tim kami di Laboratorium Faktor Manusia Radiologi Brown Radiologi telah mengeksplorasi bagaimana AI dan ahli radiologi bersama-sama menginterpretasikan gambar, atau dengan kata lain, bagaimana AI mempengaruhi interpretasi ahli radiologi. Dalam penelitian terbaru, kami bertujuan untuk menjawab dua pertanyaan utama: 1) Jika AI membuat kesalahan, apakah hal itu akan menyesatkan ahli radiologi? 2) Jika AI yang keliru mengganggu kinerja ahli radiologi, adakah cara untuk mengatasi dampak ini?

Studi dari Universitas Brown memperingatkan tantangan AI dalam radiologi, menekankan dampak umpan balik yang salah terhadap interpretasi dan perlunya kehati-hatian.
Kredit. Midjourney

Penelitian

Untuk menguji hal ini secara empiris, kami meminta para ahli radiologi untuk menginterpretasikan 90 radiografi dada yang sama pada empat kesempatan dengan selang waktu satu bulan. Separuh dari waktu tersebut, terdapat kanker paru-paru. Dalam satu kondisi, ahli radiologi tidak memiliki AI untuk membantu mereka. Pada empat kondisi lainnya, ahli radiologi menginterpretasikan kasus dengan bantuan sistem AI yang menyatakan bahwa sebuah gambar "tidak normal" atau "normal". Para ahli radiologi mengira bahwa tujuan penelitian ini adalah untuk membandingkan keempat sistem AI yang berbeda, tetapi pada kenyataannya, tujuannya adalah untuk memeriksa bagaimana para ahli radiologi merespons umpan balik yang diberikan oleh AI.

Dalam satu kondisi, para ahli radiologi diberitahu bahwa umpan balik AI akan dihapus dari berkas pasien. Dalam kondisi lain, ahli radiologi diberitahu bahwa umpan balik AI akan disimpan dalam berkas pasien. Pada kondisi terakhir, ahli radiologi juga diberitahu bahwa umpan balik AI akan disimpan, tetapi sebuah kotak ditempatkan di sekitar dugaan patologi.

Tanpa sepengetahuan para ahli radiologi, mereka sebenarnya menggunakan sistem AI yang sama di semua skenario. Alasan di balik hal ini sangat jelas: Untuk memastikan apakah perubahan yang kami lakukan dalam penyajian umpan balik mempengaruhi kinerja para radiolog, umpan balik AI harus tetap konsisten.

Seperti yang disebutkan sebelumnya, tujuan penelitian ini adalah untuk menguji bagaimana ahli radiologi bereaksi terhadap umpan balik AI yang tidak akurat. Oleh karena itu, kami memusatkan analisis kami pada 12 (dari 90) kejadian di mana AI membuat kesalahan. Pada 8 kasus, AI mengindikasikan adanya kelainan paru-paru ketika paru-paru sebenarnya normal (FP), sedangkan pada 4 kasus, AI gagal mendeteksi kelainan paru-paru yang sebenarnya (FN).

Pertanyaan penelitian 1: Apakah AI yang salah akan menyesatkan ahli radiologi?

Jawaban untuk pertanyaan ini adalah "ya". Dalam empat kasus di mana AI menghasilkan Negatif Palsu (FN), para ahli radiologi jarang mengabaikan kelainan apapun ketika melakukan interpretasi tanpa bantuan AI. Namun, ketika mereka menggunakan AI dan gagal mengidentifikasi kelainan, ahli radiologi juga sering melewatkannya. Demikian juga, dalam 8 kasus di mana AI menghasilkan Positif Palsu (FP), umpan balik AI meningkatkan tingkat Positif Palsu pada ahli radiologi dibandingkan ketika tidak ada umpan balik AI yang diberikan.

Pertanyaan Penelitian 2: Dapatkah kita mengurangi dampak dari AI yang salah?

Jawaban untuk pertanyaan ini juga jelas "ya". Tingkat Positif Palsu berkurang ketika ahli radiologi percaya bahwa umpan balik AI (yang salah) akan dihapus dari catatan pasien dibandingkan dengan ketika mereka mengira umpan balik tersebut akan disimpan. Selain itu, tingkat Negatif Palsu berkurang ketika sebuah kotak ditambahkan di sekitar dugaan patologi dibandingkan dengan skenario tanpa penyorotan tersebut.

Apa yang harus kita lakukan dari temuan ini?

Ahli radiologi, seperti halnya orang lain, rentan terhadap pengaruh dan bias. Kerentanan seorang ahli radiologi terhadap AI yang tidak akurat bukanlah hal yang tidak terduga, tetapi hal ini menggarisbawahi perlunya kehati-hatian saat mengintegrasikan AI ke dalam radiologi. Ahli radiologi harus merasa diberdayakan untuk tidak setuju dengan AI, karena AI bisa saja membuat kesalahan.

Yang menggembirakan, penelitian kami menunjukkan bahwa ada beberapa metode yang dapat meningkatkan kemungkinan ahli radiologi untuk menantang kesimpulan AI secara akurat. Pertama, ketika AI mengidentifikasi patologi, harus ada indikasi yang jelas mengenai dugaan lokasinya. 

Kedua, jika ada catatan seorang ahli radiologi yang bertentangan dengan AI, kemungkinan mereka untuk melakukan hal tersebut akan berkurang. Kita perlu mempertimbangkan apakah kita harus menyimpan hasil AI atau apakah AI secara eksklusif harus menjadi alat yang dapat diakses oleh ahli radiologi. Hal ini menghadirkan dilema yang nyata. Meskipun bidang medis memang condong ke arah peningkatan transparansi bagi pasien, kita harus menyadari bahwa keterbukaan seperti itu, terutama di bidang AI dalam radiologi, mungkin akan membawa dampak.

Dalam waktu dekat, AI akan menjadi bagian integral dari hampir semua praktik radiologi. Tanggung jawab penting psikolog eksperimental adalah untuk mengevaluasi berbagai pendekatan tentang bagaimana AI diterapkan. Meskipun hal ini mungkin tampak sebagai masalah teoretis, mengingat banyaknya pencitraan radiologi yang dapat ditafsirkan oleh AI, bagi sebagian orang, dampaknya dapat mengubah kehidupan.

🔬🧫🧪🔍🤓👩‍🔬🦠🔭📚

Referensi jurnal

Bernstein, M. H., Atalay, M. K., Dibble, E. H., Maxwell, A. W., Karam, A. R., Agarwal, S., … & Baird, G. L. (2023). Can incorrect artificial intelligence (AI) results impact radiologists, and if so, what can we do about it? A multi-reader pilot study of lung cancer detection with chest radiography. European Radiology, 1-7. https://doi.org/10.1007/s00330-023-09747-1

Michael H. Bernstein, Ph.D., adalah asisten profesor pencitraan diagnostik di Sekolah Kedokteran Warren Alpert, Universitas Brown dan seorang ilmuwan peneliti di Rumah Sakit Rhode Island. Dia adalah direktur Laboratorium Ekspektasi Medis dan editor dari buku yang akan terbit "Efek Nocebo: Ketika Kata-kata Membuat Anda Sakit."

Dr. Atalay adalah seorang ahli radiologi di Pencitraan Medis Rhode Island dan Profesor Pencitraan Diagnostik dan Kedokteran (Kardiologi) di Universitas Brown yang berspesialisasi dalam pencitraan penampang serta MRI dan CT jantung. Beliau meraih gelar MD dan PhD di bidang teknik biomedis dari Sekolah Kedokteran Johns Hopkins di mana beliau juga menyelesaikan pelatihan radiologi. Di Universitas Brown, beliau menjabat sebagai Wakil Ketua Penelitian Pencitraan, Direktur MRI dan CT Jantung, dan Direktur Medis Laboratorium Faktor Manusia Radiologi Brown.

Grayson Baird, PhD, PSTAT®, adalah seorang Profesor di bidang Pencitraan Diagnostik. Selain menawarkan panduan desain dan statistik, Dr. Baird juga menjabat sebagai direktur di Laboratorium Faktor Manusia Radiologi Brown. Beliau adalah seorang ilmuwan peneliti senior di Lifespan Biostatistics Core di Rumah Sakit Rhode Island.