Dalam sebuah penelitian dari Google yang dipublikasikan pada Mei, menunjukkan bahwa Med-PaLM 2 masih memiliki beberapa masalah akurasi. Dalam penelitian tersebut, dokter menemukan lebih banyak ketidakakuratan dan informasi tidak relevan dari jawaban yang diberikan Google Med-PaLM dan Med-PaLM 2 dibandingkan jawaban dari dokter lain.
Namun dalam aspek kemampuan lain seperti menunjukkan bukti dari penalaran, jawaban yang didukung konsesus, dan tidak memberikan pemahaman yang keliru, performa Med-PaLM 2 tidak jauh berbeda dengan dokter manusia.
Perihal keamanan privasi, data pengguna yang disimpan oleh Med-PaLM 2 akan dienkripsi dan Google tidak memiliki akses terhadap data tersebut.
(Martin Bagya Kertiyasa)