Yapay zeka özelinde “en iyi” modeli belirlemek oldukça zor. Çünkü burada kıstas tutulacak kategorileri belirlemek zor. Modellerin eğitildikleri veri ve bu verinin yapısı, modelden elde edilen çıktıyı doğrudan belirliyor. Dolayısıyla bu araçları sıralamak için en iyi yol, onların verdiği çıktıların doğruluk oranına bakmak. Bu bağlamda Vectara, önde gelen çeşitli yapay zeka sohbet robotlarını ‘halüsinasyon görmeme’ konusundaki becerilerine göre sıralayan bir yapay zeka halüsinasyon tablosu yayınladı. En iyi yapay zeka modelleri
- GPT 4
- GPT 3.5
- Llama 2 70B
- Llama 2 7B
- Llama 2 13B
- Cohere-Chat
- Cohere
- Anthropic Calude 2
- Mistral 7B
- Google Palm
- Google Plam-Chat
Yapay zeka modellerinin tamamı “halüsinasyon” olarak ifade edilen bir olguyu yansıtma eğiliminde. Yani bu araçlar, boşlukları doldurmak için zaman zaman gerçekleri uydurabiliyor. Bu uydurma gerçekler o kadar zarifçe yapılıyor ki dikkatsiz bir zihin çok rahat bir şekilde kandırılabilir.
Piyasadaki modelleri bu bağlamda sınayan Vectara’nın yayınladığı tabloya göre GPT-4 en düşük halüsinasyon oranı ve en yüksek doğrulukla en iyi başarımı gösterdi. Vectara, bu modelleri sabit bir kaynak materyal üzerinden sınadı. Listenin ikinci sırada ise GPT-3.5 modeli yer almayı başardı. Bu iki model de OpenAI firması tarafından geliştirildi ve halihazırda ChatGPT üzerinde kullanılıyorlar. Listenin en altında ise Google’a ait iki büyük dil modeli yer alıyor ve açıkça kötü performans sergiliyorlar. Google Palm Chat, kendisine verilen materyal üzerinde yüzde 27’nin üzerinde halüsinasyon oranı yakalayarak en güvenilmez model oldu. Vectara’nın ölçümlerine göre Palm-Chat’in yanıtları tamamen halüsinasyon kalıntılarıyla dolu.