Bellek ve Dikkat Mekanizması: ChatGPT’in Sohbet Dengesi Nasıl Çalışır?

ChatGPT ile konuşurken bazen uzun süre önce paylaştığınız bir bilgi akıllarda kalırken, çok kısa bir anda verdiğiniz son talimatı unutur gibi hissedebilirsiniz. Bu durum, yapay zekânın hafıza ile çalışma anında odak arasında kurduğu dengeyle yakından ilgilidir. “Bellek” adı verilen özel bir alan var olan verileri güvenli ve bağımsız bir şekilde saklarken, anlık olarak işlemeye devam eden bilgiler, o anki dikkat mekanizmasının iz düşümü olarak karşımıza çıkar. Böylece haftalar önceki bir detayı hatırlayabilirken, iki mesaj önceki bir ipucunu hemen gündemine alamayabilir.

Dikkat Mekanizması olarak adlandırılan ve Attention Mechanism denen süreç, yazdığınız her kelimeye bir önem puanı atar. Bazen önemli bir ayrıntıyı belirtmenize rağmen model, önceki paragrafın başka bir kelimesine daha fazla odaklanabilir ve son cümlenizi yeterince vurgulamayabilir. Özellikle uzun ve ayrıntılı yönergelerde bu odak kayması, en son eklediğiniz küçük düzeltmeyi gözden kaçırabilir. Bu durum, bir arkadaşınızın arka planda çalan müziğe dalıp en son cümleyi duymamasıyla benzer bir nedene dayanır.

Sohbet Geçmişinin Yanılgısı diye özetleyebileceğimiz bir fenomen, kullanıcıların gördüğü akışı bir bütün olarak algılamasıdır. Ancak yapay zeka, her yeni yanıtında tüm sohbeti baştan sona tek tek okuyormuşçasına işlem yapar. Sohbet uzadıkça veya konu dallara ayrıldıkça, hangi bilginin güncel, hangisinin eski olduğunu ayırt etmek zorlaşır. Güncel bilgi, sabit olarak kodlanmış olabilirken, hemen önceki bilgiler akışkan ve henüz sabitlenmemiş durumundadır. Bu yüzden bazen kullanıcı tercihleri netken, bağlamı kaçırabilir.

Bu durumu aşmanın en etkili yolu, modelin unuttuğu detayı nazikçe hatırlatmak veya karmaşık istekleri daha küçük parçalara bölerek sunmaktır. Böylece çoğu zaman yeni bir sohbetten devam etmek, daha kararlı sonuçlar elde etmenizi sağlar.

Kaynak: Webtekno