Yapay zekayı roman okuması için eğitmek yardımcı olabilir.
Arseny Moskvichev yapay zekayla anlamlı bir konuşma yapabileceği günün hayalini kuruyor. “Anlamlı derken, sizi değiştirme gücüne sahip bir konuşmayı kastediyorum” diyor bilişsel ve bilgisayar bilimci. “Sorun şu ki,” diyor Moskvichev, “LLM’ler tam bir hafıza kaybı yaşıyor. Sadece ilgilenebilecekleri çok fazla bağlamları var. Eğer bu bağlamın dışına çıkarsanız, onlarla konuştuğunuz her şeyi unuturlar.”
En gelişmiş sohbet robotları bile bir insan kullanıcıyla konuşurken bir komut istemi içinde yalnızca yaklaşık 16.000 kelimelik metni işleyebilir. Buna “bağlam penceresi” denir. Ve bir insanla farklı “konuşmalar” sırasında aldıkları bilgileri birbirine bağlayamaz veya bir hikaye oluşturamazlar.
Sohbet robotlarının hayat değiştiren sohbetler yapmayı öğrenmelerine yardımcı olmak ve bağlamın derin karmaşıklıklarını -insanların hayatlarını yöneten insanlar, olaylar ve zaman çizelgeleri arasındaki ilişkiler ağını- kavramalarını geliştirmek için Moskvichev ve meslektaşları, onlara lise edebiyat derslerinde okumayı öğrenebileceğimiz şekilde roman okumayı öğretiyorlar.
Roman okuma eylemi rahatlatıcı bir eğlence gibi görünebilir, ancak incelikli bir zeka gerektirir. Birden fazla karakteri dolambaçlı olay örgüsü, sahne değişiklikleri ve anlatı yoluyla takip etmek için hafızamızı ve karmaşık, katmanlı kavrayışımızı kullanırız. Ve biz bunu düşünmesek de, ortalama bir roman yaklaşık 80.000 kelimeden oluşur. Örneğin Oscar Wilde’ın yazdığı Dorian Gray’in Portresi 82.000 kelimeden oluşurken, W.E. DuBois’nın yazdığı The Souls of Black Folk’un toplamı 72.000 civarındadır. Antoine de Saint-Exupéry’nin bir çocuk kitabı olan Küçük Prens ise yaklaşık 17.000 kelimeden oluşmaktadır. Tüm bu kelimeler yavaş yavaş zihnimizde tuttuğumuz ve incelediğimiz bir hikaye oluşturur. Ancak bu tür becerilere şu anda Open AI’ın ChatGPT’si gibi metin işleyebilen ancak bizim gibi okuduğu söylenemeyen Büyük Dil Modelleri (LLM’ler) ulaşamıyor.
Sorun şu ki LLM’ler tam bir hafıza kaybı yaşıyor.
Moskvichev, Irvine’deki California Üniversitesi’nde karmaşıklık üzerine çalışan Ky-Vinh Mai ile birlikte, kar amacı gütmeyen bağımsız bir teorik araştırma enstitüsü olan Santa Fe Enstitüsü’ndeki doktora sonrası çalışmasının bir parçası olarak LLM’leri uzun metin parçalarını okuyup analiz etmeleri için eğiten yeni bir veri tabanı oluşturdu. İkili, yeni araçları Narrative XL’i geçen yılın sonlarında Singapur’da düzenlenen Doğal Dil İşlemede Ampirik Yöntemler konferansında tanıttı. Moskvichev, “Bu çok uzun bağlamları olan bir veri kümesi” diyor. Bir eğitim aracı olarak LLM’lere pratik yapmaları için bir milyondan fazla soru sunuyor, “daha önce var olan her şeyin çok üstünde.” Moskvichev, bunun “denetimli” bir veri seti olduğunu, yani yapay zekanın doğru puan vermesi beklenen altın standart cevaplar olduğunu ve değerlendirmeyi mümkün kıldığını söylüyor.
Moskvichev ve Mai, Project Gutenberg aracılığıyla kamuya açık olan 1.500 kitaptan Narrative XL’i oluşturdu. Yapay zekaya veritabanındaki bir kitabı okutarak ve ardından bir seçenek havuzundan doğru sahne özetini bulmasını isteyerek LLM’leri okuduğunu anlama konusunda eğittiler. Bazı özetler doğruyken, diğerleri tuzak sahneler içeriyor veya diğer kitaplardan karakterlerle “bozulmuş” – örneğin, Drakula’nın Gurur ve Önyargı’da bir kahraman olarak ek iş yapması gibi.
Hafızayı eğitmek için Moskvichev ve Mai, YZ’nin kitabın ilerisini okumuşsa olay örgüsünden daha fazlasını bilmesinin beklendiği, ancak bu noktadan ötesini bilmediği okuma sorularını derledi. Örneğin, yapay zeka Gurur ve Önyargı’nın sadece yarısını okumuşsa, Bayan Bennett’in Bay Darcy ile evlenip evlenmeyeceği konusunda hala “endişelenmelidir”. (Spoiler uyarısı – evlenir, ancak Austin nikahı büyük finale saklar!) Hafıza, olayların sırasının önemli olduğu zamanın bir fonksiyonu olduğu için, gelecekteki olayların tesadüfi bilgisi, gerçekte doğru olsa bile, yanlış bir hafıza olarak sayılır. Kitabın özetinde çiftin evli olduğuna dair herhangi bir referans, metnin tamamı bağlam penceresinde gösterilmediği sürece yapay zeka tarafından yanlış olarak tanımlanmalıdır.
NarrativeXL eğitiminin bir parçası olarak bir LLM’den bozulmuş kitap sahnelerindeki hataları tespit etmesi ve düzeltmesi de istenebilir. Dolayısıyla, Drakula’nın Gurur ve Önyargı’dan çıkarılması gerekmekle kalmaz, eğitimdeki bir LLM’nin onu doğru karakterle değiştirmesi gerekir. Bu da incelikli bir kavrayış ve karakterlerin birbirleriyle olan ilişkilerini anlamayı gerektirir.
Narrative XL’deki 1.500 kitap ve yaklaşık 1 milyon soru, mevcut kitap eğitim veritabanlarını en az iki kat aşmaktadır. BookSum, 2021 yılında piyasaya sürülen ve yapay zekaları eğitmek için 405 kitap derleyen bir eğitim veritabanıdır. Mevcut tüm eğitim veritabanları için ortalama bağlam penceresi 15.000 kelimenin altında kalmaktadır. Yapay zeka için bu tür eğitim araçlarının geliştirilmesinin önündeki engellerden biri insan kaynaklarıdır: Bir kitabı doğru bir şekilde özetlemek için birinin kitabı okuması ve eğitim sorularını tasarlaması gerekiyor. Moskvichev, “Bu türden denetimli bir veri seti toplamak çok pahalı,” diyor. İşte bu noktada ikili, ChatGPT3.5’in LLM’lerin üstün olduğu bir görev olan kısa kitap bölümlerini özetlemesini sağlayarak Narrative XL’i oluşturdular. Bu, bir makinenin daha güçlü bir makineyi eğitmek için kullanılmasına bir örnektir.
Moskvichev ve Mai, NarrativeXL’in bir eğitim aracı olarak kullanımını doğrulamış ve eğitilmiş LLM performansında eğitilmemişlere kıyasla önemli bir iyileşme gözlemlemiş olsalar da, LLM’ler hala zamanın yaklaşık yarısında hata yapıyor. “Yapay zeka modelleri çok kurnazdır. Sinsidirler ve yapabildiklerinde hile yaparlar” diyor Moskvichev.
Sorunun özü, sohbet robotlarının bir cevaba giden en hızlı yolu belirlemek üzere tasarlanmış olması ve bu yolun nadiren her şeyi okumayı içermesi. Bir 19. yüzyıl romantizminin kadın kahramanının erkeği elde edeceğini tahmin etmek asla çılgınca bir tahmin değildir, bu da yapay zekanın başını belaya sokabilecek bir kestirme yoldur. Moskvichev, “Hâlâ geliştirilecek yönler var” diyor.
*Bu yazı Can chatbots hold meaningful conversations? başlıklı yazıdan çevrilmiştir.
