Görüldüğü üzere açık kaynaklı yapay zekâ modelleri başlangıçta cazip görünse de uzun vadede beklenenden daha maliyetli olabilir. Yeni bir araştırmaya göre bu modeller, kapalı kaynaklı modellere kıyasla daha fazla işlem gücü ve token tüketimi açısından fark yaratıyor. Başlangıçtaki maliyet avantajı, zamanla artan giderlere dönüşebiliyor.
Nous Research tarafından yayımlanan çalışmada Google ve OpenAI’ın kapalı modelleri ile DeepSeek ve Magistral’in açık kaynaklı modelleri de dahil olmak üzere pek çok yapay zekâ sistemi karşılaştırıldı. Görevler basit bilgi soruları, matematik problemleri ve mantık bulmacaları gibi farklı kategorilerle test edildi. Açık modeller basit sorularda 10 kata kadar daha fazla token tüketiyor ifadesi elde edilen sonuçlarda öne çıkıyor. Elde edilen bulgulara göre açık ağırlıklı modeller kapalı modellerin 1,5 ila 4 katı kadar daha fazla token kullanabiliyor. Bu fark, basit sorularda daha belirginken, matematik ve mantık sorularında daha sınırlı kalıyor.
Araştırmacılar, token sayısının artmasının sadece maliyeti etkilemediğini, aynı zamanda yanıt sürelerini ve gecikmeleri de etkilediğini belirtiyor. Çalışmada, OpenAI ve Grok-4 gibi kapalı modellerin daha az token kullanacak şekilde optimize edildiği; açık modellerin ise bazı durumlarda mantık yürütmeyi güçlendirmek için daha fazla token kullanmayı tercih ettiği ifade edildi.
Açık kaynak modeller arasında llama-3.3-nemotron-super-49b-v1 en verimli seçenek olarak öne çıkarken, Magistral modelleri ise en çok kaynak tüketenler arasında yer aldı. Sonuçlar, açık kaynaklı yapay zekâ modellerinin barındırma maliyetinin düşük olmasına rağmen, yüksek token kullanımı nedeniyle toplam maliyetin artabileceğini gösteriyor. Şirketlerin model seçimi yaparken yalnızca lisans ücretine değil, aynı zamanda işlem verimliliğine de dikkat etmesi gerektiğini vurguluyor.
Kaynak: Webtekno
