Çinli Yapay Zeka Girişimi Deepsic: Gelişmiş Çip Olmadan Yapay Zekayı %85 Hızlandırma İddiası

Yapay zeka (AI) teknolojisinin hızla yaygınlaşmasıyla birlikte bilgisayar kapasitesi ihtiyacı da artıyor. Büyük dil modellerini çalıştırmak için veri merkezleri binlerce gelişmiş grafik işlem birimi (GPU) kullanıyor. Ancak ABD'nin ihracat kısıtlamaları nedeniyle Çinli birçok teknoloji şirketi, NVIDIA'nın gelişmiş AI çiplerine erişemiyor. Bu durum karşısında, Çinli AI girişimi Deepsic, gelişmiş çipler olmadan AI modellerinin hızını önemli ölçüde artırabilecek bir teknoloji geliştirdiğini iddia etti. Şirket, 'DSspark' adını verdiği yeni bir çerçeve ile AI modellerinin tepki hızını %85'e kadar artırabildiğini öne sürüyor. Bu teknoloji sayesinde, bir GPU'nun normalde 100 kullanıcıya hizmet verebildiği durumlarda, aynı donanımın yaklaşık 185 kullanıcıya hizmet verebileceği belirtiliyor. Deepsic'e göre DSspark, AI çıkarım (inference) hızını artırmaya odaklanıyor. Çıkarım, bir AI modelinin kullanıcı sorularına yanıt üretmesi için geçen süredir ve büyük ölçekli AI hizmetleri için önemli bir zorluk teşkil ediyor. Genellikle AI modelleri tek seferde bir 'token' (bilgi işleme temel birimi) üretiyor, bu da uzun yanıtlar üretirken süreci yavaşlatıyor ve GPU'lara ek yük bindiriyor. DSspark, bu sınırlamayı aşmak için 'spekülatif kod çözme' (speculative decoding) yöntemini kullanıyor. Bu yöntemde, daha küçük ve hafif bir model önce olası yanıtları hızla üretiyor, ardından ana ve daha büyük model bu yanıtları topluca doğruluyor. Eğer küçük modelin ürettiği yanıt doğruysa, sistem doğrudan sonraki adıma geçiyor; yanlışsa, geleneksel yönteme dönülerek yeni bir yanıt üretiliyor. Deepsic, çoğu token'ın kolayca tahmin edilebildiğini ve bu sayede yanıt üretim süresinin önemli ölçüde azaldığını belirtiyor. Tüm süreç GPU'larda tamamlanıyor, CPU'ya aktarım olmuyor. Ayrıca DSspark, 'yarı-otoregresif üretim' (semi-autoregressive generation) teknolojisiyle tek seferde birden fazla token üreterek hızı daha da artırıyor. Deepsic ve Pekin Üniversitesi'nin ortak çalışmasıyla geliştirilen bu teknoloji, GitHub ve Hugging Face'te yayımlandı. Deepsic, DSspark'ın AI modellerinin temel yeteneklerini artırmadığını, ancak mevcut donanımdan daha iyi performans elde etme imkanı sunduğunu belirtiyor.