Pekin Üniversitesi ve DeepSeek, LLM Çıkarım Verimliliğinde Devrim Yaratan DSpark'ı Açık Kaynaklı Hale Getirdi

Pekin Üniversitesi ve DeepSeek, büyük dil modellerinin (LLM) çıkarım verimliliğinde önemli bir sıçrama sağlayan DSpark adlı spekülatif kod çözme çerçevesini ortaklaşa geliştirdi ve açık kaynaklı hale getirdi. DSpark, gerçek dünya sunucu yükleri altında metin üretimini %60-85 oranında hızlandırırken, sıkı gecikme kısıtlamaları altında %661'e varan verimlilik artışı sağlıyor. Mevcut LLM'ler, her token için tam bir ileri geçiş gerektiren otoregresif üretim yöntemine dayanıyor, bu da konuşma yapay zekasında önemli gecikmelere neden oluyor. Spekülatif kod çözme bu sorunu çözmek için ana akım bir hızlandırma yolu olarak öne çıksa da, mevcut yaklaşımlar kritik zayıflıklar sergiliyor: Seri taslak modeller uzun diziler için çok yavaş adaylar üretiyor, paralel taslak modeller ise sonraki tokenler için kabul oranlarında hızla düşüşler yaşıyor ve yüksek eşzamanlı senaryolarda hesaplama kaynaklarını boşa harcıyor. DSpark, bu zorlukları aşmak için ikili bir optimizasyon mekanizması sunuyor. Üretim tarafında, tek geçişte aday özellikler üreten gelişmiş bir paralel omurga ağı ile blok içi token bağımlılıkları ekleyen hafif seri modülleri birleştiren yarı otoregresif bir mimari kullanıyor. DSpark'taki sadece iki Transformer katmanı, hız ve aday kalitesini dengeleyerek beş katmanlı geleneksel paralel mimarileri geride bırakıyor. Doğrulama tarafında DSpark, donanıma duyarlı bir önek zamanlayıcı ile güvenliğe göre zamanlanmış bir doğrulama mekanizması sunuyor. Gerçek zamanlı yüke ve aday hayatta kalma olasılığına göre hesaplama kaynaklarını dinamik olarak tahsis ediyor, yüksek güvenilirlikli metin segmentlerini doğrulamaya öncelik veriyor ve boşa harcanan hesaplamayı ortadan kaldırıyor. Matematiksel akıl yürütme, kod üretimi ve konuşma görevleri üzerinde Qwen3 ve Gemma4 dahil olmak üzere ana akım modeller üzerinde yapılan kıyaslama testleri, DSpark'ın Qwen3-4B üzerinde Eagle3'ten %30.9 daha uzun etkili üretim ve DFlash'tan %16.3 daha fazla sağladığını gösterdi. Bu, uzun dizi kabulü düşüş sorununu çözerken, paralel mimarinin ilk token üretim hızı avantajını koruyor. Çerçeve, DeepSeek-V4-Flash ve DeepSeek-V4-Pro önizleme motorlarına zaten dağıtılmış durumda. Gerçek dünya trafik testleri, dönüştürücü verimlilik iyileştirmeleri ortaya koydu: kullanıcı başına 80 token/s SLA'da V4-Flash verimliliği taban çizgisinden %51, 120 token/s'de ise %661 arttı. V4-Pro için verimlilik kazançları 35 token/s SLA'da %52 ve 50 token/s'de %406 oldu. Sistem, eşzamanlı yüke göre doğrulama uzunluğunu otomatik olarak ayarlayarak dalgalanan trafik modellerine sorunsuz bir şekilde uyum sağlıyor. DSpark, DFlash ve E için tam eğitim kodu, değerlendirme araçları ve model ağırlıkları açık kaynak olarak sunulmuştur.