Soll viele GPUs ersetzen: Start-up plant KI-Server mit 128 TByte Speicher
Majestic Labs verspricht die Speichermenge von 25 Vera-Rubin-NVL72-Racks in nur vier Servern. Das soll bis zu 98 Prozent Kosten sparen. ( KI , Google )
Die modernsten kommerziellen KI-Modelle brauchen mehrere aktuelle GPUs oder andere Beschleuniger. Der Hauptgrund dafür ist der Speicherbedarf: Ein Modell mit über einer Billion Parametern braucht, je nach Quantisierung, teils mehrere TByte RAM. Die sind aber mit klassischen Ansätzen nicht anzubinden. Auch Nvidias Vera-CPU kommt mit LPCAMM2 nur auf maximal 1,5 TByte.
Das Start-up Majestic Labs(öffnet im neuen Fenster) hingegen plant einen Prometheus genannten KI-Server, der mit 128 TByte LPDDR6-Speicher bestückt sein soll(öffnet im neuen Fenster). Gegründet wurde das Unternehmen von ehemaligen leitenden Chipentwicklern von Google und Meta.
📌 Kaynak
Bu özet Golem kaynağından otomatik derlenmiştir. Tamamı için orijinal habere gidin.
Orijinal haberi oku →