Cast AI, AWS, Azure ve GCP'deki Kubernetes kümelerini inceleyen bir çalışma yürüttü. Analistler, bu şirketlerdeki ortalama GPU kullanımının yalnızca %5 olduğunu buldu. Bu, grafik kartlarının zamanın %5'inde %100 kapasiteyle veya zamanın %100'ünde %5 kapasiteyle çalıştığı anlamına gelmiyor, yazarlar bunun arasında bir değerden bahsediyor.

Cast AI'nin kurucu ortağı ve başkanı Laurent Gilles şunları söyledi:

"Üç yıldır [donanım kaynak kullanımına ilişkin] bir rapor yayınlıyoruz. Ölçümler kötüleşti. CPU kullanımı %10'dan %8'e düştü. Bellek kullanımı ise %23'ten %20'ye düştü."

Belgede ayrıca kaynak aşırı tahsisi olarak adlandırılan durumdan da bahsediliyor. Bu, belirli bir kullanım senaryosu (örneğin, bilgi işlem) için gerçekten ihtiyaç duyulan ile çalışanların bunlara ayırdığı kaynak arasındaki farktır.

CPU aşırı tahsisi geçen yıla göre %40'tan %69'a, bellek aşırı tahsisi ise %79'a yükseldi. Bu, kuruluşların gerçekten ihtiyaç duyduklarından çok daha fazla donanım ayırdıkları anlamına geliyor.

Kullanılmayan ekipmanlara aşırı tahsis yapıyorlar. Analistler, piyasada kaynak yönetimine yönelik bir iyileşme veya daha ihtiyatlı bir yaklaşım belirtisi olmadığını belirtiyor. Aksine, kıtlık ortamında teknoloji devleri olabildiğince çok CPU, GPU ve bellek satın almak için acele ediyor.

Bu da kısır bir döngü yaratıyor.

Yapay zeka alanındaki büyük gelişme nedeniyle şirketler çok sayıda ekipman satın alıyor.

Talep arzı aşınca fiyatlar yükselir.

Şirketler krizin daha da kötüleşmesinden korkuyor ve daha da fazla ekipman satın alıyorlar.

2. noktaya geri dönün.

Cast AI, işlemci arızasının şirketlere saatte sadece birkaç sente mal olduğunu, oysa güçlü bir grafik kartının arızasının saatte birkaç dolara kadar mal olabileceğini (ilgili altyapı ve enerji tüketimi maliyeti de hesaba katıldığında) belirtiyor.

Özellikle, tüm kümeler GPU'ları düşük seviyelerde kullanmıyor, %30-50 kullanım oranlarına sahip örnekler de mevcut. Bununla birlikte, kapasitenin aşırı tahsis edilmesi sorunu, piyasa genelinde giderek daha acil bir hal alıyor.