Akcelerator HPC oparty na architekturze Hopper to prawdziwa maszyna do drukowania pieniędzy. Nvidia generuje do 1000% zysku na każdym sprzedanym procesorze graficznym H100.
Akceleracja sztucznej inteligencji ma stać się jednym z najlepiej prosperujących biznesów sprzętowych w nadchodzących miesiącach i latach, a Nvidia jest na doskonałej pozycji, aby zdobyć znaczący udział w tym rynku. Procesor graficzny H100 dla centrów danych już teraz okazuje się być głównym generatorem przychodów dla firmy z Santa Clara.
Wydaje się, że na każdym sprzedanym akceleratorze GPU H100, Nvidia osiąga niebotyczne zyski, a raportowane marże sięgają 1000 procent kosztów produkcji. Tae Kim, starszy pisarz technologiczny w magazynie Barron’s, podkreślił niedawno, że Nvidia wydaje około 3 320 dolarów na wyprodukowanie pojedynczej jednostki H100, która jest następnie sprzedawana klientom końcowym w cenie od 25 000 do 30 000 dolarów. Szacunki te zostały dostarczone przez firmę konsultingową Raymond James i najwyraźniej obejmują również koszty związane z wbudowanymi układami pamięci HBM.
https://twitter.com/firstadopter/status/1691877797487165443
Jeśli szacunki okażą się trafne, może to oznaczać początek bezprecedensowej złotej ery dla biznesu GPU Nvidii. Zapotrzebowanie na jednostki GPU H100 jest tak wysokie, że są one zasadniczo wyprzedane do 2024 roku, powiedział Kim. Tymczasem firmy zajmujące się sztuczną inteligencją starają się zabezpieczyć wystarczającą liczbę akceleratorów GPU, aby zasilić swoje modele generatywne i usługi oparte na sztucznej inteligencji. Foxconn przewiduje, że rynek serwerów AI osiągnie wartość 150 miliardów dolarów do 2027 roku, a te nowoczesne serwery AI w dużej mierze opierają się na solidnych możliwościach obliczeniowych najnowszego sprzętu Nvidii.
Procesor graficzny H100 bazuje na mikroarchitekturze Hopper, zaprojektowanej jako odpowiednik architektury Ada Lovelace dla centrów danych, która napędza najnowszą generację procesorów graficznych GeForce RTX dla graczy. Jednak głównym celem Hoppera nie są gry. Akcelerator H100 jest wyposażony w zmodyfikowany procesor graficzny GH100 z 14 592 rdzeniami CUDA, a także 80 GB pamięci RAM HBM3 z 5 120-bitową magistralą pamięci.
fot. Nvidia
Nvidia z pewnością znajduje się na szczycie fali obecnego boomu na sztuczną inteligencję, choć sugerowany przez Kima szacowany koszt 3 320 USD za procesor graficzny H100 wymaga dalszych wyjaśnień. Opracowanie nowego procesora graficznego jest kosztownym i czasochłonnym przedsięwzięciem, angażującym wielu inżynierów sprzętu i wyspecjalizowanych pracowników. Pracownicy ci wymagają wynagrodzenia, a ostatnie szacunki wskazują, że średnia pensja inżyniera sprzętowego Nvidii wynosi około 202 000 dolarów rocznie.
Z jednej strony, produkcja i sprzedaż procesorów graficznych H100 może być znacznie bardziej kosztowna niż zgłoszona kwota w wysokości 3320 dolarów. Z drugiej strony, Kim śledzi Nvidię od 30 lat, a teraz pisze nawet książkę jako „ostateczną historię” firmy. Dlatego też, jeśli chodzi o wewnętrzne sprawy Nvidii oraz ocenę kosztów, to najprawdopodobniej wie, o czym mówi.
https://twitter.com/firstadopter/status/1673700976107069440