Új hozzászólás Aktív témák
-
Abu85
HÁZIGAZDA
Tök egyszerű a probléma. Ha nem fér bele a modell a VRAM-ba, akkor nem tud működni. A Microsoft a saját rendszereihez olyan modelleket készít, ami 16 GB memóriát igényel. Ezért kérték a gyártókat arra, hogy ennyi memória legyen az AI PC-kben. Ha a GPU-n fut a modell, ami lehetséges a DirectML-lel, akkor a VRAM-ból kell 16 GB. A Microsoft alapvetően egyiket sem akadályozza, 40 TOPS teljesítményt kér minimum. Teljesen mindegy, hogy integrált vagy GPU-val, esetleg NPU-val hozod, és legyen a hardver mellett 16 GB fedélzeti memória. Ezek a belépő követelmények.
Természetesen a memória esetében fontos, hogy ha más is fut, akkor több memória kell vagy ajánlott. Tehát ha fut egy játék a GPU-n, és az elvisz 8 GB-ot, akkor még kell 16 GB memória a modellnek, tehát 24 GB-os GPU kell. Az NPU esetén annyival kedvezőbb a helyzet, hogy ott a rendszer fel van készítve arra, hogy esetleg fut más is az AI feladat mellett, tehát nem fog a GPU-khoz hasonlóan out-of-memory hibaüzenet jönni, hanem csak lassabb lesz az AI feladat feldolgozása. Jelentősen lassabb, és ezért nem ajánlja ezt a Microsoft. De technikailag a programfuttatás NPU-val garantált, ellentétben a dedikált GPU-kkal, csak nem lesz nagy élmény a memória szűkössége miatt.
Alternatív lehetőségként ott vannak a szűk memóriára szabott modellek, de már kiderült, hogy ilyet a Microsoft nem fog kínálni, egyszerűen túl sok a limitáció velük, így inkább 16 GB-ban húzták meg a belépőt. Mellesleg ez egyáltalán nem sok, a memória kifejezetten olcsó, és az AI PC-kbe a gyártók lazán be tudnak dobni 16 GB RAM-ot. Valószínűleg jellemző lesz a 32 GB is, hogy izmozzanak, és nem itt fog elszállni egy notebook ára.
#19 arn : Ne csak a mostani korlátozott dolgokban gondolkodj. Ott van a hibrid feldolgozás lehetősége is. Ezek azért nem reális irányok most, mert nincs meg a hardver, de az NPU-kkal meglesz. Az AI PC-kben lesz kellő tempó és kellő memória is. A mostani gépekben csak a TOPS van meg, de a memória nincs ott, ahol kellene.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
Abu85
HÁZIGAZDA
[link] - írtunk korábban róla, azt hittem olvastad.
A rendszermemória másképp van kezelve, mint a VRAM. A VRAM felett az operációs rendszernek csak nagyon korlátozottan van felügyelete. Nincs is közvetlen hozzáférése a modernebb API-kkal, vagyis alapvetően a program határozza meg, hogy a VRAM hogyan van menedzselve. Ha rosszul, akkor az operációs rendszer csak széttárja a karját, mert nem tudja kijavítani a programkód jellegzetes hibáit a modernebb API-k működése miatti GPU kernel driver hiányában. Ezért van az, hogy amikor a rendszermemória betelik, akkor még simán működőképes marad a gép, vagyis nem fagy le, csak belassul, míg ha a VRAM betelik, akkor jön az out-of-memory üzenet, és leáll a program.
A legnagyobb gond itt az, hogy az operációs rendszernek közvetlen kontrollja csak a rendszermemória felett van, így a VRAM csak egy leválasztott erőforrás. És mivel leválasztott, amit egy csomó OS komponens nem is lát, így nem is tud kárt okozni, ha betelik, tehát a Microsoft sem nagyon töri magát azon, hogy megoldja ezt a problémát. Volt régen egy nagy terv ennek a megoldására a WDDM 3.0-hoz, de sosem valósult meg. Nem tudom, hogy a Microsoft fejleszti-e még, vagy eltették a fiók mélyére.
Egyébként senki sem írta, hogy az NVIDIA nem ír igazat a TOPS-ra nézve, csak elhallgatják a memória kérdését. Nyilván jó okkal. Az out-of-memory hibakóddal történő programösszeomlások a Microsoft szerint sem tekinthetők prémium élménynek. Ez a vezető oka annak, hogy a Microsoft is főleg az NPU-kra építi az AI PC-ket. Ha a GPU-k jók lennének, akkor tennének egy rakással az NPU-kra, mert eleve van egy bazinagy kiépített userbase a programoknak. De nem jók, ők ki tudják ezt próbálni a gyakorlatban.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
![;]](http://cdn.rios.hu/dl/s/v1.gif)
)
Új hozzászólás Aktív témák
ph Megkezdődött az NPU-k elleni hadjárat, de egy fontos részletet nem említ a cég.
Állásajánlatok
Cég: Ozeki Kft.
Város: Debrecen
Cég: Ozeki Kft.
Város: Debrecen