Új hozzászólás Aktív témák
-
Abu85
HÁZIGAZDA
Tök egyszerű a probléma. Ha nem fér bele a modell a VRAM-ba, akkor nem tud működni. A Microsoft a saját rendszereihez olyan modelleket készít, ami 16 GB memóriát igényel. Ezért kérték a gyártókat arra, hogy ennyi memória legyen az AI PC-kben. Ha a GPU-n fut a modell, ami lehetséges a DirectML-lel, akkor a VRAM-ból kell 16 GB. A Microsoft alapvetően egyiket sem akadályozza, 40 TOPS teljesítményt kér minimum. Teljesen mindegy, hogy integrált vagy GPU-val, esetleg NPU-val hozod, és legyen a hardver mellett 16 GB fedélzeti memória. Ezek a belépő követelmények.
Természetesen a memória esetében fontos, hogy ha más is fut, akkor több memória kell vagy ajánlott. Tehát ha fut egy játék a GPU-n, és az elvisz 8 GB-ot, akkor még kell 16 GB memória a modellnek, tehát 24 GB-os GPU kell. Az NPU esetén annyival kedvezőbb a helyzet, hogy ott a rendszer fel van készítve arra, hogy esetleg fut más is az AI feladat mellett, tehát nem fog a GPU-khoz hasonlóan out-of-memory hibaüzenet jönni, hanem csak lassabb lesz az AI feladat feldolgozása. Jelentősen lassabb, és ezért nem ajánlja ezt a Microsoft. De technikailag a programfuttatás NPU-val garantált, ellentétben a dedikált GPU-kkal, csak nem lesz nagy élmény a memória szűkössége miatt.
Alternatív lehetőségként ott vannak a szűk memóriára szabott modellek, de már kiderült, hogy ilyet a Microsoft nem fog kínálni, egyszerűen túl sok a limitáció velük, így inkább 16 GB-ban húzták meg a belépőt. Mellesleg ez egyáltalán nem sok, a memória kifejezetten olcsó, és az AI PC-kbe a gyártók lazán be tudnak dobni 16 GB RAM-ot. Valószínűleg jellemző lesz a 32 GB is, hogy izmozzanak, és nem itt fog elszállni egy notebook ára.
#19 arn : Ne csak a mostani korlátozott dolgokban gondolkodj. Ott van a hibrid feldolgozás lehetősége is. Ezek azért nem reális irányok most, mert nincs meg a hardver, de az NPU-kkal meglesz. Az AI PC-kben lesz kellő tempó és kellő memória is. A mostani gépekben csak a TOPS van meg, de a memória nincs ott, ahol kellene.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
Abu85
HÁZIGAZDA
[link] - írtunk korábban róla, azt hittem olvastad.
A rendszermemória másképp van kezelve, mint a VRAM. A VRAM felett az operációs rendszernek csak nagyon korlátozottan van felügyelete. Nincs is közvetlen hozzáférése a modernebb API-kkal, vagyis alapvetően a program határozza meg, hogy a VRAM hogyan van menedzselve. Ha rosszul, akkor az operációs rendszer csak széttárja a karját, mert nem tudja kijavítani a programkód jellegzetes hibáit a modernebb API-k működése miatti GPU kernel driver hiányában. Ezért van az, hogy amikor a rendszermemória betelik, akkor még simán működőképes marad a gép, vagyis nem fagy le, csak belassul, míg ha a VRAM betelik, akkor jön az out-of-memory üzenet, és leáll a program.
A legnagyobb gond itt az, hogy az operációs rendszernek közvetlen kontrollja csak a rendszermemória felett van, így a VRAM csak egy leválasztott erőforrás. És mivel leválasztott, amit egy csomó OS komponens nem is lát, így nem is tud kárt okozni, ha betelik, tehát a Microsoft sem nagyon töri magát azon, hogy megoldja ezt a problémát. Volt régen egy nagy terv ennek a megoldására a WDDM 3.0-hoz, de sosem valósult meg. Nem tudom, hogy a Microsoft fejleszti-e még, vagy eltették a fiók mélyére.
Egyébként senki sem írta, hogy az NVIDIA nem ír igazat a TOPS-ra nézve, csak elhallgatják a memória kérdését. Nyilván jó okkal. Az out-of-memory hibakóddal történő programösszeomlások a Microsoft szerint sem tekinthetők prémium élménynek. Ez a vezető oka annak, hogy a Microsoft is főleg az NPU-kra építi az AI PC-ket. Ha a GPU-k jók lennének, akkor tennének egy rakással az NPU-kra, mert eleve van egy bazinagy kiépített userbase a programoknak. De nem jók, ők ki tudják ezt próbálni a gyakorlatban.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
Abu85
HÁZIGAZDA
Sok paraméteres neuronháló futtatását gyorsítja. Konkrétan gyorsabban hajtja végre a mátrixszorzást, ami a vezető műveletnek számít.
Ugyanezt csinálják egyébként az online szolgáltatások is. A probléma ott van, hogy ha ennyire növekszik az igény erre a munkamenetre, akkor muszáj valamiféle hibrid irányba elvinni, mert nem lehet elég szervert kiépíteni mindenkinek. Tehát optimális az lenne, ha némelyik folyamat lokálisan futna, némelyik pedig távolról.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
Abu85
HÁZIGAZDA
Bármi, amihez van elég memóriád lokálisan, illetve elég gyors, mátrixszorzást alkalmazó részegységed. A lényeg annyi, hogy ne a szerverinfrastruktúrát terheld olyan feladattal, ami lokálisan is lefuttatható. A szervert csak akkor terheld le, ha a feladat lokálisan, reális időn belül megvalósíthatatlan. Ezzel tehermentesíted az adatközpontokat, így nem kell annyira sokat építeni, amivel kisebb lesz a fenntartási költség, stb.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
Abu85
HÁZIGAZDA
Ez teljesen normális, hiszen az operációs rendszernek nincs kontrollja a VGA memóriája felett, de a WDDM-ben van megosztott memória is, és ott már van kontroll. Csak ugye az nem sokat ér, mert a megosztott memória elérési ideje úgy 500-szor lassabb, mint a dedikált memóriáé. Emellett ez egy WDDM funkció. Az explicit API-k esetében bonyolultabb a helyzet, mert ott az program dönt arról, hogy hol helyezi el az allokációt, és ebbe az OS nem is szól bele. És a legtöbb AI-ra szabott program ma még úgy működik, hogy ha elfogy a VRAM, akkor nem is törődik a többi erőforrással, hanem dobja az out-of-memory üzenetet. Nyilván ennek van egyfajta logikája is, hiába a több memória, ha az elérése több száz nagyságrenddel lassabb. Az adatmásolások miatt sokszor ezt felesleges befogni, mert ha meg is teszed, akkor is végeredményben gyorsabb lesz, ha a processzor számolja az AI feladatot. Tehát igazából az extra memóriával csak sebességet buksz. Ennek van hasznossága mondjuk egy játékban, ahol azért jobban menedzselhetők az adatmásolások, de az AI feladatok annyira memóriaintenzívek, hogy a megosztott memória igazából többet árt, mint használ.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
Új hozzászólás Aktív témák
ph Megkezdődött az NPU-k elleni hadjárat, de egy fontos részletet nem említ a cég.
Állásajánlatok
Cég: Ozeki Kft.
Város: Debrecen
Cég: Ozeki Kft.
Város: Debrecen