Új hozzászólás Aktív témák
-
haxiboy
veterán
válasz Kristof93 #33 üzenetére
Ps4 és Xbox one-nál -és az új konzolok esetében is- koherens memóriáról beszélünk. Kár összehasonlítani egy PC-vel.
Amikor a Ps4 megjelent a GTX Titan és Titan Z volt az nvidia legizmosabb kártyája, 6 illetve 2x6GB gpu-val.
A "standard" inkább a 2GB-s kártyák voltak akkoriban. Quantizált modelleket, alacsonyabb precizitással már egy 4GB Vram-mal rendelkező GPU-n is lehet futtatni.
Valószínű, ha szeretné a gyors elterjedését a Microsoft az otthoni offline AI-nak, akkor olyan modellt fog szállítani ami.
Az ASIC vagy FPGA alapú gyorsítók is hamarosan elérhető áron lesznek elérhetők. Mint pl a pici modellekhez szánt Coral.Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
Busterftw
veterán
-
haxiboy
veterán
válasz Kristof93 #45 üzenetére
"Senki nem fog ai gyorsítót venni" ?
Ez pont olyan kijelentés minthogy GPU-t nem veszünk mert van a prociba integrálva, vagy hangkártyát/hálókártyát mert van az alaplapon.Apple az A11 óta pakolja a Neural Engine-t hardware-be. Észre sem fogjuk venni, néhány generáció váltás, és az AI ready hardware-kben ott lesz.
Ahogy most az a menő hogy a videókártyádon van egy m.2 pcie csati az SSD-knek, miért ne jöhetne ilyen formátumban AI accelerator a jövőben vagy elhagyva a csatlakozót, rádrótozva a kártyára/alaplapra.
A Microsoft egy halom pénzt öntött az OpenAI-ba. Előbb utóbb követelménnyé fogják tenni az AI gyorsítót a copilot-hoz. Olcsóbb az usernél futtatni mint a datacenterben.
[ Szerkesztve ]
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
haxiboy
veterán
válasz Kristof93 #54 üzenetére
A videóban a demot egy laptopon csinálta Chuck...leszámítva azt a néhány bevágást amivel demonstrálta mit lehet kihozni egy multi-gpu rendszerből.
De érdekességképpen most kipróbáltam egy Raspberry Pi5 -ön és egész vállalható sebességgel fut még a llava is.
Szerintem elképzelni nem tudod mennyi pénzt tolnak bele a cégek a publikusan elérhető modellek tanításába, amik futtatásához jé! nem kell atomerőmű.
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
Új hozzászólás Aktív témák
Állásajánlatok
Cég: Ozeki Kft.
Város: Debrecen
Cég: Alpha Laptopszerviz Kft.
Város: Pécs