Mélyreható ismeretem nincs a témában, nekem csak annyi jön le, hogy a hozzáértők teljesen más skálán gondolkodnak az adott témáról. Sokkal nagyobb léptékben, mint ahogy azt a laikusok teszik. Rengeteg területen lehet használni már most is, feltételezem hogy szakmai szempontoknak megfelelő, specifikusan épített agentek esetében már igen erős válaszokat tudnak kinyerni adott szakmákban. Sokkal hamarabb dolgoznak fel egy-egy feladatot, mint egy kutató, lexikális tudása több mint egy-egy önálló személynek.
Van ahol már SOC-okba (Security Operations Center) integrálva vannak és rögtön kiszúrják a hálózati/szerver infrán jelentkező nem szokványos mintázatokat, csak hogy egy példát említsek.
Mostanában új "szegényember Ai kártyája" buli van, mert kínai jó munkás emberek megfejtették a titkait. Szóval van egy ilyen bányász kártya NVidia CMP 170HX. 8 és 10GB-os kártya, alapból nem olcsó, a buhera hírére meg felment a duplájára.
Ez gyakorlatilag H100/A100 kártya nyákjára és annak GPU chipjével van szerelve.
Na mire lehet használni egy 8/10GB-os kártyát? A nagytesókon 48, 96, 80GB memória volt.
Hát semmire és itt jött a trükk.
A 8GB-os (samsung chipes) HBMe verziók egy részén a gyárilag rajta lévő 80Gb memóriából tudnak aktiválni 64GB-ot szoftveresen, ritkábban 32GB-ot. Cserében nincs ECC.
A 10GB-os hynix chipes verziókon pedig 40GB kapcsolható be. De itt "csak" 4096 bites a memória.
Továbbá szoftveresen fel lehet tolni a a hashratet ha jól láttam a hatszorosára.
Aztán le van butítva a PCIe része PCIe 1.0x4 csatlakozóra. Buherálással ebből (eddig) tudnak csinálni PCIe 2.0x16 csatlakozót.
Nem lesz belőlük H100, mivel a 102 számoló blokkból fizikailag 70 aktív ... amíg azt is meg nem buherálják. Illetve van rajtuk gyárilag NVlink, de azt eddig senki nem tudta bekapcsolni.
Követek egy ukrán manust, aki Csehországból tölt fel videókat egy "kis" szerver építéséről, a terv szerint a LOKÁLISAN szeretné futtatni a Kimi 3 - 1.6T verzióját, szerinte ehhez elég 37db ilyen 80GB-os kártyát belepakolnia "egy gépbe". Az első 8db-os NOD-ot tegnap szerelte össze.
Tegnapi nap legnagyobb IT híre volt, még is a legtöbb híroldalon oldalon meg sem jelent. LINK
Szóval volt egyszer egy TAALAS nevű cég, aki azt mondotta, hogy talált rá egy módot, hogy egy darab chipbe beletegyen egy komplett LLM-et. Erre az egész ipar kiröhögte őket, hogy ááá, ezt nem lehet megcsinálni, meg minek?
Erre legyártottak egy chipet (kártyát) amiben a LLAMA 3.1 8B van beledrótozva.
Beteszed a gépbe és a LLAMA nem foglal memóriát, nem eszi a procid és a GPU-t sem.
Cserébe 17.000+ tokent köp ki másodpercenként!!!
Persze nem hitte el senki. Ezért csináltak ennek az egy darab kártyának egy saját kliens oldalt, ahol bárki tesztelhette, azért 14.000 token feletti sebességet tartotta simán bármikor.
És akkor most az egészet szőröstől bőröstől meg(v)ette az AMD!
Vagy a világ legnagyobb SCAM-je volt, vagy az AMD kezdeni akar valamit a technikával. Persze el is tüntethetné, de kellene nekik valami, mert rohadtúl le vannak maradva az NVidia mögött AI fronton és jönnek fel az egyéb versenyzők közben.
Nem véletlenül kongatja Demis Hassabis is a vészharangokat. Meg most a nagy tech cégek alá is írtak valami egyezményt / kezdeményezést a jövőre nézve.
És ez még csak az LLM, de ugye Hassabis azon aggódik, hogy pár év múlva itt az AGI, és nagyon nem vagyunk rá felkészülve.
Chief Exorcist
AGI + quantum, és úgy nyírnak ki, hogy észre sem veszed.
"Mi egy cipősdobozban laktunk, salak volt vacsorára, és apánk minden éjjel hidegvérrel legyilkolt minket."
Itt van róla egy step-by-step esettanulmány az érintett cégtől, imho érdemes elolvasni. Van szép grafikus replay hozzá.
https://huggingface.co/blog/agent-intrusion-technical-timeline
Mélyreható ismeretem nincs a témában, nekem csak annyi jön le, hogy a hozzáértők teljesen más skálán gondolkodnak az adott témáról. Sokkal nagyobb léptékben, mint ahogy azt a laikusok teszik. Rengeteg területen lehet használni már most is, feltételezem hogy szakmai szempontoknak megfelelő, specifikusan épített agentek esetében már igen erős válaszokat tudnak kinyerni adott szakmákban. Sokkal hamarabb dolgoznak fel egy-egy feladatot, mint egy kutató, lexikális tudása több mint egy-egy önálló személynek.
Van ahol már SOC-okba (Security Operations Center) integrálva vannak és rögtön kiszúrják a hálózati/szerver infrán jelentkező nem szokványos mintázatokat, csak hogy egy példát említsek.
https://www.youtube.com/watch?v=xT3Pmw4f-Y8
"Mi egy cipősdobozban laktunk, salak volt vacsorára, és apánk minden éjjel hidegvérrel legyilkolt minket."
Mostanában új "szegényember Ai kártyája" buli van, mert kínai jó munkás emberek megfejtették a titkait. Szóval van egy ilyen bányász kártya NVidia CMP 170HX. 8 és 10GB-os kártya, alapból nem olcsó, a buhera hírére meg felment a duplájára.
Ez gyakorlatilag H100/A100 kártya nyákjára és annak GPU chipjével van szerelve.
Na mire lehet használni egy 8/10GB-os kártyát? A nagytesókon 48, 96, 80GB memória volt.
Hát semmire és itt jött a trükk.
A 8GB-os (samsung chipes) HBMe verziók egy részén a gyárilag rajta lévő 80Gb memóriából tudnak aktiválni 64GB-ot szoftveresen, ritkábban 32GB-ot. Cserében nincs ECC.
A 10GB-os hynix chipes verziókon pedig 40GB kapcsolható be. De itt "csak" 4096 bites a memória.
Továbbá szoftveresen fel lehet tolni a a hashratet ha jól láttam a hatszorosára.
Aztán le van butítva a PCIe része PCIe 1.0x4 csatlakozóra. Buherálással ebből (eddig) tudnak csinálni PCIe 2.0x16 csatlakozót.
Nem lesz belőlük H100, mivel a 102 számoló blokkból fizikailag 70 aktív ... amíg azt is meg nem buherálják. Illetve van rajtuk gyárilag NVlink, de azt eddig senki nem tudta bekapcsolni.
Követek egy ukrán manust, aki Csehországból tölt fel videókat egy "kis" szerver építéséről, a terv szerint a LOKÁLISAN szeretné futtatni a Kimi 3 - 1.6T verzióját, szerinte ehhez elég 37db ilyen 80GB-os kártyát belepakolnia "egy gépbe". Az első 8db-os NOD-ot tegnap szerelte össze.
Tegnapi nap legnagyobb IT híre volt, még is a legtöbb híroldalon oldalon meg sem jelent. LINK
Szóval volt egyszer egy TAALAS nevű cég, aki azt mondotta, hogy talált rá egy módot, hogy egy darab chipbe beletegyen egy komplett LLM-et. Erre az egész ipar kiröhögte őket, hogy ááá, ezt nem lehet megcsinálni, meg minek?
Erre legyártottak egy chipet (kártyát) amiben a LLAMA 3.1 8B van beledrótozva.
Beteszed a gépbe és a LLAMA nem foglal memóriát, nem eszi a procid és a GPU-t sem.
Cserébe 17.000+ tokent köp ki másodpercenként!!!
Persze nem hitte el senki. Ezért csináltak ennek az egy darab kártyának egy saját kliens oldalt, ahol bárki tesztelhette, azért 14.000 token feletti sebességet tartotta simán bármikor.
És akkor most az egészet szőröstől bőröstől meg(v)ette az AMD!
Vagy a világ legnagyobb SCAM-je volt, vagy az AMD kezdeni akar valamit a technikával. Persze el is tüntethetné, de kellene nekik valami, mert rohadtúl le vannak maradva az NVidia mögött AI fronton és jönnek fel az egyéb versenyzők közben.