Ha jól emlékszem az INT8-as megoldás is úgy került eredetileg felszínre, hogy egy AMD-s mérnök feltöltöttem véletlenül Githubra a kódot. Aztán onnan önálló életre kelt.
Nem lennék meglepődve, ha Vulkanra is lenne már kész belsős megoldás. Itt azt gyanítom azt egész mögött, hogy az MS pénze lehet a háttérben. Lehet meg akarták ezt tartani maguknak, a saját (kézi) konzoljaikra és a DX12-es játékokhoz.
Csak közben az AMD-nek meg elkezdhetett ciki lenni a dolog, és inkább találhattak valami köztes megoldást. Tehát pl kíváncsi leszek, hogy mondjuk XSX-re elérhető lesz-e jóval azelőtt, hogy a PC-s RDNA2-es kompat megérkezne.
Melyik az a legegyszerűbb, legletisztultabb Linux distro, aminek rendes grafikus telepítője van, grafikus felületre is bootol (tehát rendes oprendszer egy noob számára), viszont nincs tele előretelepített szoftverrel és egyéb bloattal?
A Mint ideális kezdési pont, mert amellyett, hogy jól funkcionál és könnyen kezelhető, sokan használják, így sok információ, segítség is áll a rendelkezésre. Év végén jön belőle a 23-as főverzióra, azzal már váltanak Wayland kompozitorra, addig HDR-t tekintve nem remélj sokat. Ha az fontos, akkor valamely KDE-s disztró felé érdemes kacsingatni.
Arra érdemes lehet odafigyelni, hogy realtekes wifiadapterekkel lehet gond (csak olvastam róla, az én vasaimban nem az van), ha az van, azt érdemes lehet cserélni.
Én még mindig a Bazzite-ot mondom. Használtam Mintet, amint bármi extrát kellett csinálni, már a terminálban voltam, nem volt kellemes. Bazzite-ot meg nagyon, nagyon nehéz elkúrni, szerintem legbarátságosabb linux distro jelenleg.
De azért nehéz elrontani, mert immutable, előbb azt kellene tisztázni, hogy ennek a kötöttségeit a nyakába venné-e. Elég keveset kell már terminálozni Minten (például a swap beállításainak megváltoztatásához), és az sem túl vészes, ha nem nagyon extrát akar az ember (ami immutable rendszeren lehet, hogy nem menne, és Windowson sem).
Abban se vagyok biztos, hogy havonta belépek a mintes fő gépemen a terminálba, azért, mert kell. Anyám is lassan egy éve Mintet használ, szerintem nem tudja, hogy van rajta terminál, és másnak sem kell neki segíteni. Működik minden az ő egyszerű igényeihez automatizáltan, és kész. De Arch-klónban is van olyan már (pl. Garuda), hogy nemigen kell terminálozni, ha azt nem számítjuk, hogy a rendszerinformációkat például egy terminálablakban dobja fel.
Nem mondom, hogy nem lehet hülyebiztosabbra menni, de nem túloznám el a terminállal riogatást.
Amúgy szvsz a Win 12 bejelentése lesz, egy ideje már csiripelik, hogy a Win 12 egy teljesen AI központú cucc lesz, nem is igazán a Win 11 leváltására lesz, hanem mint egy mellék OS, és ez pont egybevág azzal, hogy az ngreedia is kitette ugyanazt, mint a microslop.
Amúgy Nvidia oldalról a Vera cucc lesz, tuti. Mondjuk ki a faszt érdekel 🤣
De az is igaz, hogy lassan nem lesz HW amin használni lehet (nemhogy lokálisan, de felhő-host módon sem), annyira elszálltak az árak, szóval ismét csak a körbeszopás megy B2B.
Akkor az amire tippelsz. GLHF ARM-on normálisan futtatni bármilyen jatekot (amíg a Valve nem végez a fordítókörnyezettel), a többi szamomra irreleváns.
Na hát végül a nagy GB10-es chipjük megvágott verziója érkezik RTX Spark néven laptopokba és miniPC-kbe, lokális AI fejlesztéshez meg ilyesmikhez. Elvileg játékra is jó lesz.
Hú, mekkora ordas nagy világgazdasági bebukas lesz itt, ha már ilyeneket nyomnak. Tehát nincs valós felvevője az AI szarjaiknak, emiatt csinálnak majd ők felvevoreteget! Leforditva: csinaltunk egy megoldást egy problémára, ami nem létezik, de ne aggódj azt is elkészítjük!
Eléggé fura, hogy a DGX Spark kvázi a saját linux rendszerükkel fut csak, az RTX Spark meg NEM támogatja a Linuxot. Okozott is némi zavart a leendő userek körében. Elég sok olyan AI cucc van, ami Linux alatt nem kicsit jobban megy.
Kicsit érthetetlen, főleg hogy a két hardver között ha jól értem az egyetlen különbség, hogy a windowsosban nincs LAN vezérlő. Ezzel itt mi lehetett az Nvidia célja?
Közben a DeepSeek kiadta a V4-et, open source, bárki futtathatja offline, akinek van csekély 400GB+ RAM-va vagy VRAM-ja :D
Erről eszembe jutott, hogy ez pont az, mint a crypto láznál volt: akinek van brutális mennyiségű pénze, az tudja használni az AI modelleket (crypto: több ASIC-ot tudott venni, még több pénzt tudott "nyomtatni" ), közben felfújva a HW árakat.
Mivel nem lehet igazából on-prem AI-t csak úgy használni értelmes dolgokra, emiatt sose lesz ennek jövője, hacsak nem gombokért lehet majd kapni RAM-ot vagy nagy mennyiségű VRAM-mal szerelt ASIC...bocsánat, celhardvert...
v4 flash-t már 200GB-vel is kényelmesen lehet futtatni, ha jól tudom. azért előtte érdemes lehet egy gyors számolást végezni, hogy mennyibe kerül egy olyan setup vs előfizu (mert amúgy az olcsóbbak között van Mtokenenként).
de ilyen ratyi kis 128GB-s macen is elindul elvileg.
rwurl=https://imgur.com/a/tW0LnR2
amúgy pont mostanában gondolkoztam azon, hogy kéne self hosted llm-et csinálni, de még az ötlettől nem jutottam sokkal messzebb.
nem tudsz valami leírást fogyatékosoknak hogy kell ilyet futtatni? jelenleg egy 7900XT 20GB van meg linux.
de amit eddig próbáltam ollama-val az nem volt túl meggyőző.
ilyesmi modelleket futtattam:
de egy opengl-es háromszög kirajzolás is nehézségekbe ütközött. egyszer majdnem elsőre futtatható kódot generált. amikor megpróbáltam websearchet engedni neki akkor totál bekattant, lehet a kis context miatt.
meg claude code alá is betoltam 1-2 modellt, de az is vagy hangelt vagy hülyeséget csinált.
a terv az lenne hogy 2 vagy 4 használt RTX3090-et kéne venni, ha életképesnek tűnne. vagy nagyon csóró setupnak 4 x rtx3060, ha olyannal működne.
A gond az, hogy pl. a claude Opus 4.6 is 1TB+ -os modell, de programozáshoz még így is sok kört kell futni vele, mire olyan a végeredmény, amire azt mondja az ember, hogy ez már jobb.
A lokális LLM-ekkel kb. esélytelen barmilyen értelmes munkát végezni, mert ilyen 32 billió paraméterekről beszélünk csak. Ami 1.2- 1.5 TB felett van, na azzal már lehet kezdeni produktív dolgokat viszonylag megbízhatóan, csak ugye ott meg az van amit írtam előzőleg.
Lenne még a Kimi 2.7 ami programozáshoz állítólag megközelíti az opus 4.6-ot (és csak azt...), de annak is olyan memória igénye van, hogy hagyjuk is.
Levontam a konzekvenciát, és rájöttem, tíz milliók kellenek, hogy építs lokálisan olyat, amivel lehet gond nélkül dolgozni, programozni, a többi csak bohóckodás és időpazarlás. Na ez a gond: ez a hw igény miatt soha nem lehet profitábilis, még az LLM szolgáltatóknak sem, miközben annyi energiát fogyasztanak a szerverparkok, hogy az fenntarthatatlan (like cryptoláz * 10 vagy * 100)! És akkor itt is bejön a hasonlóság a kriptoláz végével, amikor már nem érte meg HW-ba fektetni, hogy bányássz, mert nem térült meg az ára soha. Ja, ASIC-okat is lehetett elofizus módon bérelni (újabb hasonlóság), de hát valójában az sem érte meg.
Csak kalkulálj: még ha régi HW-t is veszel, többet, a befektetett pénz és az utána használat közbeni fogyasztás kifizetése megéri-e tudsz-e belőle profitot varázsolni? Válasz: nem :D
Persze itt most szigorúan komplex feladatról beszélünk (coding), mert például kissebb modellek amúgy másra befoghatók ugyesen: automatizálások, tts vagy stt meg ilyenek.
nem azt akarom hogy "fejből" tudja hogy kell holdjárót programozni, de valami coding harnessel ha tudna dokumentáció vagy web search alapján dolgokat csinálni az már egész jó lenne.
csak tényleg jó lenne ha megállna csillió pénz alatt, mondjuk ha 500k környékén kijönne. mert akár egy deepseek v4 flash is elméletileg elérhető közelségben van, elvileg az AMD gorgon halo 192GB-vel jön, csak az inkáb 2milla környékén lesz. strix halo 1.5 körül van 128-al.
majd lehet megpróbálok akkor utánanézni, csak ha helyben lett volna megoldásod azt nagyon értékelné a lustaságom :D
Júliusban az RDNA3-as kártyákra is jön az FSR4.1.
FP8-as formátum helyett az INT8-at használja majd (nyilván nem meglepő, hiszen hackelt módon már működik ez, ha jól tudom pl az Optiscalerrel).
Még az RDNA2-es kártyákra is jön majd 2027 elején.
Ez jó hír még a Steam Deck, illetve az érkező Steam Machine számára is. Nyilván a meglevő kártyatulajok mellett.
Az AMD kommunikációja meg szokás szerint a világ balfasza, hogy ezt próbálták tagadni korábban, és hogy csak RDNA4-en lehetséges a dolog stb...
Chief Exorcist
Már csak hivatalosan kellene megoldaniuk, hogy Vulkanon működjön az FSR4.1... Maszekolós megoldás van már rá jó ideje, szóval nem lenne nagy dolog...
"Aztakibebaszott eget, lett egy matchem Tinderen"
Yes.
Ha jól emlékszem az INT8-as megoldás is úgy került eredetileg felszínre, hogy egy AMD-s mérnök feltöltöttem véletlenül Githubra a kódot. Aztán onnan önálló életre kelt.
Nem lennék meglepődve, ha Vulkanra is lenne már kész belsős megoldás. Itt azt gyanítom azt egész mögött, hogy az MS pénze lehet a háttérben. Lehet meg akarták ezt tartani maguknak, a saját (kézi) konzoljaikra és a DX12-es játékokhoz.
Csak közben az AMD-nek meg elkezdhetett ciki lenni a dolog, és inkább találhattak valami köztes megoldást. Tehát pl kíváncsi leszek, hogy mondjuk XSX-re elérhető lesz-e jóval azelőtt, hogy a PC-s RDNA2-es kompat megérkezne.
Chief Exorcist
mit össze nem balfaszkodnak AMDnél a grafikus részleggel :D
Melyik az a legegyszerűbb, legletisztultabb Linux distro, aminek rendes grafikus telepítője van, grafikus felületre is bootol (tehát rendes oprendszer egy noob számára), viszont nincs tele előretelepített szoftverrel és egyéb bloattal?
Chief Exorcist
Linux Mint talán? A régi thinkpadre azt raktam anno, egész használható.
De inkább vettem bele plusz ramot és ssd-t és ment rá egy win10 :P
Ahh a Mintre gondoltam én is, még régebben próbáltam, csak nem jutott eszembe, thx!
Chief Exorcist
A Mint ideális kezdési pont, mert amellyett, hogy jól funkcionál és könnyen kezelhető, sokan használják, így sok információ, segítség is áll a rendelkezésre. Év végén jön belőle a 23-as főverzióra, azzal már váltanak Wayland kompozitorra, addig HDR-t tekintve nem remélj sokat. Ha az fontos, akkor valamely KDE-s disztró felé érdemes kacsingatni.
Arra érdemes lehet odafigyelni, hogy realtekes wifiadapterekkel lehet gond (csak olvastam róla, az én vasaimban nem az van), ha az van, azt érdemes lehet cserélni.
Sors bona, nihil aliud.
Én még mindig a Bazzite-ot mondom. Használtam Mintet, amint bármi extrát kellett csinálni, már a terminálban voltam, nem volt kellemes. Bazzite-ot meg nagyon, nagyon nehéz elkúrni, szerintem legbarátságosabb linux distro jelenleg.
"Aztakibebaszott eget, lett egy matchem Tinderen"
De azért nehéz elrontani, mert immutable, előbb azt kellene tisztázni, hogy ennek a kötöttségeit a nyakába venné-e. Elég keveset kell már terminálozni Minten (például a swap beállításainak megváltoztatásához), és az sem túl vészes, ha nem nagyon extrát akar az ember (ami immutable rendszeren lehet, hogy nem menne, és Windowson sem).
Abban se vagyok biztos, hogy havonta belépek a mintes fő gépemen a terminálba, azért, mert kell. Anyám is lassan egy éve Mintet használ, szerintem nem tudja, hogy van rajta terminál, és másnak sem kell neki segíteni. Működik minden az ő egyszerű igényeihez automatizáltan, és kész. De Arch-klónban is van olyan már (pl. Garuda), hogy nemigen kell terminálozni, ha azt nem számítjuk, hogy a rendszerinformációkat például egy terminálablakban dobja fel.
Nem mondom, hogy nem lehet hülyebiztosabbra menni, de nem túloznám el a terminállal riogatást.
Sors bona, nihil aliud.
?
rwurl=https://imgur.com/a/t8lwtDx
rwurl=https://imgur.com/a/4zocxZp
Chief Exorcist
Kitalálom. Ai, AI,... ai... a..i.. AI.
"Aztakibebaszott eget, lett egy matchem Tinderen"
Micron to the Moon, biccs!
"Mi egy cipősdobozban laktunk, salak volt vacsorára, és apánk minden éjjel hidegvérrel legyilkolt minket."
Tippre ja. :D amihez sztem az Nvidia csinál majd egy új ARM-os PC-s APU-t, amin kiválóan fut az AIAIAIAIAIAI.
Chief Exorcist
Amúgy szvsz a Win 12 bejelentése lesz, egy ideje már csiripelik, hogy a Win 12 egy teljesen AI központú cucc lesz, nem is igazán a Win 11 leváltására lesz, hanem mint egy mellék OS, és ez pont egybevág azzal, hogy az ngreedia is kitette ugyanazt, mint a microslop.
Amúgy Nvidia oldalról a Vera cucc lesz, tuti. Mondjuk ki a faszt érdekel 🤣
De az is igaz, hogy lassan nem lesz HW amin használni lehet (nemhogy lokálisan, de felhő-host módon sem), annyira elszálltak az árak, szóval ismét csak a körbeszopás megy B2B.
"Aztakibebaszott eget, lett egy matchem Tinderen"
Talán ez a HW lehet az:
https://www.techpowerup.com/349514/microsoft-and-nvidia-jointly-tease-po...
Chief Exorcist
rwurl=https://imgur.com/a/CzKFgnk
Chief Exorcist
Akkor az amire tippelsz. GLHF ARM-on normálisan futtatni bármilyen jatekot (amíg a Valve nem végez a fordítókörnyezettel), a többi szamomra irreleváns.
"Aztakibebaszott eget, lett egy matchem Tinderen"
https://www.techpowerup.com/349554/nvidia-announces-rtx-spark-a-supercom...
Na hát végül a nagy GB10-es chipjük megvágott verziója érkezik RTX Spark néven laptopokba és miniPC-kbe, lokális AI fejlesztéshez meg ilyesmikhez. Elvileg játékra is jó lesz.
Chief Exorcist
Just Microslop things
https://9to5mac.com/2026/06/02/microsoft-ceo-were-moving-from-os-and-app...
Microsoft CEO: We’re moving from OS and apps to agents instead
Chief Exorcist
Hú, mekkora ordas nagy világgazdasági bebukas lesz itt, ha már ilyeneket nyomnak. Tehát nincs valós felvevője az AI szarjaiknak, emiatt csinálnak majd ők felvevoreteget! Leforditva: csinaltunk egy megoldást egy problémára, ami nem létezik, de ne aggódj azt is elkészítjük!
"Aztakibebaszott eget, lett egy matchem Tinderen"
Eléggé fura, hogy a DGX Spark kvázi a saját linux rendszerükkel fut csak, az RTX Spark meg NEM támogatja a Linuxot. Okozott is némi zavart a leendő userek körében. Elég sok olyan AI cucc van, ami Linux alatt nem kicsit jobban megy.
Kicsit érthetetlen, főleg hogy a két hardver között ha jól értem az egyetlen különbség, hogy a windowsosban nincs LAN vezérlő. Ezzel itt mi lehetett az Nvidia célja?
Chief Exorcist
Közben a DeepSeek kiadta a V4-et, open source, bárki futtathatja offline, akinek van csekély 400GB+ RAM-va vagy VRAM-ja :D
Erről eszembe jutott, hogy ez pont az, mint a crypto láznál volt: akinek van brutális mennyiségű pénze, az tudja használni az AI modelleket (crypto: több ASIC-ot tudott venni, még több pénzt tudott "nyomtatni" ), közben felfújva a HW árakat.
Mivel nem lehet igazából on-prem AI-t csak úgy használni értelmes dolgokra, emiatt sose lesz ennek jövője, hacsak nem gombokért lehet majd kapni RAM-ot vagy nagy mennyiségű VRAM-mal szerelt ASIC...bocsánat, celhardvert...
"Aztakibebaszott eget, lett egy matchem Tinderen"
v4 flash-t már 200GB-vel is kényelmesen lehet futtatni, ha jól tudom. azért előtte érdemes lehet egy gyors számolást végezni, hogy mennyibe kerül egy olyan setup vs előfizu (mert amúgy az olcsóbbak között van Mtokenenként).
de ilyen ratyi kis 128GB-s macen is elindul elvileg.
rwurl=https://imgur.com/a/tW0LnR2
amúgy pont mostanában gondolkoztam azon, hogy kéne self hosted llm-et csinálni, de még az ötlettől nem jutottam sokkal messzebb.
nem tudsz valami leírást fogyatékosoknak hogy kell ilyet futtatni? jelenleg egy 7900XT 20GB van meg linux.
de amit eddig próbáltam ollama-val az nem volt túl meggyőző.
ilyesmi modelleket futtattam:
de egy opengl-es háromszög kirajzolás is nehézségekbe ütközött. egyszer majdnem elsőre futtatható kódot generált. amikor megpróbáltam websearchet engedni neki akkor totál bekattant, lehet a kis context miatt.
meg claude code alá is betoltam 1-2 modellt, de az is vagy hangelt vagy hülyeséget csinált.
a terv az lenne hogy 2 vagy 4 használt RTX3090-et kéne venni, ha életképesnek tűnne. vagy nagyon csóró setupnak 4 x rtx3060, ha olyannal működne.
A gond az, hogy pl. a claude Opus 4.6 is 1TB+ -os modell, de programozáshoz még így is sok kört kell futni vele, mire olyan a végeredmény, amire azt mondja az ember, hogy ez már jobb.
A lokális LLM-ekkel kb. esélytelen barmilyen értelmes munkát végezni, mert ilyen 32 billió paraméterekről beszélünk csak. Ami 1.2- 1.5 TB felett van, na azzal már lehet kezdeni produktív dolgokat viszonylag megbízhatóan, csak ugye ott meg az van amit írtam előzőleg.
Lenne még a Kimi 2.7 ami programozáshoz állítólag megközelíti az opus 4.6-ot (és csak azt...), de annak is olyan memória igénye van, hogy hagyjuk is.
Levontam a konzekvenciát, és rájöttem, tíz milliók kellenek, hogy építs lokálisan olyat, amivel lehet gond nélkül dolgozni, programozni, a többi csak bohóckodás és időpazarlás. Na ez a gond: ez a hw igény miatt soha nem lehet profitábilis, még az LLM szolgáltatóknak sem, miközben annyi energiát fogyasztanak a szerverparkok, hogy az fenntarthatatlan (like cryptoláz * 10 vagy * 100)! És akkor itt is bejön a hasonlóság a kriptoláz végével, amikor már nem érte meg HW-ba fektetni, hogy bányássz, mert nem térült meg az ára soha. Ja, ASIC-okat is lehetett elofizus módon bérelni (újabb hasonlóság), de hát valójában az sem érte meg.
Csak kalkulálj: még ha régi HW-t is veszel, többet, a befektetett pénz és az utána használat közbeni fogyasztás kifizetése megéri-e tudsz-e belőle profitot varázsolni? Válasz: nem :D
Persze itt most szigorúan komplex feladatról beszélünk (coding), mert például kissebb modellek amúgy másra befoghatók ugyesen: automatizálások, tts vagy stt meg ilyenek.
"Aztakibebaszott eget, lett egy matchem Tinderen"
nem azt akarom hogy "fejből" tudja hogy kell holdjárót programozni, de valami coding harnessel ha tudna dokumentáció vagy web search alapján dolgokat csinálni az már egész jó lenne.
csak tényleg jó lenne ha megállna csillió pénz alatt, mondjuk ha 500k környékén kijönne. mert akár egy deepseek v4 flash is elméletileg elérhető közelségben van, elvileg az AMD gorgon halo 192GB-vel jön, csak az inkáb 2milla környékén lesz. strix halo 1.5 körül van 128-al.
majd lehet megpróbálok akkor utánanézni, csak ha helyben lett volna megoldásod azt nagyon értékelné a lustaságom :D