Hozzászólások
Elsődleges fülek
A gond az, hogy pl. a claude Opus 4.6 is 1TB+ -os modell, de programozáshoz még így is sok kört kell futni vele, mire olyan a végeredmény, amire azt mondja az ember, hogy ez már jobb.
A lokális LLM-ekkel kb. esélytelen barmilyen értelmes munkát végezni, mert ilyen 32 billió paraméterekről beszélünk csak. Ami 1.2- 1.5 TB felett van, na azzal már lehet kezdeni produktív dolgokat viszonylag megbízhatóan, csak ugye ott meg az van amit írtam előzőleg.
Lenne még a Kimi 2.7 ami programozáshoz állítólag megközelíti az opus 4.6-ot (és csak azt...), de annak is olyan memória igénye van, hogy hagyjuk is.
Levontam a konzekvenciát, és rájöttem, tíz milliók kellenek, hogy építs lokálisan olyat, amivel lehet gond nélkül dolgozni, programozni, a többi csak bohóckodás és időpazarlás. Na ez a gond: ez a hw igény miatt soha nem lehet profitábilis, még az LLM szolgáltatóknak sem, miközben annyi energiát fogyasztanak a szerverparkok, hogy az fenntarthatatlan (like cryptoláz * 10 vagy * 100)! És akkor itt is bejön a hasonlóság a kriptoláz végével, amikor már nem érte meg HW-ba fektetni, hogy bányássz, mert nem térült meg az ára soha. Ja, ASIC-okat is lehetett elofizus módon bérelni (újabb hasonlóság), de hát valójában az sem érte meg.
Csak kalkulálj: még ha régi HW-t is veszel, többet, a befektetett pénz és az utána használat közbeni fogyasztás kifizetése megéri-e tudsz-e belőle profitot varázsolni? Válasz: nem :D
Persze itt most szigorúan komplex feladatról beszélünk (coding), mert például kissebb modellek amúgy másra befoghatók ugyesen: automatizálások, tts vagy stt meg ilyenek.
v4 flash-t már 200GB-vel is kényelmesen lehet futtatni, ha jól tudom. azért előtte érdemes lehet egy gyors számolást végezni, hogy mennyibe kerül egy olyan setup vs előfizu (mert amúgy az olcsóbbak között van Mtokenenként).
de ilyen ratyi kis 128GB-s macen is elindul elvileg.
rwurl=https://imgur.com/a/tW0LnR2
amúgy pont mostanában gondolkoztam azon, hogy kéne self hosted llm-et csinálni, de még az ötlettől nem jutottam sokkal messzebb.
nem tudsz valami leírást fogyatékosoknak hogy kell ilyet futtatni? jelenleg egy 7900XT 20GB van meg linux.
de amit eddig próbáltam ollama-val az nem volt túl meggyőző.
ilyesmi modelleket futtattam:
de egy opengl-es háromszög kirajzolás is nehézségekbe ütközött. egyszer majdnem elsőre futtatható kódot generált. amikor megpróbáltam websearchet engedni neki akkor totál bekattant, lehet a kis context miatt.
meg claude code alá is betoltam 1-2 modellt, de az is vagy hangelt vagy hülyeséget csinált.
a terv az lenne hogy 2 vagy 4 használt RTX3090-et kéne venni, ha életképesnek tűnne. vagy nagyon csóró setupnak 4 x rtx3060, ha olyannal működne.
A kézpénzes vécésnéni nél nyilván. Meg hát nyilván vizelni vennék okosórát. Egyszerűbb, telefonhoz hozzám vágott eszközöm amúgy van, azzal szoktam beúszni, de azon nincs Revolut.
@InGen
Társaságban esetleg megiszom egy-egy ótvar sört másokkal, ha csak az van, de csak úgy rohadtul nincs rá igényem. Alapvetően sporthoz sem iszom, ha nem társasági esemény, mert pont nem az a cél, hogy lerontsam a pozitív hatásait, pláne olyasvalamivel, aminek rossz is az íze.
Én 5:0-át tippeltem, kicsit túlteljesített mindkét csapat... :D
Közben a DeepSeek kiadta a V4-et, open source, bárki futtathatja offline, akinek van csekély 400GB+ RAM-va vagy VRAM-ja :D
Erről eszembe jutott, hogy ez pont az, mint a crypto láznál volt: akinek van brutális mennyiségű pénze, az tudja használni az AI modelleket (crypto: több ASIC-ot tudott venni, még több pénzt tudott "nyomtatni" ), közben felfújva a HW árakat.
Mivel nem lehet igazából on-prem AI-t csak úgy használni értelmes dolgokra, emiatt sose lesz ennek jövője, hacsak nem gombokért lehet majd kapni RAM-ot vagy nagy mennyiségű VRAM-mal szerelt ASIC...bocsánat, celhardvert...
jó hát akkor nézzük a német sortüzet ezek szerint, végülis az is valami 😅
Jah, papírforma innentől kezdve, és nem is túl érdekes mérkőzés ahogy mondtad / ahogy várható volt
okosóra kell strandoláshoz, amivel tudtok revolut-tal fizetni és no problemo.
Kicsit érthetetlen, főleg hogy a két hardver között ha jól értem az egyetlen különbség, hogy a windowsosban nincs LAN vezérlő. Ezzel itt mi lehetett az Nvidia célja?
Eléggé fura, hogy a DGX Spark kvázi a saját linux rendszerükkel fut csak, az RTX Spark meg NEM támogatja a Linuxot. Okozott is némi zavart a leendő userek körében. Elég sok olyan AI cucc van, ami Linux alatt nem kicsit jobban megy.
A tegnapi Svájc meccs marha unalmas volt. Előtte viszont ismételték az USA meccset és az nem volt rossz.
Ma végre DEUTSCHLAND!
Szükség törvényt bont alapon se fér bele a Dreher?
Jó persze, ha az ember deklaráltan úszni megy le egyet, és egyébként a közeli bázison várja az utánpótlás, akkor nem annyira égető a dolog. Én mondjuk nem vagyok közvetlen a part mellett, két utca felfelé, tehát mondjuk bringával 3 perc, de szeretek úszás után ott helyben pihegni egyet némi sörrel.
KB ez. Gyakran megyík le én is pénz nélkül.
Kevés szabadstrandon adnak normálisat.
Ezt a szcenariót nem tudom elképzelni. Akkor hogy veszel sört az úszás előtt ÉS után?
Eleve gyakran úgy megyek szabadstrandra úszni, hogy nincs nálam pénztárca vagy telefon, mert a vízben nem kell. Azok nélkül pedig nehézkes fizetni. És akkor abba bele sem mentünk, hogy sok esetben direkt készpénz kellene.
Pig
Egy ideje nézegettem már, de nem volt rá időm.
Elrabolt malacét indul útnak Nic Cage, de nem a sablonos "visszavonult CIA mumus vagyok az erdőből" úton indul film és kifejezetten üdítő lett a vége.
Mert az is milyen jól bejött hogy kína nem vehet high end gpu-kat. Jól felpörgették a kínai félvezerőipari fejlesztéseket.
Anthropic:
The US government, citing national security authorities, has issued an export control directive to suspend all access to Fable 5 and Mythos 5 by any foreign national, whether inside or outside the United States, including foreign national Anthropic employees.
The net effect of this order is that we must abruptly disable Fable 5 and Mythos 5 for all our customers to ensure compliance.
Access to all other Claude models is not affected.
We apologize for this disruption to our customers. We believe this is a misunderstanding and are working to restore access as soon as possible.
Én azt látom, hogy a nyomtatóink mechanikailag előbb fogják feladni, mintsem baleset történjen, vagy nem lesz driver :D
Szerencséd volt. Nem mondhatom, hogy gyakori eset de párral már találkoztam egy esetben ment a szemétbe a nyomtató. Volt egy olyan eset is, hogy más kialakítású volt a toner az elején volt egy dudor ott ahol az eredeti toneren nem volt és emiatt nem lehetett becsukni az előlapi ajtót így nyomtatni sem lehetett.
Az én nyomimba 7500 ft a gyári toner, ami 2000 lapot bír, 6 év alatt 2 darabot használtunk el. Nem vagyunk power esőerdő irtók, de időnként jó, hogy tudunk nyomni. Nincs kedvem ezen spórolni. Utángyártott van 800-4000-ig, ami arányaiban óriási különbség is lehet, de összességében nem ér annyit az egész, hogy ezzel én foglalkozzak.
Az eredeti kérdésem csak azért merült fel, mert már keletkezett 2 üres toner, és hátha a hulladékudvaron kívül máshol is beveszik.
Végül ahol megvettem az újat, annyit mondtak, hogy ők toner vásárlásakor bevesznek egy üres betétet, de ennyi. Akik foglalkoznak utántöltéssel, azok lehet, hogy beszámítanák, de nem árulta el, hol találok ilyet. :-D
15 éve használunk utángyártottat. Fel sem vetődött ilyesmi
Tüneti kezelés. Szóra sem érdemes. Az Y club, ha nem hoz cigó előadókat, nem jön cigó, nincs probléma.
Az, hogy az emberek hugyoznak, mindig is alapállás volt. Azzal példálóztak, hogy de hát kísérleti jelleggel nyitva vót estére a WC, oszt a csapot is lelopták... Ja, kérem, ki az a felelőtlen hülye, aki azt hiszi, alkalmazott nélkül lehet hagyni értéket?
3 városi, 4 strand klotyesz üzemel Lellén. Mind fizetős, és este zárva van. 400 ez egy hugyozás. Persze, hogy oldalba vizelik, meg a tóba járnak helyette. Erre nincs pénz a szarásig fizetett IPA-ból meg IFA-ból. Hétvégén nem ürítik a köztéri kukákat. Ezeken kéne változtatni, máris kultúráltabban néznénk ki.
in the grey
sztem baromi jopofa, kicsit lassan indul de aztan felporog.
Mokinak nem ajanlom. ;D
Még tegnap a Holland - Japán meccs alatt akartam kérdezni, hogy miért játszanak a japók annyit fejre, mikor feleakkorák, mint a hollandok... amikor gépelés közben pont gólt fejeltek. Úgyhogy inkább nem írtam :D