AI ta Krajta #51 | context window 12M tokenů, tajná válka o Manus AI a proč přejít na Read Only AI
🔥 Další díl AI ta Krajta! 51. epizoda, kde řešíme model s 12 miliony tokenů, geopolitiku kolem Manus AI a proč by vaše AI měla pouze číst, ale ne psát. V tomto díle otevíráme novinkami o modelu s neuvěřitelným kontextovým oknem 12 milionů tokenů, které slibuje škálování čistě lineárně a pojme celou Malazskou knihu padlých hned dvakrát. Dále se podíváme na geopolitické drama kolem akvizice Manus AI společností Meta, kterou překazil čínský zásah a zastavení akvizice. Kačka se hlásí živě z konference Machine Learning Prague s postřehy o nutnosti interpretability modelů ve financích a evaluacích AI agentů. Přidáváme i tip na nový nástroj MCPC od Apify, který chytře kombinuje standardy MCP s CLI rozhraním pro úsporu kontextu, a bavíme se i o hackování benchmarků s menšími modely. Druhá půlka epizody se nese ve znamení „distillation panic“ a etiky open-weight modelů. Rozebíráme článek od Nathana Lamberta a to, jak čínské laboratoře údajně zneužívají API Anthropicu pro destilaci, a proč je hranice mezi běžným používáním a nelegální těžbou dat pro trénink tak tenká. S tím souvisí i fascinující experimenty s decenzurou modelů pomocí vektorů v lineární algebře – zatímco cenzurovaný malý model vám na výrobu výbušniny z halucinace poradí mouku a cukr, necenzurovaný velký model už sype konkrétní chemikálie. Je pro naši bezpečnost lepší modely držet pod pokličkou velkých korporací, nebo bojovat za „suverénní AI“ fungující plně lokálně? Závěr věnujeme konceptu kognitivních výparů a tvorbě digitálního druhého mozku. Představujeme filozofii Read Only AI, která pouze integruje historii vašeho prohlížeče, poznámky či git commity, ale sama za vás nejedná, čímž vás chrání před kontaminací přemýšlení a zamezuje úniku dat. Zamýšlíme se nad rozdíly oproti přístupu Andreje Karpathyho a filozofujeme o tom, zda by mělo být cílem zredukovat svou osobnost do jednoho Markdown souboru, nebo naopak tvořit tak komplexní kontext, který se do žádného okna nevejde. Děkujeme sponzorům: 🚀 Promptbook: https://ptbk.io 🤖 AI supervize: https://ptbk.io/ai-supervize Sítě, kde nás můžete sledovat: ➡️ LinkedIn: https://www.linkedin.com/company/aitakrajta ➡️ Spotify: https://open.spotify.com/show/31vLTHTV4vlCBeHpnbMKlK?si=1e51d95b9d3f46dd ➡️ Apple Podcasts: https://podcasts.apple.com/cz/podcast/ai-ta-krajta/id1813389353 Zdroje k epizodě (ne nutně v pořadí, v jakém se o nich mluví v epizodě): - SubQ (Subquadratic LLM): https://subq.ai/introducing-subq - Novinka od Apify (MCPC): https://github.com/apify/mcpc - Katčin článek o "vektorech zla": https://www.linkedin.com/pulse/directions-evil-kate%C5%99ina-fajmanov%C3%A1-343bf/ - Odkaz na repozitář umožnující decenzuru modelů: https://github.com/p-e-w/heretic - Článek Nathana Lamberta o Distillation Panic: https://open.substack.com/pub/robotic/p/the-distillation-panic?r=2mwbq1&utm_campaign=post&utm_medium=email - Odkaz na Šimonovy sljdy ke kognitivním výparům: https://slides.podhajsky.net/read-only-ai/1 - Odkaz na Šimonovu přednášku na AI Enigneer konferenci: https://www.youtube.com/watch?v=u0TOSBbAw7c - Odkaz na výzkum CrowdStrike o zranitelnostech v kódu souvisejících s "politickým" biasem v DeepSeeku: https://www.crowdstrike.com/en-us/blog/crowdstrike-researchers-identify-hidden-vulnerabilities-ai-coded-software/ - Odkaz na článek o "emergent misalignmentu": https://martins1612.github.io/emergent_misalignment_betley.pdf Kapitoly: 00:00 - Úvod a poděkování sponzorům (Promptbook) 00:38 - Nový model slibující kontextové okno 12 milionů tokenů 04:06 - Geopolitika v AI: Kauza akvizice Manus AI společností Meta 06:12 - Report z Machine Learning Prague a interpretabilita modelů 07:36 - Nástroj MCPC od Apify a prolomení evaluací s malými modely 09:45 - Distillation panic a nelegální získávání dat z velkých API 11:50 - Trénování Gemmy a multi-token prediction pro lokální inferenci 14:11 - Decenzura open-weight modelů: Lineární algebra v praxi 22:04 - Suverénní AI, ochrana duševního vlastnictví a lokální modely 30:12 - Kognitivní výpary a koncept Read Only AI pro druhou paměť 33:47 - Alternativní přístupy k second brainu: Karpathy vs. integrita 40:24 - Redukce osobnosti do Markdownu a závěrečné zamyšlení
