A black-box feltevés igazából csak a belső reprezentációkra (embeddings) vonatkozik, a mai technológiák (Mixture of Experts, Model Context Protocol, AI agents/orchestration, “reasoning” models stb) már inkább kontrollált alkalmazások, amelyeknek csak elemei a nagy (és kisebb) nyelvi modellek. A fekete dobozság minél inkább kiküszöbölendő, de abban sohasem lehetünk teljesen biztosak, hogy amikor felhatalmazunk egy AI alkalmazást valamire, akkor valóban garantálni tudjuk, hogy megmaradjon a kijelölt homokozójában. Vannak magyar kutatók is, akik ennek a matematikai alapjain dolgoznak, és egyre több pénz ömlik az AI biztonságtechnikába és szabályozásba is (pl. az USA rengeteg AI szabályozást csinált a tavaly, sokkal többet, mint az EU, lásd https://hai.stanford.edu/ai-index/2025-ai-index-report, 8-as kiemelt pont).
Ez egy olyan dolog, hogy “menet közben megpatkoljuk”, ami valóban nem bizalomgerjesztő, különösen mivel még mindig gyorsuló ütemben fejlődik a dolog.
Hogy miért csináljuk? Hát nem csak azért, hogy csevegni lehessen velük. Sok területen valósággal berobbantotta a kutatások hatékonyságát, lásd a 2024-es Nobel díjakat (is).
A gépházból azt üzenem, hogy a mérnökökben nem bízni egészséges hozzáállás, és a kívülállók visszajelzései, beleértve az ilyen írásokat, kritikusan fontosak.
Releváns szempontokat vet fel és jól.
A black-box feltevés igazából csak a belső reprezentációkra (embeddings) vonatkozik, a mai technológiák (Mixture of Experts, Model Context Protocol, AI agents/orchestration, “reasoning” models stb) már inkább kontrollált alkalmazások, amelyeknek csak elemei a nagy (és kisebb) nyelvi modellek. A fekete dobozság minél inkább kiküszöbölendő, de abban sohasem lehetünk teljesen biztosak, hogy amikor felhatalmazunk egy AI alkalmazást valamire, akkor valóban garantálni tudjuk, hogy megmaradjon a kijelölt homokozójában. Vannak magyar kutatók is, akik ennek a matematikai alapjain dolgoznak, és egyre több pénz ömlik az AI biztonságtechnikába és szabályozásba is (pl. az USA rengeteg AI szabályozást csinált a tavaly, sokkal többet, mint az EU, lásd https://hai.stanford.edu/ai-index/2025-ai-index-report, 8-as kiemelt pont).
Ez egy olyan dolog, hogy “menet közben megpatkoljuk”, ami valóban nem bizalomgerjesztő, különösen mivel még mindig gyorsuló ütemben fejlődik a dolog.
Hogy miért csináljuk? Hát nem csak azért, hogy csevegni lehessen velük. Sok területen valósággal berobbantotta a kutatások hatékonyságát, lásd a 2024-es Nobel díjakat (is).
A gépházból azt üzenem, hogy a mérnökökben nem bízni egészséges hozzáállás, és a kívülállók visszajelzései, beleértve az ilyen írásokat, kritikusan fontosak.
Ezt a kommentet nagyon köszönöm, nagyon értékes!