Black Friday je tady. Sleva 50 % na akademie, kurzy i webináře
Testování a bezpečnost generativní AI
- Level
- Kapitol
- 35
- Kategorie
- Umělá inteligence (AI)
- Hodnocení
- 5,0 z 5
- Délka
- 3h 39min
- Jazyk
- SK
Popis online kurzu Testování generativní AI
Postavit prototyp s jazykovým modelem dnes zvládne každý za jedno odpoledne. Ale jak zjistíte, jestli vaše aplikace odpoví správně i na tisící otázku, kterou jste jí sami nikdy nepoložili? Jestli nová verze promptu kvalitu skutečně zlepšila, nebo ji jen změnila? A jestli váš chatbot neprozradí system prompt prvnímu zvědavému uživateli – nebo nepošle firemní data na cizí adresu jen proto, že si přečetl otrávený dokument? Klasické testování softwaru na tyto otázky nestačí: jazykové modely jsou nedeterministické, „poslouchají“ instrukce ukryté v datech a mýlí se přesvědčivě.
Tento kurz je praktický testovací žebřík. Začneme úplně dole – ručním zkoušením modelu v chatu s testovacím deníkem v ruce – a vyšplháme se až k automatizovaným red-teamingovým útokům na agenta, který jedná vaším jménem. Cestou si v Pythonu napíšete první pytest testy pro výstupy LLM, otestujete agenta s nástroji, postavíte LLM soudce, který za vás hodnotí kvalitu odpovědí, sestavíte evaluační pipeline s čísly namísto pocitu a nakonec si na pěti modelech (Claude, GPT, Gemini, DeepSeek, Mistral) naživo vyzkoušíte, jak se útočí – a jak se bránit.
Kurz je určený vývojářům, kteří už s LLM něco postavili (nebo se na to chystají) a potřebují jistotu před nasazením; QA inženýrům a testerům, kteří chtějí své řemeslo rozšířit o specifika jazykových modelů; a bezpečnostním specialistům, které zajímá prompt injection v praxi, ne v teorii. Hodí se také techničtěji zaměřeným produktovým manažerům – kapitoly 1 a 5 jsou zcela bez kódu. A pokud vás čeká soulad s EU AI Act, článek 15 (přesnost, robustnost, kybernetická bezpečnost) vyžaduje přesně to, co se zde naučíte měřit.
Tento kurz je praktický testovací žebřík. Začneme úplně dole – ručním zkoušením modelu v chatu s testovacím deníkem v ruce – a vyšplháme se až k automatizovaným red-teamingovým útokům na agenta, který jedná vaším jménem. Cestou si v Pythonu napíšete první pytest testy pro výstupy LLM, otestujete agenta s nástroji, postavíte LLM soudce, který za vás hodnotí kvalitu odpovědí, sestavíte evaluační pipeline s čísly namísto pocitu a nakonec si na pěti modelech (Claude, GPT, Gemini, DeepSeek, Mistral) naživo vyzkoušíte, jak se útočí – a jak se bránit.
Kurz je určený vývojářům, kteří už s LLM něco postavili (nebo se na to chystají) a potřebují jistotu před nasazením; QA inženýrům a testerům, kteří chtějí své řemeslo rozšířit o specifika jazykových modelů; a bezpečnostním specialistům, které zajímá prompt injection v praxi, ne v teorii. Hodí se také techničtěji zaměřeným produktovým manažerům – kapitoly 1 a 5 jsou zcela bez kódu. A pokud vás čeká soulad s EU AI Act, článek 15 (přesnost, robustnost, kybernetická bezpečnost) vyžaduje přesně to, co se zde naučíte měřit.
Co se v kurzu Testování generativní AI naučíte
Kurz má pět kapitol, které na sebe navazují jako příčky žebříku – od testů bez jediného řádku kódu až po útoky na agenty.
1. Ruční testování: proč je testování LLM jiný sport
Bez kódu, jen vy, chat a testovací deník. Naučíte se, co vlastně u jazykového modelu testujeme a jak si ruční testování zorganizovat tak, aby po něm něco zůstalo.
- Faktická přesnost a halucinace: jak je vyvolat a zachytit
- Konzistence a citlivost na formulaci promptu
- Zaujatost a férovost odpovědí
- Testovací deník – a kde ruční testování končí
2. Automatizované testy v Pythonu (notebooky 01 a 02)
Od chatu ke kódu. První automatizovaný test výstupu LLM v pytestu a od něj k celé testovací sadě – včetně testování agenta, který volá nástroje.
- Test toho, co model nesmí říct, parametrizované testy, HTML reporty
- Strukturované výstupy s Pydanticem a invarianty: když odpověď vyvrátí sama sebe
- Testování agentů (Google ADK): co agent skutečně zavolal – správný nástroj, správné parametry, správné pořadí
- Hraniční případy a diagnostika: chyba promptu, nebo chyba testu?
3. LLM jako soudce a evaluační pipeline (notebooky 03 a 04)
Některé kvality nelze ověřit porovnáním řetězců – tón, úplnost, etiku. Tehdy potřebujete soudce. Naučíte se ho postavit tak, abyste mu mohli věřit.
- Kdy LLM soudce potřebujete a kdy ho raději nepoužívat
- Pydantic model, judge funkce a poctivé ošetření chyb
- Vícerozměrné hodnocení, prahy kvality a etický soudce pro bankovnictví
- Evaluační pipeline: změříte, zda změna promptu nebo modelu agenta skutečně přinesla zlepšení
4. Bezpečnostní testování a red teaming (notebooky 05 a 06)
Nejoblíbenější část kurzu. Zaútočíte na vlastní aplikaci dříve, než to udělá někdo jiný – a potom ji posílíte.
- Přímé a nepřímé útoky na system prompt: roleplay, „zopakuj vše výše“, speciální tokeny
- Který model odolá? Porovnání robustnosti pěti modelů a hardening system promptu
- Nepřímá injekce v RAG pipeline a otrávená data – útočník s modelem nikdy nemluví přímo
- Obejití LLM guardrailu a jeho hardening; injekce do agenta, který jedná: exfiltrace dat
5. Bonus: můj výzkum
Čtyři vlastní publikace jako živé ukázky toho, jak testování vypadá, když se dělá „naostro“ – mluvím o nich volně, bez kódu.
- Bloom: behaviorální bezpečnostní evaluace modelu s frameworkem od Anthropicu
- GeoBias: geopolitická zaujatost malých jazykových modelů
- Warden: LLM soudce jako obrana proti veřejným jailbreakům
- SelfJudge: dokážou malé modely posuzovat samy sebe?
Co si z kurzu Testování generativní AI odnesete
- Sestavíte testovací sadu pro LLM aplikaci v pytestu – včetně negativních testů („toto model nesmí říct“) a invariantů.
- Postavíte LLM soudce se strukturovaným výstupem a budete vědět, kdy mu věřit a kdy ne.
- Změříte, zda změna promptu nebo modelu kvalitu skutečně zlepšila – evaluační pipeline s čísly namísto pocitu.
- Otestujete vlastní aplikaci proti prompt injection, útokům přes RAG, obcházení guardrailů i injekci do agentů – a budete vědět, jak ji posílit.
- Šest hotových Jupyter notebooků, které si přizpůsobíte vlastnímu projektu.
Vstupní požadavky na kurz
- Základy Pythonu (funkce, slovníky, spuštění Jupyter notebooku). Kapitoly 1 a 5 jsou bez kódu a zvládne je každý.
- Zkušenost s jazykovými modely alespoň na uživatelské úrovni; výhodou je absolvovaný kurz Generativní AI v Pythonu.
- Účet na OpenAI a OpenRouter – celý kurz vás vyjde přibližně na jeden dolar API kreditu. Materiály jsou připravené pro Google Colab, lokálně nemusíte nic instalovat.
Co všechno s kurzem Testování generativní AI získáte
- videotutoriály na téma Testování generativní AI,
- šest praktických Jupyter notebooků a slajdy – záměrně v angličtině, s terminologií, se kterou se setkáte v dokumentaci; průběžně aktualizované na Google Drivu a GitHubu,
- certifikát o absolvování online kurzu Testování generativní AI,
- moderované diskusní fórum, ve kterém na otázky odpovídá autor kurzu
- garance vrácení peněz do 14 dnů v případě nespokojenosti s kurzem.
Kapitoly online kurzu
Úvod do kurzu (2)
Vitajte v kurze
3:42
Materiály a prostredie kurzu
6:31
Úvod do testovania LLM (5)
Prečo je testovanie LLM iný šport
8:42
Faktická presnosť a halucinácie
10:27
Konzistencia a citlivosť na prompt
7:55
Zaujatosť a férovosť
8:59
Testovací denník a kde manuálne testovanie končí
2:18
Manuálne a automatizované testovanie bez LLM (9)
Od chatu ku kódu: prvý automatizovaný test
5:22
Test toho, čo model nesmie povedať
3:59
Testovacia sada v pyteste
6:42
Parametrizované testy
3:10
HTML reporty z pytest
1:42
Testovanie agentov: v čom je to iné
5:34
Pomocná funkcia: čo agent naozaj zavolal
3:04
Správny nástroj, správne parametre, správne poradie
7:06
Hraničné prípady
3:01
LLM ako sudca a evaluačná pipeline (6)
Kedy potrebujete LLM sudcu
3:10
Prvý sudca: Pydantic model, judge funkcia a ošetrenie chýb
9:28
Viacrozmerné hodnotenie a prahy kvality
6:11
Etický sudca pre bankovníctvo
11:23
Cvičenie, zásady a kedy sudcu nepoužiť
10:07
Evaluačná pipeline: prehliadka notebooku 04
4:27
Bezpečnostné testovanie LLM (9)
Prečo testovať bezpečnosť a na čo budeme útočiť
4:08
Priame útoky na system prompt
6:16
Nepriame techniky: roleplay a spol.
8:50
Ktorý model odolá? Porovnanie robustnosti
4:43
Obrana: hardening system promptu
4:03
Nepriama injekcia v RAG pipeline
5:11
Otrávené dáta: zákazník podvádza systém
3:39
Obídenie LLM guardrailu a jeho hardening
5:23
Injekcia do agenta, ktorý koná: exfiltrácia dát
2:37
Môj výskum (bonus) (4)
O čom je táto kapitola?
1:03
Bloom: behaviorálna bezpečnostná evaluácia
15:23
GeoBias: geopolitická zaujatosť malých modelov
14:10
SelfJudge: dokážu malé modely súdiť samy seba?
11:27
Lektor online kurzu
Skúsený praktik v oblasti generatívnej umelej inteligencie, ktorý svoje rozsiahle vedomosti a
skúsenosti čerpá nielen z dlhoročnej práce s týmito modelmi, ale aj z tvorby obsahu a
vzdelávacích kurzov. Je autorom publikácie “Zrkadlo Umelej Inteligencie”. Jeho prednášky,
obohatené o praktické skúsenosti a inovatívne prístupy, rezonujú nielen v akademických
kruhoch na univerzitách, ale aj v korporátnom prostredí medzinárodných spoločností.
4,9
Hodnocení
17
Kurzů
Hodnocení studentů
Hodnocení od studentů zapsaných v kurzu na Skillmea.
5,0 z 5
· 1 hodnocení
Doporučené online kurzy
Carousel
Carousel
Black Friday
Akademie, online kurzy i webináře teď koupíš se slevou 50 %. Rekvalifikační akademii si můžeš koupit přímo, takže nemusíš podávat žádost ani čekat na schválení.
Nepropásni to