LLM i agenci nie niszczą edukacji. Niszczą sposób sprawdzania wiedzy, który i tak był słaby

 


Co drugi nagłówek od dwóch lat zapowiada koniec uczelni. Prowadzę zajęcia z sieci neuronowych i podstaw AI, więc mam wgląd w to, co faktycznie się zmieniło. Zmieniło się dużo, tylko nie to, o czym piszą portale.

Zniknęła nie wiedza, tylko wiarygodność pewnej formy zaliczenia

Projekt do zrobienia w domu i oddania na koniec semestru przestał cokolwiek mierzyć. To nie jest nowa diagnoza, gdyż ta forma była dziurawa, zanim w ogóle pojawiły się modele językowe. Zawsze można było zlecić, skopiować, dostać od starszego rocznika. Różnica polega na tym, że próg wejścia spadł do zera i dziura przestała być marginesem, a stała się regułą. Agenci przesunęli to jeszcze dalej. Wcześniej student dostawał od modelu fragment kodu i musiał go choć trochę posklejać. Dziś dostaje działający projekt razem ze strukturą plików. Sklejanie też zniknęło.

Co widać na sali, czego nie widać w pracy oddanej przez studenta

Oddany kod działa i wygląda poprawnie. Pytanie, dlaczego wybrano tę funkcję straty, kończy się ciszą. Pytanie, co się stanie, jeśli zmienimy jeden parametr, kończy się zgadywaniem. Wsytko stało się jasne, rośnie odsetek projektów, których autor nie umie obronić.

To nie znaczy, że student nic nie umie. Czasem umie sporo, tylko nigdy nie musiał tego pokazać inaczej niż w pliku,  on przestał być dowodem na cokolwiek.

Niektóre zadania w ogóle tego nie zauważyły

Warto zobaczyć, co nie padło. Zadanie „zepsuj ten model na trzy sposoby i przewidz, jak każdy z nich się objawi“ działa dokładnie tak samo jak dwa lata temu. Model chętnie je rozwiąże, ale student i tak musi zrozumieć odpowiedź, żeby powiedzieć na głos, który sposób wybrał i dlaczego. Podobnie jest z zadaniami na własnych danych z zajęć, z obroną projektu przy tablicy, z poprawianiem cudzego błędnego kodu. Wspólny mianownik jest jeden: liczy się rozumowanie wypowiedziane na żywo, a nie artefakt przyniesiony z domu.

Innymi słowy, narzędzie nie zniszczyło zadań, które sprawdzały myślenie. Zniszczyło te, które sprawdzały posiadanie pliku.

Czego tu nie przyznajemy

Muszę uczciwie powiedzieć drugą rzecz, bo bez niej ten tekst byłby wygodnym samousprawiedliwieniem. Zadania sprawdzające myślenie są dużo droższe. Obrona projektu przy dziesięciu osobach w grupie to dziewięćdziesiąt minut na grupę, a nie wieczór z plikami. Przy liczbie studentów, jaką mają polskie uczelnie, i przy pensum, jakie ma asystent, to nie jest kwestia dobrej woli, tylko arytmetyki. Dlatego forma „oddaj projekt“ trzymała się tak długo: nie dlatego, że była dobra, tylko dlatego, że się skalowała. Uczelnie są w sytuacji, w której jedyna forma, która działała przy tej skali, przestała działać, a zamiennik kosztuje czas, którego nikt nikomu nie dołoży.

Co z tego wynika dla studenta

Jedna praktyczna rzecz. Jeśli oddajesz projekt, którego nie umiesz obronić, to nie oszukałaś/-eś systemu. Oszukałaś siebie, bo pierwszy moment, w którym coś nie zadziała, obnaży to natychmiast, i nie będzie to egzamin, tylko rozmowa o pracę albo pierwszy prawdziwy projekt. Używaj modeli. Ja używam. Tylko zrób jeden dodatkowy krok: zanim oddasz, zadaj sobie trzy pytania o to, co właśnie oddajesz, i sprawdź, czy umiesz odpowiedzieć bez zaglądania do czatu. Jeśli nie umiesz, to nie jest jeszcze twój projekt.

Puenta na koniec

Pytanie „czy AI zniszczy edukację“ jest wygodne, bo pozwala nic nie zmieniać i czekać na wynik. Pytanie, które naprawdę trzeba zadać, brzmi inaczej: co właściwie sprawdzamy, wystawiając ocenę, i czy sprawdzaliśmy to kiedykolwiek, czy tylko sprawdzaliśmy, kto przyniósł plik.

Komentarze

Popularne posty