Czy prompt engineering naprawdę umarł? Nie, zmienił się tylko kontekst

Dziś będzie kontrowersyjnie, czyli praktycznie to, co lubię. Być może czytaliście to w innym miejscu, w końcu temat dość nośny ostatnio, więc dorzucam swoje trzy grosze. Moim zdaniem pytanie, czy prompt engineering się skończył, jest źle postawione. W matematyce nazwalibyśmy je zagadnieniem źle postawionym: takim, które przy tych danych nie ma jednego dobrego rozwiązania. Bo skończyło się dobieranie słów w pojedynczej wiadomości. Nie skończyło się decydowanie o tym, co model w ogóle widzi, a to zawsze była trudniejsza połowa roboty.

Przez pierwsze lata praca z modelem językowym wyglądała tak, że siedziało się nad jednym akapitem instrukcji. Przestawiało się zdania, dopisywało „krok po kroku", zmieniało kolejność wymagań, aż w końcu odpowiedź trafiała w to, o co chodziło. To rzeczywiście umarło i nikt nie powinien za tym tęsknić. Serio. Nowsze modele nie potrzebują zaklęć, żeby zrozumieć zwykłe polecenie napisane po ludzku.

Tyle że kiedy słowa przestały być wąskim gardłem, wąskim gardłem zostało coś innego: materiał. Model odpowiada wyłącznie na podstawie tego, co ma w kontekście. Nie na podstawie tego, co wiesz Ty, nie na podstawie tego, co jest w twoich plikach, tylko tego, co faktycznie do niego trafiło w tej konkretnej chwili. Cała reszta dla niego nie istnieje. Nie możesz mieć pretensji, że minął się z kontekstem, którego tak naprawdę mu nie przekazałeś. 

I tu zaczyna się prawdziwa robota. Musisz wiedzieć, które fragmenty dokumentacji podać, a które są tylko szumem. Czy wkleić całą pracę, czy trzy właściwe akapity? Ile poprzedniej rozmowy zostawić, zanim zacznie ciążyć bardziej, niż pomagać. Co odciąć, żeby model nie ciągnął ustaleń, które już nie obowiązują. Żadne z tych pytań nie jest pytaniem o sformułowanie. Wszystkie są pytaniami o dobór materiału.

Widać to najlepiej po tym, jak wyglądają błędy. Kiedyś zła odpowiedź brała się z niejasnego polecenia i naprawiało się ją przeredagowaniem zdania. Dziś zła odpowiedź prawie zawsze bierze się z tego, że modelowi zabrakło informacji albo dostał ich za dużo naraz. Przeredagowanie prośby niczego tu nie zmieni, bo problem nie leży w prośbie.

Znam ten sam mechanizm z drugiej strony, z uczenia modeli na obrazach medycznych. Tam też przez lata wierzono, że o wyniku decyduje architektura sieci, więc dokładano warstwy, zmieniano funkcje aktywacji i porównywano warianty. Potem okazywało się, że model osiąga świetne liczby, bo nauczył się rozpoznawać producenta skanera albo sposób opisania zdjęcia, a nie zmianę chorobową. Zysk był nie w tym, co robiła sieć, tylko w tym, co jej podano. Modele językowe przechodzą teraz dokładnie tę samą lekcję, tyle że szybciej.

Muszę oddać sprawiedliwość tym, którzy ogłaszają koniec. Duża część tego, co sprzedawano jako prompt engineering, faktycznie była wydmuszką. Listy gotowych szablonów, obietnice napiwku dla modelu, kazanie, mu wcielić się w eksperta z trzydziestoletnim stażem. To wszystko przestało robić różnicę, bo nigdy jej specjalnie nie robiło. Umarła moda, nie umiejętność.

Bo pod spodem została ta sama kompetencja, która była tam od początku: umieć powiedzieć precyzyjnie, czego się chce i podać do tego właściwy materiał. Pierwsza połowa stała się łatwiejsza. Druga wcale nie, i to ona decyduje o wyniku.

Więc nie, inżynieria promptu nie umarła. Przestała być pisaniem próśb i stała się zarządzaniem tym, co model widzi. Nazwa jest tu najmniej istotna.