AI bije rekordy w testach. Ale czy naprawdę staje się mądrzejsza?

 

Wyobraźmy sobie, że szukamy najlepszego modelu sztucznej inteligencji. Otwieramy ranking i widzimy, że jeden model osiągnął 94 punkty, drugi 89, a trzeci 85. Wybór jest oczywisty, ale czy na pewno? A co, jeśli model z najwyższym wynikiem świetnie rozwiązuje zadania przygotowane na potrzeby benchmarku, ale znacznie gorzej radzi sobie z problemami, które rzeczywiście chcemy mu powierzyć?

Co więcej, czy zastanawialiśmy się, kto przygotował ten test, jakie pytania w nim umieścił i dlaczego właśnie takie? Bo wynik benchmarku zależy nie tylko od możliwości modelu, ale również od sposobu zaprojektowania samego testu.

Benchmark, czyli egzamin dla sztucznej inteligencji

Rozwińmy pojęcie benchmarka, aby zrozumieć o co chodzi. Benchmark to zestaw zadań pozwalających ocenić określone możliwości modelu AI. Możemy sprawdzać rozumowanie matematyczne, generowanie kodu, wiedzę specjalistyczną, rozumienie tekstu czy wykonywanie instrukcji. Zasada wydaje się prosta. Przygotowujemy pytania, określamy sposób oceniania i sprawdzamy, jak dobrze radzą sobie poszczególne modele.

Dzięki temu możemy porównywać różne rozwiązania w podobnych warunkach. Problem polega na tym, że każdy benchmark mierzy jedynie wybrany fragment możliwości systemu. Model może świetnie rozwiązywać pytania wielokrotnego wyboru, ale mieć trudności z prowadzeniem wieloetapowej analizy. Może poprawnie generować krótkie fragmenty kodu, a jednocześnie popełniać błędy podczas pracy nad większym projektem.

Liang i współautorzy w pracy Holistic Evaluation of Language Models (2022) zwrócili uwagę, że ocena modeli językowych nie powinna ograniczać się do jednej metryki czy jednego rodzaju zadania [1]. Znaczenie mają również między innymi niezawodność, odporność na zmiany danych, bezpieczeństwo oraz efektywność. Innymi słowy, model nie jest po prostu dobry albo zły. Może być bardzo dobry w jednym zastosowaniu i znacznie mniej użyteczny w innym.

Kto tworzy benchmark, ten ustala zasady gry?

Prawda jest taka, że kto tworzy taki zestaw testów, ten ma władzę. To aspekt, który moim zdaniem jest zbyt rzadko poruszany podczas dyskusji o rankingach modeli AI, bo benchmark nie powstaje samodzielnie. Ktoś musi zdecydować, jakie zadania znajdą się w zestawie testowym, jak zostaną sformułowane pytania, jakie odpowiedzi uznamy za poprawne i według jakich kryteriów ocenimy wyniki. Wyobraźmy sobie benchmark skoncentrowany głównie na języku angielskim. Model osiągający w nim doskonałe wyniki niekoniecznie będzie równie skuteczny podczas pracy z tekstami w języku polskim. Podobnie test składający się przede wszystkim z zadań matematycznych może faworyzować inne możliwości niż benchmark wymagający interpretacji publikacji naukowych.

W 2021 roku Dehghani i współautorzy opisali problem określany jako The Benchmark Lottery [2]. Autorzy zwrócili uwagę na to, że wybór benchmarków wpływa na kierunek rozwoju modeli oraz na wnioski dotyczące ich jakości. Systemy mogą być optymalizowane pod kątem popularnych zestawów testowych, choć nie zawsze oznacza to równie duży postęp w innych zastosowaniach.

A co, jeśli benchmark ocenia inny model AI?

W przypadku modeli językowych coraz częściej wykorzystuje się podejście LLM-as-a-Judge, w którym jeden model ocenia odpowiedzi drugiego. Brzmi wygodnie, ale pojawia się kolejny problem.

Zheng i współautorzy (2023) wykazali, że modele pełniące funkcję oceniających mogą przejawiać określone uprzedzenia, między innymi preferować odpowiedzi dłuższe albo być wrażliwe na kolejność prezentowanych odpowiedzi [3]. W efekcie wynik może zależeć nie tylko od poprawności rozwiązania, lecz również od sposobu jego przedstawienia.

Czy autor benchmarku może mieć konflikt interesów?

Tu dochodzimy do sedna - tak, może. Jednak to znów nie jest takie czarno-białe. Jeżeli organizacja rozwijająca własny model jednocześnie projektuje benchmark służący do jego oceny, pojawia się potencjalny konflikt interesów. Nie oznacza to automatycznie manipulowania wynikami. Wymaga jednak większej przejrzystości metodologicznej i niezależnej weryfikacji.

Warto wiedzieć, kto przygotował zadania, czy zestaw był modyfikowany po poznaniu wyników, jakie zastosowano kryteria oceniania i czy inni badacze mogą odtworzyć eksperyment. Bo czasami pytanie nie brzmi wyłącznie: Który model wygrał”, ale również: Kto przygotował konkurencję i według jakich zasad wyłoniono zwycięzcę?. No właśnie. 

Co w przypadku, gdy AI znało pytania przed egzaminem?

Zaczyna się robić gorąco. Wyobraźmy sobie studenta, który przed egzaminem otrzymał dokładnie te same pytania, które później pojawiły się na teście. Uzyskał świetny wynik, ale czy oznacza to, że doskonale opanował cały materiał? Niekoniecznie. Mógł po prostu idealnie trafiać w klucze odpowiedzi. Mógł też spotkać się już z podobnymi pytaniami, więc rył na pamięć.

Podobny problem występuje podczas oceniania modeli językowych. Określa się go jako benchmark data contamination, czyli zanieczyszczenie danych testowych. Współczesne modele uczone są na ogromnych zbiorach tekstów. Mogą znajdować się w nich również pytania i rozwiązania pochodzące z publicznie dostępnych benchmarków.Jeżeli model zetknął się z nimi podczas treningu, późniejszy wynik może nie odzwierciedlać wyłącznie zdolności do rozwiązywania nowych problemów.

Deng i współautorzy (2024) analizowali problem zanieczyszczenia popularnych benchmarków i zaproponowali metody pomagające wykrywać potencjalną znajomość elementów zestawów testowych przez modele [4]. Oczywiście, wcześniejszy kontakt z podobnym zadaniem nie oznacza automatycznie, że model jedynie zapamiętał odpowiedź. Problem polega na tym, że sam wynik końcowy nie zawsze pozwala rozróżnić zapamiętanie przykładu od wykorzystania ogólnej umiejętności.

Zatem wysoka punktacja nie musi więc oznaczać, że model równie dobrze poradzi sobie z zupełnie nowym zadaniem.

Benchmarki też mają termin przydatności

Wraz z rozwojem modeli AI część benchmarków przestaje być wystarczająco wymagająca. Jeżeli niemal wszystkie najlepsze modele osiągają bardzo wysokie wyniki, test coraz słabiej pokazuje różnice pomiędzy nimi. Zjawisko to określamy jako benchmark saturation, czyli nasycenie benchmarku.

W pracy When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation Akhtar i współautorzy (2026) przeanalizowali 60 benchmarków modeli językowych [5]. Badacze stwierdzili, że niemal połowa analizowanych zestawów wykazywała oznaki nasycenia. Zaobserwowali również, że problem nasilał się wraz z wiekiem benchmarku. Nie wystarczy stworzyć trudny test i wykorzystywać go przez kolejne lata.

W pewnym momencie może on przestać dostarczać informacji potrzebnych do porównywania coraz bardziej zaawansowanych modeli. Nie oznacza to, że wcześniejsze wyniki były bezwartościowe. Oznacza jedynie, że narzędzie pomiarowe może wymagać aktualizacji.

Czy można stworzyć egzamin, którego AI jeszcze nie zna?

Jedną z odpowiedzi jest regularne przygotowywanie nowych zadań. Taką koncepcję wykorzystano w projekcie LiveBench, przedstawionym przez White'a i współautorów (2025) [6]. W przeciwieństwie do tradycyjnych, niezmiennych zestawów testowych LiveBench wykorzystuje zadania aktualizowane na podstawie nowych źródeł informacji. Stosuje również odpowiedzi możliwe do obiektywnej oceny, co ogranicza konieczność powierzania oceniania innemu modelowi językowemu. Nie eliminuje to wszystkich problemów związanych z benchmarkami, ale pokazuje, że sposób ich projektowania również musi ewoluować.

Najlepszy model w rankingu nie zawsze będzie najlepszy dla nas

Załóżmy, że szukamy modelu wspierającego analizę publikacji naukowych. Jeden model zajmuje pierwsze miejsce w popularnym rankingu, ponieważ świetnie rozwiązuje zadania matematyczne i programistyczne. Drugi osiąga nieco niższy wynik ogólny, ale lepiej radzi sobie z analizą długich dokumentów, wskazywaniem niepewności i pracą na dostarczonych źródłach. Który z tych modeli będzie lepszy? No cóż, to zależy od zastosowania.

W pracy naukowej nie interesuje nas przecież wyłącznie to, czy model potrafi udzielić poprawnej odpowiedzi na pojedyncze pytanie. Chcemy również wiedzieć, czy potrafi zachować spójność podczas dłuższej analizy, poprawnie wykorzystać dostarczone informacje i nie przedstawiać niepotwierdzonych twierdzeń jako faktów. W medycynie problem staje się jeszcze poważniejszy.

Model, który dobrze rozwiązuje test wiedzy medycznej, nie musi automatycznie dobrze radzić sobie z rzeczywistymi przypadkami klinicznymi. Egzamin zawiera zwykle uporządkowane informacje i określony zestaw odpowiedzi. Rzeczywistość jest znacznie mniej przewidywalna, gdyż dane mogą być niekompletne, objawy mogą być nietypowe, a podjęcie decyzji może wymagać uwzględnienia informacji, których nie było w pytaniu testowym.

Dlatego wynik benchmarku powinien być punktem wyjścia do oceny modelu, a nie jej ostatecznym rozstrzygnięciem.

Czy AI naprawdę staje się mądrzejsza?

Odpowiedzmy sobie na pytanie z dzisiejszego wpisu. Rozwój modeli sztucznej inteligencji jest rzeczywisty. Coraz lepsze wyniki w testach często odzwierciedlają faktyczną poprawę ich możliwości. Nie powinniśmy jednak utożsamiać każdego wzrostu punktacji z równie dużym postępem w praktycznym zastosowaniu. Benchmark jest narzędziem pomiarowym, a każde narzędzie pomiarowe ma swoje ograniczenia. 

Może być zbyt łatwe, niedopasowane do zadania, podatne na zanieczyszczenie danych albo skonstruowane w sposób sprzyjający określonym typom modeli. Dlatego gdy następnym razem zobaczymy informację, że nowy model AI pobił rekord w kolejnym rankingu, warto zadać sobie trzy pytania: co właściwie mierzył ten test? Kto go przygotował i według jakich zasad? Czy jego wyniki mają znaczenie dla problemu, który rzeczywiście chcemy rozwiązać? Dokładnie te same pytania, które zadałam niedawno w rolce na Instagramie. Pomiędzy zdaniem egzaminu a rzeczywistym opanowaniem umiejętności istnieje różnica. Myślę, że nie dotyczy ona tylko ludzi.

Literatura

[1] Liang, P., Bommasani, R., Lee, T., et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110. https://doi.org/10.48550/arXiv.2211.09110

[2] Dehghani, M., et al. (2021). The Benchmark Lottery. NeurIPS 2021, Datasets and Benchmarks Track. https://arxiv.org/abs/2107.07002

[3] Zheng, L., Chiang, W.-L., Sheng, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, 36. https://arxiv.org/abs/2306.05685

[4] Deng, C., Zhao, Y., Tang, X., Gerstein, M., & Cohan, A. (2024). Investigating Data Contamination in Modern Benchmarks for Large Language Models. Proceedings of NAACL 2024. https://aclanthology.org/2024.naacl-long.482/

[5] Akhtar, M., Reuel, A., Soni, P., et al. (2026). When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation. Proceedings of the 43rd International Conference on Machine Learning. https://proceedings.mlr.press/v306/akhtar26a.html

[6] White, C., Dooley, S., Roberts, M., et al. (2025). LiveBench: A Challenging, Contamination-Limited LLM Benchmark. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2406.19314