Ten artykuł, tak jak wszystkie teksty na christianitas.org publikowany jest w wolnym dostępie. Aby pismo i portal mogły trwać i się rozwijać potrzebne jest Państwa wsparcie, także finansowe. Można je przekazywać poprzez serwis Patronite.pl. Z góry dziękujemy.

 

Współczesny system egzaminacyjny powstał między innymi po to, aby usunąć niesprawiedliwość. Nauczyciel zna swojego ucznia, może go lubić albo nie lubić, może mieć lepszy lub gorszy dzień, może być pobłażliwy albo nadmiernie surowy. Egzaminator zewnętrzny nie zna nazwiska autora pracy, posługuje się jednolitymi kryteriami, a jego ocena podlega weryfikacji. Im bardziej szczegółowe kryteria, im dokładniejsza punktacja i im staranniej opisane procedury, tym mniej — przynajmniej w teorii — miejsca pozostaje na ludzką arbitralność.

Trudno odmówić temu rozumowaniu pewnego rodzaju racjonalności. Problem polega na tym, że po latach doskonalenia systemu zaczynają się pojawiać przesłanki wskazujące, iż mechanizm ten może działać również w przeciwnym kierunku. Próba wyeliminowania subiektywności przez coraz dalej idącą formalizację niekoniecznie prowadzi do obiektywizmu. Może prowadzić do arbitralności innego rodzaju: ukrytej w procedurach, rozproszonej pomiędzy kolejne szczeble systemu i — co najważniejsze — opatrzonej autorytetem liczby.

Gdy 20 procent zmienia się w 51

28 sierpnia 2026 roku „Więź” opublikowała rozmowę Agaty Kulczyckiej z Pawłem Lęckim zatytułowaną „Matura jak loteria. Paweł Lęcki: system jest skrajnie uznaniowy”. Lęcki jest polonistą, wieloletnim egzaminatorem maturalnym i jednym z nauczycieli od lat krytykujących sposób oceniania matury z języka polskiego. W tym roku od początku lipca przeczytał — jak mówi — kilkaset prac udostępnionych mu przez maturzystów po wglądach do arkuszy, pomagając im bezpłatnie ocenić, czy istnieją podstawy do odwołania.[1]

Jeden z opisanych przez niego przypadków szczególnie dobrze pokazuje skalę problemu. Wynik matury rozszerzonej z języka polskiego po odwołaniu został zmieniony z 20 na 51 procent. Uczniowi dodano sześć punktów za kompetencje literackie i kulturowe, cztery za język oraz jeden za spójność. Łącznie — jedenaście punktów.

W przypadku egzaminu, którego wynik decyduje o rekrutacji na studia, nie jest to kosmetyczna poprawka. To różnica mogąca rozstrzygnąć o wyborze kierunku, uczelni, a niekiedy w praktyce o całym kolejnym etapie życia młodego człowieka.

Jeszcze bardziej elementarny jest inny przypadek. Egzaminator policzył, że wypracowanie liczy 298 słów. Ponieważ wymagane minimum wynosiło 300, nie oceniono części kryteriów dotyczących języka, struktury, spójności, ortografii i interpunkcji. Uczeń matury nie zdał.

Lęcki policzył tekst ponownie. Poprosił o to samo inną nauczycielkę, która wydrukowała pracę i ponumerowała każde słowo. Były 303.

Przy 298 słowach uczeń nie zdał matury. Przy 303 — zdał.

Co więcej, zgodnie z procedurą niezdana praca powinna zostać dodatkowo przeczytana przez weryfikatora i przewodniczącego zespołu. Jeśli relacja jest dokładna, oznacza to, że prostego błędu rachunkowego nie zauważyły trzy osoby.

Można oczywiście odpowiedzieć, że każdy masowy system popełnia błędy. Przy setkach tysięcy arkuszy pewna liczba omyłek jest nieunikniona. Byłoby nawet podejrzane, gdyby nie zdarzały się nigdy.

Rzecz jednak nie sprowadza się do omyłek.

Lęcki zwraca uwagę, że podstawowy problem tkwi w samych kryteriach oceniania. Posługują się one takimi pojęciami jak „funkcjonalność”, „częściowa funkcjonalność”, argumentacja „zadowalająca”, „powierzchowna” czy „bogata”. Kategorie te mają być elementami precyzyjnego systemu punktowego, ale same wymagają interpretacji. Jak mówi Lęcki: „Tego nie da się precyzyjnie zdefiniować, nawet jeśli kryteria rozpisze się na kilkunastu stronach”.

Tu dochodzimy do paradoksu.

System zewnętrznych egzaminów miał ograniczyć uznaniowość pojedynczego nauczyciela. Jego ocenę zastąpiono jednolitymi kryteriami, szczegółową punktacją, szkoleniem egzaminatorów, weryfikacją ich pracy i procedurą odwoławczą. Im dokładniejszy stawał się system, tym mniej miejsca miało pozostać dla subiektywnego osądu.

Tymczasem Lęcki twierdzi, że gdyby te same dwadzieścia arkuszy przekazać trzem różnym grupom egzaminatorów, każda z nich uzyskałaby inny zestaw wyników. Jeżeli ma rację choćby co do istoty zjawiska, rodzi się zasadnicze pytanie: czy postępująca formalizacja rzeczywiście usunęła uznaniowość, czy tylko nadała jej inną postać?

To już nie są anegdoty

Gdybyśmy dysponowali wyłącznie relacją jednego nauczyciela, można byłoby uznać ją za głos szczególnie krytycznego obserwatora. Problem w tym, że podobny obraz wyłania się z kontroli Najwyższej Izby Kontroli dotyczącej oceniania matur w latach 2021–2024.[2]

Liczba wniosków o wgląd do pracy maturalnej wzrosła w tym okresie z około 32 tysięcy do 53 tysięcy, a liczba wniosków o weryfikację punktów — z około 9 do 16 tysięcy. Jednocześnie liczba osób zdających maturę spadła z około 360 do 308 tysięcy.

Jeszcze bardziej niepokojący jest rezultat samych weryfikacji. W latach 2021–2024 liczba prac, w których po interwencji zdającego stwierdzono błędną ocenę wymagającą zmiany świadectwa, wynosiła kolejno 2309, 2637, 3878 i 3457. NIK podsumowała to następująco: w skali kraju co czwarta praca poddana weryfikacji na wniosek maturzysty została wcześniej oceniona nieprawidłowo.[3]

Oczywiście, nie oznacza to, że błędnie oceniana jest co czwarta matura. Ponownej weryfikacji podlega około jednego procenta wszystkich prac, a o sprawdzenie proszą przede wszystkim abiturienci mający powody podejrzewać, że otrzymali niewłaściwy wynik. Nie wolno więc ekstrapolować 25 procent na wszystkie egzaminy. Ale dokładnie z tego samego powodu nie wolno wyciągnąć wniosku przeciwnego. Nie wiemy, ile błędów pozostaje niewykrytych, ponieważ maturzysta, który spodziewał się 70 procent, a otrzymał 67, ma znacznie mniejszą motywację do uruchamiania procedury niż ten, któremu dwóch punktów zabrakło do zdania albo do przyjęcia na medycynę. Sama NIK zwraca uwagę na ten problem.

W przypadku języka polskiego odsetek pozytywnie rozpatrywanych wniosków o weryfikację wynosił w kolejnych latach 18, 20, 19 i 17 procent. W liczbach bezwzględnych zmieniono wyniki odpowiednio 514, 660, 986 i 807 prac. W 52 przypadkach różnych przedmiotów podwyższenie wynosiło ponad 20 punktów, z czego aż 30 dotyczyło języka polskiego. Największe korekty sięgały 50 punktów procentowych.[4]

Jeszcze ciekawsze są wyniki dotyczące samych egzaminatorów. W OKE w Poznaniu odsetek egzaminatorów, u których ujawniono błędy merytoryczne, wzrósł z 10 procent w 2021 roku do 20 procent w 2024. Podczas szkolenia egzaminatorów biologii w 2023 roku dwa przykładowe rozwiązania zostały ocenione niezgodnie z oceną wzorcową odpowiednio przez 59 i 56 procent uczestników. Następnego dnia egzaminatorzy ci przystępowali do oceniania rzeczywistych prac maturalnych.[5]

Nie mamy zatem do czynienia wyłącznie z publicystyczną opowieścią kilku sfrustrowanych nauczycieli. Istnienie poważnego problemu potwierdził organ kontroli państwowej.

W tym miejscu należy zadać pytanie bardziej zasadnicze. Czy odpowiedzią powinno być stworzenie jeszcze dokładniejszych kryteriów?

Paradoks formalizacji

Pierwszym odruchem nowoczesnej biurokracji jest zwykle poprawienie procedury. Skoro dwóch egzaminatorów różnie interpretuje odpowiedź, trzeba dokładniej opisać kryterium. Jeżeli nowe kryterium rodzi wątpliwości, trzeba stworzyć jego wykładnię. Jeżeli wykładnia jest różnie stosowana, potrzebna będzie instrukcja dla weryfikatorów. Następnie szkolenie, kontrola szkolenia i procedura odwoławcza. I tak to właśnie działa, jak wynika z rozmów z egzaminatorami. Każdy z tych kroków rozpatrywany osobno jest przecież rozsądny. Paradoksem jest to, że suma rozsądnych kroków może jednak prowadzić do rezultatu nierozsądnego.

Poszukując przecięcia tego gordyjskiego węzła, zacząłem zastanawiać się czy nie zachodzi tu analogia do logicznego twierdzenia Gödla. Ten słynny matematyk udowodnił, że w systemach sformalizowanych… dowodzenie bywa niemożliwe. Czy więc w praktycznych sformalizowanych systemach nie może być tak, że uzyskanie zamierzonego rezultatu obiektywizmu okazuje się nieosiągalne?

Oczywiście bezpośrednie zastosowanie takiej analogii jest zbyt śmiałe, ale niezwykle ciekawe światło rzuciły na to odnalezione na tej drodze wyniki badań z dziedziny nauk społecznych. Pierwszą jest prawo wywodzące się z analiz polityki pieniężnej Charlesa Goodharta: kiedy wskaźnik zaczyna być używany jako cel sterowania systemem, traci część swojej wartości jako wskaźnik.[6] Jeszcze bliżej problemu edukacyjnego znajduje się sformułowana przez Donalda T. Campbella prawidłowość dotycząca wskaźników społecznych: im bardziej ilościowy wskaźnik wykorzystywany jest do podejmowania ważnych decyzji, tym silniejszej podlega presji i tym bardziej może deformować proces, który miał monitorować.[7]

Matura doskonale pokazuje ten mechanizm. Jej pierwotnym przedmiotem jest wiedza i intelektualna sprawność młodego człowieka: rozumienie tekstu, znajomość literatury, zdolność rozumowania, argumentacji i poprawnego posługiwania się językiem. Tego wszystkiego nie możemy jednak bezpośrednio umieścić w tabeli rekrutacyjnej. Potrzebujemy wskaźnika. Powstają więc zadania, kryteria i punkty, a na końcu liczba: 28, 72 czy 91 procent.

W pewnym momencie system edukacyjny zaczyna jednak optymalizować nie to, co liczba miała reprezentować, lecz samą liczbę. Uczeń uczy się pisać „pod maturę”, nauczyciel uczy techniki zdobywania punktów, wydawnictwa przygotowują materiały „pod klucz”, egzaminator zaś nie ma już przede wszystkim odpowiedzieć na pytanie, czy maturzysta rozumie problem i potrafi o nim sensownie myśleć, lecz czy w jego odpowiedzi można zidentyfikować element odpowiadający określonemu kryterium. Miara zaczyna zastępować rzecz mierzoną.

Arbitralność nie znika. Zmienia adres

Tu pojawia się jeszcze poważniejszy problem. Formalizacja miała usunąć arbitralność nauczyciela. W rzeczywistości może jedynie przenieść arbitralność na inny poziom. W dawnym systemie profesor Kowalski mógł ocenić ucznia niesprawiedliwie. Profesor Nowak mógłby tę samą odpowiedź ocenić inaczej. Centralizacja próbuje temu zapobiec, odbierając Kowalskiemu i Nowakowi część swobody i zastępując ją jednolitą instrukcją. Ale instrukcję również ktoś napisał.

Ktoś zdecydował, co jest warunkiem formalnym, ile błędów powoduje utratę określonej liczby punktów, czym jest „funkcjonalne” wykorzystanie utworu, jakie odpowiedzi należy uznać za równoważne i gdzie dokładnie przebiega granica pomiędzy dwiema kategoriami punktowymi. Nie zlikwidowaliśmy więc ludzkiego osądu. Przenieśliśmy go z miejsca oceniania pracy do miejsca konstruowania procedury.

Ma to bardzo istotną konsekwencję. Błąd pojedynczego nauczyciela jest lokalny. Błąd wpisany w kryterium zostaje zwielokrotniony przez cały system. Standaryzacja zmniejsza rozrzut ocen, ale może jednocześnie zwiększyć zasięg błędu systemowego. Powstaje przy tym jeszcze jedno złudzenie. Ocena „dobry plus” wygląda na subiektywną. Wynik „73 procent” wygląda na obiektywny. Tymczasem liczba może być końcowym rezultatem całego szeregu wcześniejszych decyzji jakościowych i uznaniowych. Precyzja wyniku nie jest jeszcze dowodem precyzji pomiaru.

Rzetelność nie jest trafnością

Psychometria od dawna rozróżnia dwie własności pomiaru, które w potocznym myśleniu łatwo pomylić: jego rzetelność i trafność. Można skonstruować procedurę, dzięki której dwóch egzaminatorów będzie niemal zawsze przyznawało tę samą liczbę punktów. Będzie to znaczące osiągnięcie w zakresie powtarzalności. Nie wynika z niego jednak jeszcze, że przyznawane punkty dobrze odpowiadają rzeczywistym kompetencjom ucznia. Waga, która za każdym razem zawyża wynik o pięć kilogramów, jest doskonale powtarzalna, ale pozostaje złą wagą.

W przypadku języka polskiego problem staje się szczególnie wyraźny, ponieważ przedmiotem oceny są między innymi takie rzeczy jak rozumienie sensu tekstu, jakość argumentacji czy zdolność interpretacji. Możemy oczywiście próbować rozłożyć je na coraz drobniejsze składniki i każdemu przypisać odpowiednią liczbę punktów. Nie mamy jednak gwarancji, że suma tego, co udało się sformalizować, pozostanie tym samym, co chcieliśmy pierwotnie ocenić. Przypomina się tu konstatacja Michaela Polanyi z „The Tacit Dimension”, że „wiemy więcej, niż potrafimy powiedzieć”.[8] Wiedza ekspercka zawiera składnik milczący, którego nie można w całości przekształcić w jawny zestaw reguł.

Doświadczony polonista potrafi rozpoznać znakomite wypracowanie. Może wskazać wiele jego zalet i uzasadnić swoją ocenę. Nie znaczy to jednak, że potrafi stworzyć algorytm pozwalający tysiącu innych osób rozpoznawać wszystkie znakomite wypracowania dokładnie tak samo. To nie jest wada polonistyki. Tak działa znaczna część ludzkiej wiedzy praktycznej.

Nie istnieje procedura doskonała

Wracam tu do pomysłu odwołania się do twierdzeń Gödla o niezupełności systemów formalnych. Intuicja jest pociągająca: oto również tutaj napotykamy granicę tego, co można rozstrzygnąć za pomocą sformalizowanego systemu reguł. Trzeba jednak tej analogii używać bardzo ostrożnie. Twierdzenia Gödla dotyczą określonej klasy systemów formalnych zdolnych wyrażać arytmetykę. Procedura oceniania matury takim systemem nie jest. Z Gödla nie wynika więc żadne twierdzenie o koniecznej niesprawiedliwości egzaminów państwowych. Ale też trzeba pamiętać, że wynik Gödla został otrzymany dzięki sformalizowanemu przypisaniu liczby do każdego logicznego dowodu.

Istnieją jednak inne rezultaty teoretyczne, które powinny nauczyć nas większej pokory wobec marzenia o idealnej procedurze. Klasycznym przykładem jest twierdzenie Kennetha Arrowa o niemożliwości. Kenneth Arrow wykazał, że nie da się stworzyć idealnego sposobu podejmowania decyzji zbiorowych. Jeżeli wiele osób ma różne preferencje — na przykład każdy układa kandydatów w wyborach od najlepszego do najgorszego — nie istnieje taka metoda przeliczenia tych indywidualnych wyborów na jeden wynik społeczny, która zawsze spełniałaby wszystkie, wydawałoby się oczywiste, zasady sprawiedliwości i racjonalności. Z pewnych rozsądnych wymagań trzeba więc zrezygnować: problemu nie da się rozwiązać przez skonstruowanie jeszcze bardziej pomysłowej ordynacji.[9]

Twierdzenie Arrowa również oczywiście nie jest twierdzeniem o maturze. Pokazuje jednak coś ważnego filozoficznie: niektóre zestawy oczekiwań wobec procedury mogą być wewnętrznie niemożliwe do jednoczesnego spełnienia.

A czego oczekujemy od matury z języka polskiego? Ma być identyczna w całym kraju, obiektywna, odporna na sympatie i antypatie egzaminatora, dokładnie punktowana i porównywalna statystycznie. Jednocześnie ma mierzyć samodzielność myślenia, oryginalność interpretacji, zdolność argumentowania, wrażliwość na język i znajomość literatury. Powinna dopuszczać rozwiązania nieprzewidziane przez autora zadania, a zarazem pozwalać tysiącom egzaminatorów oceniać je według jednolitych kryteriów. Na końcu zaś powinna z dostateczną dokładnością rozstrzygnąć, czy jeden kandydat zasługuje na 81, a drugi na 82 procent, ponieważ ten jeden punkt może decydować o przyjęciu na studia. Być może tych wszystkich postulatów nie da się spełnić jednocześnie? A jeżeli tak jest, kolejne uszczegółowianie kryteriów nie rozwiązuje zasadniczego problemu. Może go nawet pogłębiać.

Człowiek czy zestaw kompetencji?

Spór o maturę odsłania bowiem problem znacznie szerszy niż jakość pracy CKE. Nowoczesna edukacja coraz chętniej opisuje człowieka za pomocą „kompetencji”. Kompetencje mają tę niezwykłą zaletę, że można je definiować, dzielić na poziomy, operacjonalizować, mierzyć i porównywać. Dzięki temu szkołą można zarządzać.

Tylko czy ostatecznym celem wykształcenia jest człowiek posiadający odpowiednio wysokie wartości zestawu wskaźników?

Klasyczne rozumienie edukacji wychodziło z innego założenia. Educatio oznaczało prowadzenie człowieka ku pewnej formie dojrzałości. Nauczyciel nie był operatorem procedury dostarczającej uczniowi mierzalnych kompetencji, lecz kimś, kto sam posiadając określoną wiedzę i sprawność intelektualną, wprowadzał w nią ucznia.

Relacja ta była z natury osobowa i asymetryczna. Mistrz znał ucznia. Oceniał nie tylko wykonanie konkretnego zadania, ale sposób rozumowania. Mógł zadać dodatkowe pytanie, zażądać uzasadnienia, zauważyć błyskotliwą intuicję ukrytą pod nieporadnym sformułowaniem albo przeciwnie — odkryć, że pięknie brzmiąca odpowiedź skrywa niezrozumienie problemu.

Oczywiście taki system również może być niesprawiedliwy. Mistrz może być próżny, stronniczy albo zwyczajnie głupi. Nie istnieje jednak system wychowawczy, który usunie konsekwencje ludzkiej niedoskonałości.

To właśnie może być jednak lekcją płynącą z doświadczenia współczesnej matury. Próba wyeliminowania ludzkiej niedoskonałości przez usunięcie ludzkiego osądu niekoniecznie prowadzi do sprawiedliwości. Może jedynie sprawić, że osąd staje się mniej widoczny i trudniejszy do zakwestionowania.

AI zmienia warunki gry

Rozwój generatywnej sztucznej inteligencji nadaje temu problemowi zupełnie nowy wymiar. Przez ostatnie dziesięciolecia system edukacyjny przesuwał się w stronę zadań, których wykonanie można standaryzować i mierzyć. Tymczasem właśnie takie zadania maszyny wykonują coraz lepiej.

Napisanie poprawnego streszczenia, uporządkowanie argumentów, sporządzenie typowej rozprawki, wyszukanie informacji, zastosowanie schematu rozwiązania — wszystko to jeszcze niedawno mogło uchodzić za łatwo mierzalny dowód kompetencji ucznia. Dzisiaj coraz częściej może być dowodem kompetencji użytego modelu językowego. Możemy oczywiście rozpocząć kolejny wyścig formalizacji: systemy wykrywania AI, regulaminy, zakazy urządzeń, nowe typy zadań, nowe procedury kontroli. Zapewne część tych środków będzie potrzebna. Można jednak wyciągnąć wniosek odwrotny.

Skoro coraz trudniej ocenić człowieka na podstawie produktu, który przed nami położył, być może trzeba wrócić do człowieka. Egzamin ustny, rozmowa, obrona własnego stanowiska, pytanie zadane nieoczekiwanie, konieczność wyjaśnienia własnego rozumowania — to wszystko jeszcze niedawno mogło wyglądać jak archaiczna pozostałość szkoły profesorów, katedr i egzaminów komisyjnych. W epoce sztucznej inteligencji może się okazać rozwiązaniem zaskakująco nowoczesnym.

Ale należałoby pójść jeszcze dalej. Nie chodzi tylko o zastąpienie jednego rodzaju egzaminu innym. Chodzi o ponowne przemyślenie celu kształcenia. Jeżeli celem jest produkowanie mierzalnych kompetencji, sztuczna inteligencja będzie coraz skuteczniej podważała sens wielu stosowanych przez nas miar. Jeśli natomiast celem jest ukształtowanie człowieka zdolnego rozumieć rzeczywistość, odróżniać argument mocny od słabego, formułować sądy, przyjmować krytykę, bronić stanowiska i zmieniać je pod wpływem lepszego argumentu — wówczas nauczyciel znów staje się kimś więcej niż funkcjonariuszem systemu egzaminacyjnego. Staje się mistrzem.

Nie oznacza to nostalgicznego postulatu likwidacji matury i powrotu do szkoły sprzed stu lat. Masowy system edukacyjny potrzebuje wspólnych standardów i jakiejś formy zewnętrznej kontroli. Powinniśmy jednak porzucić przekonanie, że im dokładniej człowieka zmierzymy, tym lepiej go poznamy. Być może właśnie odwrotnie: po przekroczeniu pewnej granicy precyzja pomiaru zaczyna przesłaniać przedmiot, który miał być mierzony.

Najważniejszym rezultatem edukacji nie jest przecież człowiek, któremu poprawnie przypisaliśmy 82 procent kompetencji. Jest nim człowiek, który nauczył się myśleć.

Michał Jędryka

 

Drogi Czytelniku, prenumerata to potrzebna forma wsparcia pracy redakcji "Christianitas", w sytuacji gdy wszystkie nasze teksty udostępniamy online. Cała wpłacona kwota zostanie przeznaczona na rozwój naszego medium, nic nie zostaje u pośredników, a pismo jest dostarczane do skrzynki pocztowej na koszt redakcji. Co więcej, do każdej prenumeraty dołączamy numer archiwalny oraz książkę z Biblioteki Christianitas. Zachęcamy do zamawiania prenumeraty już teraz. Wszystkie informacje wszystkie informacje znajdują się TUTAJ. 

 

 

Przypisy

1. A. Kulczycka, Matura jak loteria. Paweł Lęcki: system jest skrajnie uznaniowy, "Więź", 28 VIII 2026.
   Najwyższa Izba Kontroli, System sprawdzania i oceniania egzaminów maturalnych w latach 2021–2024, nr ewid. I/24/003/LPO, Warszawa–Poznań 2025.

2. Tamże. W latach 2021–2024 liczba wniosków o wgląd wzrosła z ok. 32 tys. do 53 tys., wniosków o weryfikację z 9 tys. do 16 tys., podczas gdy liczba zdających zmalała z 360 tys. do 308 tys. Liczba prac, których błędna ocena spowodowała konieczność wymiany świadectwa, wyniosła kolejno 2309, 2637, 3878 i 3457.

   Tamże. Dla języka polskiego odsetek pozytywnie rozpatrzonych wniosków o weryfikację wynosił: 18 proc. w 2021 r., 20 proc. w 2022 r., 19 proc. w 2023 r. i 17 proc. w 2024 r.

   Tamże. NIK wskazuje również, że w OKE w Poznaniu udział egzaminatorów, u których ujawniono błędy merytoryczne, wzrósł z 10 proc. w 2021 r. do 20 proc. w 2024 r.

   C.A.E. Goodhart, Problems of Monetary Management: The U.K. Experience, w: tenże, Monetary Theory and Practice: The U.K. Experience, London 1984, s. 91–121. Reguła znana obecnie jako „prawo Goodharta” wyrosła z wcześniejszych analiz autora dotyczących używania wskaźników monetarnych jako celów polityki.

   D.T. Campbell, Assessing the Impact of Planned Social Change, Occasional Paper Series, nr 8, Evaluation Center, Western Michigan University 1976; przedruk: „Journal of MultiDisciplinary Evaluation” 7 (2011), nr 15, s. 3–43.

   M. Polanyi, The Tacit Dimension, Doubleday, Garden City, N.Y. 1966, s. 4.

   K.J. Arrow, Social Choice and Individual Values, Wiley, New York 1951. Arrow wykazał niemożność skonstruowania funkcji społecznego wyboru spełniającej równocześnie określony zestaw naturalnie wyglądających warunków. Przywołanie jego twierdzenia ma tutaj charakter analogii metodologicznej, nie zastosowania matematycznego twierdzenia do systemu egzaminacyjnego.