Китай е номер 1 в PISA – но ето защо резултатите от тестовете му са трудни за вярване

Китай е номер 1 в PISA – но ето защо резултатите от тестовете му са трудни за вярване

Континентален Китай беше големият победител в наскоро публикуваните резултати по Програмата за международно оценяване на учениците, която тества 15-годишни ученици в десетки страни по математика, четене и природни науки на всеки три години. С 600 000 ученици от 79 страни и училищни системи, които се явиха на изпит през 2018 г., четири провинции в Китай – които за PISA представляват континентален Китай – бяха общо класирани номер 1 и по трите предмета.

Но има добра причина да гледате резултатите от континентален Китай със скептицизъм и това е темата на тази публикация от Том Лавлес, експерт по постиженията на учениците, тестовете, образователната политика и училищната реформа на K-12.

Бивш учител в шести клас и професор по политика в Харвард, Лавлес беше старши сътрудник по изследвания на управлението и директор на Браун център за образователна политика към базираната във Вашингтон организация Brookings Institution с нестопанска цел. Той написа 16 тома „Докладът на центъра на Браун за американското образование“, годишен доклад, анализиращ важни тенденции в образованието.

Рекламната история продължава под рекламата

Това не е първият път, когато Loveless коментира резултатите от PISA от Китай. През 2013 г. написах публикация, поставяща под въпрос №1 в класацията на Шанхай в PISA за 2012 г. В тази тестова администрация американските студенти се представиха не по-добре от средното сред 65 държави и образователни системи (както обикновено).

Когато резултатите за 2012 г. бяха публикувани в края на 2013 г., Организацията за икономическо сътрудничество и развитие, която спонсорира PISA, заяви, че училищата, използвани в извадката от Шанхай, представляват 15-годишното население на града. Loveless, тогава в института Брукингс, и някои китайски експерти казаха, че децата мигранти рутинно са били изключвани от училищата в Шанхай, който е по-богат от останалата част на Китай. ОИСР застана зад резултатите.

Между другото, в резултатите от PISA за 2018 г. Сингапур беше втори и по трите предмета. Учениците от САЩ се класират на осмо място по четене, 11-о по природни науки и 30-о по математика, с резултати, които не са се променили значително от началото на PISA преди няколко десетилетия.

Рекламната история продължава под рекламата

От Том Лавлес

Излязоха резултатите от PISA за 2018 г. Като цяло страните постигат резултати в рамките на очаквания диапазон, като се имат предвид предишните им рекорди. Освен един. Резултатите са удивителни за B-S-J-Z, акроним за четирите китайски провинции, които участваха: Пекин, Шанхай, Дзянсу и Жедзян. От 77 международни системи, B-S-J-Z отбеляза номер 1 и по трите предмета: четене, математика и природни науки.

Четирите китайски провинции, приемащи PISA, се промениха от 2015 г. на 2018 г., като Жедзян зае мястото на Гуандун. Резултатите на групата за 2018 г. са драматично по-високи от тези на групата от 2015 г. (която подходящо се нарича B-S-J-G). Всъщност разликите са толкова големи, че непременно ще повдигнат вежди.

Историята продължава под рекламата

Резултатите на B-S-J-Z са с 61 точки по-високи (494 срещу 555) при четене, с 60 точки по-високи (531 срещу 591) по математика и с невероятните 72 точки по-високи (518 срещу 590) в науката. Колко необичайни са тези разлики? За да отговоря на този въпрос, разгледах данните от PISA от 2006-2015 г.

За всеки тригодишен тестов интервал изчислих промените за всяка страна в трите теста PISA и ги преобразувах в абсолютни стойности. Това доведе до 497 наблюдения със средна стойност от 9,5 точки и стандартно отклонение от 8,6.

Така че типичната промяна в резултатите на нацията е около 10 точки. Разликите между китайските участници от 2015 г. и 2018 г. са поне шест пъти повече. Разликите също са поне седем пъти повече от стандартното отклонение на всички интервални промени. Много необичайно.

Историята продължава под рекламата

Разумна хипотеза е, че промяната на провинциите, участващи в PISA, дори ако е само една от четирима група, е повлияла на резултатите от теста. Всъщност, когато първоначално съставих тема за Twitter по тази тема, пренебрегнах промяната и третирах разликите в резултатите за 2015-2018 г., сякаш участващите провинции са едни и същи. Извинявам се за грешката. Моята грешка обаче подчертава по-големия проблем: че резултатите от PISA от Китай трябва да се разглеждат скептично.

Защо Гуангдонг, най-гъсто населената провинция в Китай, беше отпаднала от участие и беше добавен Жедзян? Само съвпадение ли е, че резултатите се повишиха след промяната?

Миналите резултати от PISA за китайски провинции бяха поставени под въпрос (от мен и други) поради унищожаващия ефект на hukou върху населението на 15-годишните - и заради това, че ОИСР позволява на Китай да одобрява кои провинции могат да бъдат тествани. През 2009 г. тестовете PISA бяха проведени в 12 китайски провинции, включително няколко селски района, но бяха публикувани само резултати от Шанхай.

Историята продължава под рекламата

Три години по-късно Би Би Си съобщи: „Китайското правителство досега не е позволило на ОИСР да публикува действителните данни“. И до днес данните не са оповестени.

ОИСР отговори на миналите критики, като атакува критиците и извършва прегледи на данни при закрити врати. Облак надвисва над резултатите от PISA от китайски провинции. Настоятелно призовавам ОИСР да оповести възможно най-скоро резултатите от всички проверки на качеството на данните за 2018 г., които са били проведени, заедно с оценки, дезагрегирани по провинции, както от участниците от 2015 г., така и от 2018 г.

Доверието на международните оценки се основава на прозрачността на тестовите процедури, включително как се избират участниците и правилата за отчитане на резултатите от теста. ОИСР рискува да подкопае доверието в PISA, като не бъде открито по отношение на провеждането на оценката в Китай.