Банк тестових завдань — панацея чи плацебо?

Педагогічна спільнота багатьох країн (і не тільки вона) щороку опиняється перед викликом - випускні і вступні іспити. Хоча в різних країнах вони проходять по-різному, основні проблеми досить схожі. Серед них одна постійна - якість екзаменаційних завдань. Наче все має бути просто: спеціальній інституції (назвемо її Національним центром екзаменів- НЦЕ) слід професійно виконати свою роботу - створити бездоганне завдання. Але загальний ажіотаж навколо екзаменів найчастіше "зашкалює". Тому питання таємності та конфіденційності, ціна результату іспиту для кожного, хто його складає, зацікавленість батьків і вчителів, армії приватних репетиторів не дозволяють НЦЕ нормально працювати в "мирних умовах". До цього ще й додаються об'єктивні проблеми: у завданні екзамену мають гармонійно поєднуватися два аспекти - предметний і вимірювальний. Якщо про перший любить говорити більшість (згадуючи свій шкільний досвід), то аналізувати завдання як інструмент вимірювання знань, зрозуміти його статистичні характеристики - охочих значно менше. Але якщо від результату іспиту залежатиме подальший життєвий шлях того, хто його складає (чи вступить він у бажаний університет), то цей аспект стає вкрай важливим.

Як свідчить майже десятилітня історія, в Україні не бракує проблем із централізованими екзаменами ЗНО, і тому охочих допомогти українському НЦЕ - Українському центру оцінювання якості освіти (УЦОЯО) своїми порадами - вистачає. Частина цих порад стосується і створення завдань іспитів. У цій статті спробуємо сфокусуватися на досить привабливому напрямі у створенні завдання іспиту - використанні Банку завдань (БЗ). За цим стоїть досить проста думка: якщо створити великий набір хороших запитань і завдань з кожного предмета, то подальше створення завдання для іспиту перетвориться на простий відбір потрібної кількості запитань. А якість такого екзаменаційного завдання вже гарантована - адже в тому банку поганих запитань немає! Та й саме слово "Банк" якось додає впевненості…

Ідея Банку завдань має зазвичай кілька варіацій і досить багато груп підтримки (деякі з них - з вочевидь вираженими ознаками своєї зацікавленості).

По-перше, хто і як наприкінці "генеруватиме" екзаменаційне завдання? Підхід до цього питання чітко поділяє країни на дві групи - залежно від рівня довіри до фахівців, які працюють у НЦЕ. Наприклад, у більшості західноєвропейських країн такий БЗ розуміють як архів можливих запитань та завдань, що допомагає фахівцям НЦЕ легше створити якісне завдання. Запитання завжди можна взяти з банку, але можна також "позичити" з іспиту попередніх років або з іспитів іншої країни, придумати щось схоже на задачку з підручника. Адже за якість завдання, його внутрішню гармонійність, вимірювальні властивості (як і за конфіденційність) відповідають фахівці НЦЕ, тому їм і вирішувати, як вчинити. У деяких країнах, де до функцій централізованих іспитів червоним уписано боротьбу з корупцією, очікування й надії, що покладаються на БЗ, трохи інші. Головне - чи може БЗ істотно зменшити кількість очей, які бачать екзаменаційні завдання до дня іспиту? В ідеалі, у НЦЕ існує комп'ютерна (конфіденційна!) система, яка одним натисканням відповідної "кнопки" видає потрібну кількість якісних екзаменаційних завдань. А фахівець-предметник такого НЦЕ ці завдання вперше побачить уже після іспиту! Досить різні підходи, і, відтак, важко іноді навіть зрозуміти, яку функцію БЗ акцентують ті, хто його пропонує.

По-друге, вимірювальний бік запитань і завдань, що потрапляють у БЗ. Неначе всім зрозуміло: без такої інформації БЗ перетвориться на простий збірник усіляких запитань та завдань, яких є сотні у книгарнях. Фахівці теорії тестів мають досить розлогий список параметрів кожного запитання - ступінь його складності, дискримінація, різні кореляції... На жаль, ці параметри статистичні, вони залежать і від самого запитання, і від групи учнів, яким воно ставилося, від їх знання та мотивації відповідати. А це означає, що запитання має пройти "польові випробування", якомога ближчі за умовами до тих, у яких воно буде використане в майбутньому. Наче тут усе зрозуміло: НЦЕ постійно створює різні тести, їх дають учням у різних школах країни (не будемо зараз думати про те, наскільки таке напівпримусове тестування порушує нормальне життя в школі, - чого не зробиш задля хорошої ідеї?). Статистична інформація збирається і обробляється, запитання з хорошими параметрами посилаються в БЗ. Обсяг роботи для НЦЕ величезний, але… на те його і створили. "Маленька" проблема - запитання хтось бачитиме до дня іспиту. Але якщо на такому "конвеєрі" перебуває багато запитань, то ймовірність того, що в когось у день справжнього іспиту в завданні буде багато вже відомих запитань, надзвичайно мала. Хоча окремі випадки, звісно, не виключаються, і можливі різні історії "щасливої випадковості" публікації запитань у пресі (особливо в соціальних мережах Інтернету). "Більша" проблема інша - в надійності зібраної статистики про запитання. Адже вона залежить не тільки від рівня знань, а й від настрою учня, котрий відповідає на запитання. Під час справжнього вступного іспиту додаткова мотивація учню не потрібна, він і так старатиметься до останньої хвилини. А під час якогось пробного тесту? Особливо коли цей предмет на іспитах не обов'язковий для всіх, а на вибір учня, наприклад фізика чи хімія. Як визначити групу учнів, більш-менш схожу на тих, хто складатиме той іспит? Але якщо статистика запитання обчислюється на іншій групі учнів, то вона вже не гарантуватиме якості запитання на іспиті. Цілком імовірно , що більшість "важких" на пробах запитань уже будуть середньої складності або навіть легкими. Мотивація учня виконувати тест досить сильно залежить від формату запитання в тесті: учень найчастіше відповідає на запитання, у яких треба вибрати правильний варіант відповіді з переліку відповідей на вибір, але схильний пропускати запитання, які вимагають розгорнутих довгих відповідей. Статистичні характеристики запитань у БЗ стають ненадійними, і тому гарантій якості екзаменаційного завдання без застосування якихось додаткових заходів уже немає. А в цих необхідних додаткових заходах забезпечення якості вже істотно з'являється "людський фактор".

У світі можна знайти багато прикладів того, як НЦЕ намагається боротися з цими проблемами. Наприклад, в Ізраїлі Національний інститут тестування й оцінювання (NITE), відповідальний за вступний централізований екзамен, щороку в завдання, яке дається, вставляє групу запитань для "майбутнього іспиту". За відповіді на ці запитання учні, котрі складають екзамен у нинішньому році, балів не отримають (адже якість цих запитань не гарантується!), але вони ніяк не виділені в завданні окремо. Тож треба однаково старатися відповідати на всі, і статистика запитань буде надійна. Але як тоді показувати завдання після екзамену, як провести апеляцію, як самому учневі (або його вчителю) порахувати можливий результат на іспиті? Як пояснити учневі, що помилився кілька разів (але на запитаннях "нинішнього року"), що його остаточний результат на іспиті значно гірший, ніж у того учня, котрий, можливо, помилявся значно більше (але на запитаннях "майбутнього" іспиту)? Не хочеться це обговорювати, як не хочеться також думати, що станеться, коли НЦЕ скаже: ось ця група запитань завдання була тільки для випробування самих запитань і не впливає на остаточний результат учня. Про якусь конфіденційність цих запитань для іспиту наступного року теж не хочеться говорити… Може, таке і "працює" в Ізраїлі, але не думаю, що це можна пропонувати для України. Отож хорошої методики випробування запитань немає.

По-третє, а може, створити такий банк завдань дуже великим і відкрити його для всіх охочих? Наприклад, чому б Центру екзаменів не сказати: "Ось вам, дорогі учні й учителі, повний доступ до всіх наших запитань та завдань, учіться скільки хочете! І допомагайте нам знаходити погані запитання". Завдання для іспиту буде зібране з уже відомих усім запитань, та, оскільки їх у банку було надзвичайно багато, запам'ятати всі запитання й відповіді на них начебто немає можливості (хоча в цьому я не впевнений). Начебто все тут гаразд - НЦЕ нічого не приховує, допомагає школі. А якщо якесь погане запитання пробереться у справжнє завдання, то винні вже самі учні та їхні вчителі: адже це запитання всі бачили, про помилку треба було попереджати раніше! Тут ще треба сказати про велику армію підтримки такого відкритого банку завдань - це різні репетитори, що готують учнів до іспиту. Для них така пропозиція НЦІ - як ельдорадо! Готовий методичний матеріал, який треба крок за кроком пройти. Отож прибічників такого методу створення завдання завжди буде багато (включно, можливо, із самим НЦЕ, якому менше відповідальності за якість справжнього завдання).

Та в чому ж основні негативні моменти такого відкритого банку завдань? Вони більше педагогічні. Перше запитання: що відбуватиметься в школі навесні? Скільки учнів відвідуватимуть уроки, якщо на них не "студіюватимуть" запитання банку завдань? Але вчитель працює за навчальною програмою, за підручником, - чи означає це, що відкритий банк просто замінить навесні всі підручники? Друге запитання: скільки в навчальних програмах із різних предметів написано про розвиток творчості, критичного мислення? Але якщо всі запитання опубліковано, то жодних несподіванок, жодної потреби шукати розв'язок уже немає. Треба тільки запам'ятати відповідь. Авторові цієї статті довелося бачити такий підхід в одній країні: статистичний аналіз національного екзамену давав дивні результати - учні краще розв'язували завдання, які начебто мали бути складними, але гірше відповідали на легкі запитання. Виявилося, що репетитори більше уваги приділяли складним запитанням, вважаючи, що з легкими учні впораються самі… Думати-то думали, а учні краще відповідали на те, чого їх більше навчали…

Отож із цим відкритим банком завдань слід поводитися дуже обережно. Було б добре в освіті (особливо в галузі екзаменів і тестів) подумати про свою "клятву Гіппократа": "Утримуватися від заподіяння якоїсь шкоди чи несправедливості". Адже іспити - це тільки короткий місток між середньою школою та навчанням у ВНЗ. Місток, звісно, важливий і для більшості вирішальний у майбутньому житті. Але на середній школі як національній інституції лежить значно більше освітніх, соціальних, виховних завдань, ніж тільки підготувати випускника до іспитів. Тому національна система іспитів має не тільки дотримуватися принципу Гіппократа "не нашкодь", а й допомагати школі у виконанні її завдань. І вишам теж треба не тільки вимагати від НЦЕ "відбирати" найкращих, а й інколи поцікавитися, як національна система іспитів допомагає освітньому процесові в середній школі. Якщо й не можна обійтися без важких екзаменів на містку "школа - ВНЗ", то до них учня готувати повинна школа, а не армія платних репетиторів.

З огляду на все вищевикладене, стає яснішим не тільки запитання, сформульоване у назві статті, а й відповідь на нього. Банк тестових завдань - це ні панацея, ні плацебо. Він, може, і вирішить частину проблем із якістю завдання іспиту, але створить досить багато інших. Важко сказати зараз, чи будуть ті нові проблеми очевидними і болісними одразу, чи тільки згодом. Можливо, треба більше довіряти фахівцям НЦЕ, бачити в банку завдань звичайний архів запитань у поміч авторському створенню завдання, а не для його механічної "конфіденційної" генерації. Може, так вдасться досягти необхідної якості з меншими педагогічними втратами для національної системи освіти? Готового рецепту тут немає. Однак для прийняття рішення про те, як реформувати систему централізованих екзаменів ЗНО, необхідно думати не тільки про бажання підвищити якість завдання майбутнього іспиту. Треба мислити значно глибше.

Довідка DT.UA

Альгірдас Забуліоніс (Algirdas Zabulionis) - колишній директор Національного екзаменаційного центру Литви. Останні 15 років - незалежний консультант із тестування й іспитів. Працював у понад 20 країнах світу (Монголії, Індії, Таджикистані, Грузії, Україні, Македонії, Сербії, Чорногорії, Сент-Вінсенті і Гренадинах тощо), створюючи й удосконалюючи національні системи іспитів. З українською системою екзаменів ЗНО обізнаний із самого початку її створення, останніми роками - як консультант проекту USETI.