Присутствие наблюдателей позволяет сравнить качество проведения тестирования у разных ведущих, а также в тех группах, где присутствовал наблюдатель, и там, где он не присутствовал. Особенно важно присутствие наблюдателя на этапе апробации инструментария, поскольку он даёт возможность собрать материал для дальнейшей работы над инструментом.

Деятельность наблюдателя заключается в заполнении анкеты наблюдателя, в которой, кроме фиксации времени и оценки правильности выполнения ведущим пунктов сценария, должны присутствовать вопросы по оценке поведения учащихся, корректности поведения ведущего, неординарных случаях. Институт наблюдателей предполагает наличие инструкции по использованию анкеты наблюдателя. В ней должны содержаться сведения о том, при каких нарушениях процедуры, зафиксированных наблюдателем, результаты тестирования могут быть аннулированы.

6.7. Памятка для учителя (о составлении тестовых заданий)

Оценка качества заданий

Для оценки качества заданий применяются такие характеристики, как трудность задачи, коррекция на угадывание и дискриминативность.

Трудность задачи определяется долями выбора, решивших и не решивших задачу. Например, если задачу решили только 20% участников тестирования, то ее можно оценить как трудную для данных испытуемых, если 80% - как легкую.

Трудность задачи позволяет определить место задачи в тесте. Так, если задачу решает большинство испытуемых, то ее помещают в начале, если с задачей справляется незначительный процент, то ее, как трудную, располагают в конце теста.

Основным показателем трудности является индекс трудности, который для задания со свободно конструируемым ответом рассчитывается по следующей формуле:

V=100 x (1-),

где V - индекс трудности в процентах;

n - число испытуемых, правильно решивших задачу, N - общее количество испытуемых.

Задания, которые имеют значения показателя трудности больше 80 или меньше 20, как правило, в тест не включаются.