Что плохого в тестах?

И.Ф. Шарыгин

Прежде всего, хочу заметить, что я не являюсь противником тестов вообще. Бесспорно, тесты дают нам вполне эффективный инструмент, который может (и, конечно, должен) быть использован в учебном процессе, в том числе и для итоговой оценки знаний. Более того, я могу много сказать в защиту тестов. Но в данном случае не это является целью настоящей записки. Я хочу обратить внимание на те разрушительные последствия для нашего образования, которые могут иметь место, если тесты станут основным, а тем более единственным инструментом для оценки знаний школьников, особенно, когда на основе этой оценки будут приниматься важные для школьников или учителей решения: выдача диплома, зачисление в учебное заведение и т.п.

Но сначала общее замечание. Я считаю, что сегодня, вопреки расхожему мнению, самое неудобное время для проведения решительных реформ в сфере образования. А их — реформ нынче намечено немало, и почти все они являются глобальными. Тут и двенадцатилетнее обучение, и стандарты, и тестирование, и альтернативное обучение и бог знает, что еще. Такое обилие реформ в сфере образования зараз может позволить себе далеко не всякая очень богатая страна, каковой мы не являемся. А ведь наше образование (советского периода) было далеко не худшим в мире, а математическое и вовсе, по общему признанию, было даже лучшим в мире. Кроме того, при любом реформировании, при любой существенной перестройке системы, даже по самым лучшим планам и схемам в начале происходит значительное ухудшение качества работы перестраиваемой системы. Возникают серьезные внутренние противоречия, преодоление которых требует значительных материальных и моральных затрат. Сегодня главная цель в образовании, по моему убеждению, — это его развитие, а где-то и восстановление на основе традиционных подходов.

А теперь конкретно о тестировании (с позиции представителя математических дисциплин).

1. Неадекватность тестовой оценки. Одним из достоинств тестирования по общему мнению является объективность полученной оценки, ее независимость от того, кто проводит тестирование. Но, к сожалению, эта оценка, если мы собираемся использовать ее как оценку знания учащегося, содержит систематическую ошибку. Причем речь идет об идеальном, в природе не существующем, наподобие идеального газа, тестировании. Дело в том, что есть достаточно многочисленные категории учащихся, которые в силу некоторых психических особенностей плохо соответствуют тестовой методике и получают заниженные оценки (соответственно, есть и такие, чьи тестовые оценки завышены). Сюда относятся, прежде всего, нередкие в России (и, кстати, среди ученых) "тугодумы", а также так называемые "тестофобы", испытывающие панический страх перед самой процедурой тестирования. По оценкам экспертов (см. например, диссертационную работу Е. Б. Федорова) не более 50% учащихся (в России) попадают в "область адекватности" тестовых технологий. Похоже, что в США этот процент значительно выше. Возможно, что одной из причин здесь является длительное использование тестов для самых разных целей. Выработались привычка и навыки. Но главная причина я считаю, в том, что тесты хорошо соответствуют национальному характеру, американскому менталитету (а в следствие этого уже и постоянное и длительное использование тестов). Но если так, то тестовая методика может потерять свою нейтральность и аполитичность и стать инструментом переделки национального менталитета (о такой цели, кстати, в открытую заявляли некоторые из реформаторов). Может, в этом и состоит незаявленная цель реформ в нашем образовании?

   Главным вопросом математического образования в России всегда был вопрос: "Почему?" — в то время как для американского образования таким был вопрос: "Как?" И именно на этот вопрос мы и отвечаем при тестировании.

2. Подмена учебных целей. Утверждение, что целью изучения предмета, отдельных тем является получение твердых знаний и умений в рамках соответствующей программы, есть и банальность и даже тавтология. Но все же это верное, как почти всякая банальность, утверждение. Школа располагает различными инструментами, позволяющими установить, сколь хорошо достигнута эта цель учащимися. И только действуя всеми этими инструментами в комплексе, мы можем нужным образом управлять процессом обучения. Здесь особенно важен инструмент, с помощью которого проводится итоговый контроль, различные виды отбора учащихся. Реальная школа, хотим мы этого или не хотим (говорят, что не хотим), всегда подменяет учебную цель: ею становится именно итоговый контроль. При переходе на всеобщее тестирование очень быстро основной целью для учителя станет подготовка к сдаче теста. Не заставят себя ждать и соответствующие методики, да они уже есть, позволяющие, не изучая по настоящему предмет, готовить школьников к сдаче теста. Единый же тест для поступления в Вузы приведет к полному уничтожению математики в старших классах, а затем и в самих Вузах.

3. Сужение содержания учебного предмета. Есть предметы, содержание которых плохо охватывается системой тестов. Да и внутри самого предмета одни разделы и умения легко проверяются с помощью тестирования, а другие — с трудом. Хорошо известно, что "самыми тестируемыми" из математических умений являются арифметические — умения выполнять четыре действия арифметики. На эти темы составлено и составляется много тестов, среди которых встречаются и вполне приличные. Но почти нет тестов, проверяющих умение рассуждать, логически мыслить. За пределами возможностей тестовых технологий оказывается практически вся геометрия. Понятно, что широкое внедрение тестов просто вытеснит некоторые весьма важные разделы элементарной математики из школьных программ. Кстати, именно это уже произошло в США. Там из школьных программ практически исчезла геометрия, а на уроках математики не учат рассуждать. Здесь я пользуюсь данными международных исследований. В рамках одной международной программы (TIMSS) было проведено сравнительное обследование уроков математики в 8-х классах трех стран: США, Германии и Японии. Математические рассуждения встречались: в Японии в 53% просмотренных уроков, в Германии — в 20%, в США — в 0%. Геометрия изучается в США всего в течение 2 лет. Замечу кстати, что отставание по программе в США по сравнению с Японией и Германией для детей 13- 15 лет составляет 2 года. Добавлю также в этот пункт, что тесты вбивают в головы учеников ошибочный и даже вредный и для математического развития и "по жизни" силлогизм: верный ответ — верное решение.

4. Отчуждение профессионалов. Одной из самых больших опасностей, связанных с применением тестовых технологий, является вытеснение из образовательного процесса высококвалифицированных специалистов. Происходит это поэтапно. В начале отпадает надобность в них на этапе проверки. С помощью тестов начальство получило возможность реализовать свою давнюю мечту: провести экзамен по математике без участия математиков. "Вы нам дайте тесты, сообщите ответы, а далее мы сами разберемся". Понятно, что самые классные специалисты не станут (и не стали, как показывает международный, да и небольшой российский опыт) принимать участие в этой профанации. (Забавно, что у нас в стране от процесса создания официальных, выпускаемых от имени государства математических тестов отстранены и математики и специалисты именно по тестам.) На следующем этапе уже само начальство, увидев достаточно примитивные тесты, начинает вмешиваться и в процесс составления самих тестов. Именно это, по свидетельству Джерри Беккера, произошло в Калифорнии, где в последние годы развернулась настоящая математическая тестовая война. Так, один из тестов, предложенных математиками, был отвергнут комиссией при губернаторе штата. В частности, в нем были найдены математические ошибки (?) Например, авторы теста на вопрос: делится ли произведение 36 х 45 на 30 давали утвердительный ответ. По мнению членов комиссии этот ответ неверен, поскольку ни один из сомножителей на 30 не делится (!)

5. Снижение квалификации учителя. Использование готовых тестов существенно облегчает работу учителя. В принципе, это хорошо. Учитель освобождается от части рутинной работы, появляется свободное время и т.д. Но при этом возникают другие проблемы и, в частности, проблема поддержания (не говоря уж о повышении) уровня профессиональной (предметной) квалификации. Проверка тестовых заданий и контрольных работ происходит в автоматическом режиме и не дают никакой профессиональной нагрузки. Само учебное пространство, охватываемое тестами, как уже было сказано, составляет лишь часть учебного предмета (здесь речь идет именно о математике). И если учитель не будет использовать специальные и дополнительные средства для своего профессионального развития, просто для "поддержания спортивной формы", он почти неизбежно начнет деградировать. Более того, система обучения, ориентированная исключительно на использование тестовых технологий, не только не нуждается в хорошо математически подготовленных учителях, но просто отторгает их. Не буду говорить ничего плохого о подготовке учительских кадров в России (хотя по мнению многих специалистов уровень их подготовки в последнее время значительно снизился), а приведу примеры, показывающие уровень подготовки учителей в США. В 1999-ом году в США вышла книга Липинга Ма, в которой сравнивается математическая подготовка учителей в Китае и США. Вот одно из исследований. Были выбраны две группы — в Китае и США — учителей начальной школы, которым были заданы одинаковые вопросы. При этом по формальным признакам учителя из США имели более высокую квалификацию — у всех было высшее образование, а у некоторых — степень магистра, в то время как китайские учителя имели образование на уровне педагогического техникума (в нашем понимании). Учителя из Китая показали, по мнению автора, вполне нормальный уровень владения математикой, и о них я не буду говорить. Учителя же из США продемонстрировали полное отсутствие математической грамотности. Например, менее 50% смогли правильно выполнить действие: (1 3/4):(1/2). Более 90% сочли верным утверждение, что с увеличением периметра фигуры (в частности, прямоугольника) возрастает его площадь. Лишь один смог построить контрпример. По свидетельству Георга Малати (Финляндия) менее 1% учителей математики США смогли объяснить, что прямоугольный треугольник с гипотенузой 8 дюймов и высотой на гипотенузу, равной 5 дюймам, не существует. (Вопрос об определении площади такого треугольника входил в один важный тест в течение нескольких лет, при этом никто, включая составителей теста, долгое время не обращал внимание на то, что такой треугольник невозможен.)

Тесты, рынок, коррупция. Тесты — наиболее рыночная из всех существующих учебных технологий, а возможно, единственная истинно рыночная технология. Даже создание высококачественных тестов можно поставить на поток, хотя для этого все же требуются хорошие профессионалы и процесс их создания не так уж и дешев, а следовательно, выгоден. Но в том-то и дело, что рыночные отношения очень быстро выталкивают из процесса создания массовых тестов грамотных профессионалов, а точнее, они просто не допускаются к этой деятельности. Все разнообразие тестов сводится к одной, наиболее примитивной разновидности — тестам с выбором ответа. В результате, рынок заполняется откровенной халтурой, а потребитель привыкает к потреблению этой халтуры. Производство тестов в США уже давно стало весьма доходным бизнесом. Существуют компании с серьезными капиталами и немалыми доходами, специализирующиеся на производстве тестов. Похоже, это уже имеет место и у нас. Конкурировать с этим бизнесом в сфере образования по прибыльности может разве что компьютерные технологии, но по совсем другим причинам (не буду углубляться в эту тему). Но, к сожалению, компьютеризация и тесты вовсе не конкуренты, а наоборот, союзники. Из всех образовательных технологий тесты наиболее приспособлены к компьютерной реализации. Компьютеризация и "тестиризация" образуют весьма агрессивный сплав, способный не только поглотить б`ольшую часть ассигнований, идущих на образование (у нас), но и дополнительно залезть в карманы налогоплательщиков (платное тестирование, торговля тестами, программами и т.д.) А там, где большие деньги и низкая квалификация создаются условия для коррупции, не может не возникнуть коррупция. И не о России только с ее патологической склонностью к коррупции идет речь. США вовсе не исключение. В последнее время в США разразился ряд крупных скандалов, связанных с большим числом ошибок, допущенных при итоговом тестировании школьников. Об этом говорится, в частности, в публикациях в газетах "Нью-Йорк Таймс" от 15 и 17 сентября 1999 г. и "Вашингтон пост" от 20 сентября 1999 г. Суть скандалов в том, что многие школьники вследствие плохо подобранных тестов и неверной методики, используемой при обработке результатов тестирования, получили заниженные оценки и были отправлены в летние школы или даже оставлены на второй год. (Должны быть и школьники, получившие завышенные оценки, но об этом в упомянутых заметках ничего не говорится.) Число таких школьников в Нью-Йорке находится, по мнению большинства экспертов, в интервале от 2000 до 3000. (Речь идет о 1999-м годе) Некоторые эксперты называют значительно большие числа. Компания, проводившая тестирование, потребовала с городских властей Нью-Йорка в 1999 году за свои услуги $3,3 миллиона. В 1998 году она получила $2 миллиона. По мнению специалистов подобные явления имели место и в других штатах, но там заинтересованные компании сумели это скрыть. Власти Нью-Йорка считают также, что серьезные ошибки при проведении итогового тестирования допускались и ранее, но не предавались гласности. На мой взгляд, в этих примерах четко видны признаки наличия коррумпированности в системе образования США. В "Советском энциклопедическом словаре" написано, что "коррупция — преступление, заключающееся в прямом использовании должностным лицом прав, связанных с его должностью, в целях личного обогащения." А поскольку "Демократический (или капиталистический) словарь" еще не вышел, буду исходить из этого определения. По мнению западных экспертов российское общество сегодня необычайно коррумпировано и занимает по этому показателю одно из последних мест в мире. (Позади, кажется, только Нигерия.) Впрочем, мы и сами это видим: в целях личного обогащения используют свои служебные возможности почти все работающие россияне. Правда, далеко не у всех эти возможности имеются. Но почему-то западные эксперты выводят за рамки коррупции деятельность чиновника, получающего официально очень большое денежное вознаграждение и скрывающего различные нарушения со стороны компании, в которой он работает. Такая коррупция, а это есть, по моему убеждению, одна из разновидностей коррупции достаточно часто встречается в так называемых цивилизованных странах, список которых мы всегда начинаем с США, и особенно опасна в образовании и медицине. И именно в этих сферах она наиболее распространена. В Интернете 8 ноября 1999 г. появилась статья Джонатана Фокса Ее название (дословно) — "Поджаривание нашей молодежи." (grilling означает поджаривание, а также допрос с пристрастием) После заголовка следует: "Индустрия по подготовке к сдаче SAT теста начинается с детского сада. Маленький бланк с кружочками — это большие деньги." (SAT тесты используются для оценки знаний выпускников школ, при поступлении в университеты). Судя по статье, подготовка к сдаче тестов и сама сдача тестов в Америке бизнес, о каком наши репетиторы и приемные комиссии Вузов не могут и мечтать. (Похоже, общий ежегодный доход тестовых компаний достигает нескольких миллиардов долларов.) Правда, участие в этом бизнесе принимают люди, никакого отношения к математике (большая часть статьи посвящена именно тестам по математике) не имеющие. В статье упоминается, например, некий Каплан, который вложил 25 миллионов долларов в создание системы тестов для школьников третьего класса. Эти тесты, естественно, за плату можно будет вскоре сдавать по Интернету.

Вывод очевиден: введения тестирования в качестве основного инструмента для итоговой оценки знаний школьников, для отбора при поступлении в различные учебные заведения, создание специализированных центров (компаний) по производству тестов, пользующихся официальной поддержкой, резко ухудшит качество нашего образования, создаст благоприятные условия для развития новых и опасных видов коррупции. Тесты опасны также кажущейся простотой изготовления и способностью к быстрому "размножению". Начав плодиться, они быстро образуют злокачественную опухоль в образовании, в математическом в первую очередь, с неизбежным и скорым для образования летальным исходом.

Справедливости ради следует все же заметить, что опасны не столь сами тесты, сколько рыночные механизмы, с помощью которых сегодня пытаются управлять образованием. Под их воздействием любая система испытаний и отбора быстро сползает на границу области применимости: тестирование сводится к наиболее примитивной форме с выбором ответа на идиотские вопросы из идиотского же набора вариантов, а традиционный экзамен составляется из громоздких и математически безвкусных заданий, сдать его без специального дорогостоящего натаскивания невозможно.

PS. Все примеры относятся к американской системе образования, поскольку именно США являются мировым лидером в использовании тестовых технологий в образовании и наши апологеты тестов неизменно ее приводят в качестве образца, которому надо подражать. Изучая американскую периодику последнего полугодия (включая и начало 2000 года), можно сделать вывод, что в Америке сегодня развернулась настоящая антитестовая кампания. (Статья в "Лос-Анжелес таймс" от 18 января 200 года называется "Тестирование уничтожает обучение".) Мы же, наоборот, воспылали вдруг необычайной любовью ко всяким тестам. Похоже, американские тестовые компании, теряя рынок у себя, хотят выйти на рынки других стран.

Из приведенных примеров можно увидеть также, что проблемы образования и даже конкретно математического образования очень волнуют американское общество и широко обсуждаются на страницах самых авторитетных изданий. И здесь мы можем только позавидовать американским педагогам и ученым.

Член Исполкома Международной комиссии

по математическому образованию (EC ICMI)

Шарыгин Игорь Федорович

E-mail: sharygin@mccme.ru

Примечание.