скачать книгу бесплатно
Педагогическое тестирование: Проблемы, заблуждения, перспективы
Джон Равен
В этой книге рассматривается ограниченность доминирующей в настоящее время в образовании и психологии измерительной парадигмы, а также то крайне негативное влияние, которое она оказывает на образование. Представлены новая теоретическая модель компетентности, мотивации и поведения и новый подход к их оценке. Книга содержит данные, свидетельствующие об эффективности и валидности предложенных процедур оценки, выдвинутые идеи используются для анализа сложившейся практики организации научных исследований; обсуждаются предложения по применению этих идей в сфере образования.
Джон Равен
Педагогическое тестирование: Проблемы, заблуждения, перспективы
ПРЕДИСЛОВИЕ
Известно, что для лучшего понимания собственных проблем иногда полезно посмотреть на них через призму проблем другого человека. Это утверждение является верным и по отношению к науке. С этой точки зрения книга известного британского психолога Дж. Равена предоставляет читателю прекрасную возможность познакомиться с опытом переосмысления целого ряда ключевых психологических проблем – опытом, родившимся в других культурных и социально-экономических условиях, однако поразительно сходным с характером эволюции отечественной психологии.
Мир меняется. Меняется система ценностных ориентаций и умонастроений в обществе. Меняется и роль психологии, которая вынуждена пересматривать свои базовые категории, методы исследовательской и диагностической работы.
Отличительная черта современного общества – рост интереса к психологическим ресурсам людей, лежащим в основе всех других ресурсных составляющих человеческой цивилизации. Для их описания нужны новые понятия, одним из которых является понятие компетентности. Следует сказать, что многие традиционные психологические понятия, к сожалению, не вполне соответствуют реалиям человеческой жизни. Нельзя же всерьез верить, что определения типа «личность – это совокупность психологических черт», «интеллект – это способность решать тестовые задачи», «креативность – это способность порождать оригинальные идеи» и т. п. имеют какое-либо отношение к психическим механизмам реального человеческого поведения. С этой точки зрения понятие компетентности, как мне представляется, – пример понятия, отвечающего требованиям экологического подхода в психологических исследованиях человека.
Следует подчеркнуть, что предложенная Дж. Равеном трактовка компетентности несколько отличается от привычного для нас значения этого термина. По Равену, компетентность – это специфическая способность, необходимая для эффективного выполнения конкретного действия в конкретной предметной области и включающая узкоспециальные знания, особого рода предметные навыки, способы мышления, а также понимание ответственности за свои действия. Быть компетентным фотографом, ученым, пожарником, учителем, родителем и т. д. – значит иметь набор специфических компетентностей разного уровня (наблюдать, быть глубоко осведомленным в предмете, самостоятельно ставить вопросы, писать деловые письма, доказывать собственную правоту, справляться с межличностными конфликтами и т. п.). Кроме того, Равен говорит о так называемых «высших компе-тентностях», которые – вне зависимости от того, в какой конкретной сфере они проявляются, – предполагают наличие у человека высокого уровня инициативы, способности организовать других людей для достижения поставленных целей, готовность оценивать и анализировать социальные последствия своих действий и т. п.
Природа компетентности такова, что она может проявляться только в органическом единстве с ценностями человека, то есть при условии глубокой личностной заинтересованности человека в данном виде деятельности – будь то выращивание диковинных цветов на дачном участке или исследование строго, определенной темы в области физики.
У Дж. Равена понятие компетентности выступает в качестве ведущего содержательного основания, позволяющего сформулировать четыре важнейших следствия о необходимости:
во-первых, пересмотра взглядов на возможности каждого ребенка, ибо все ученики могут стать компетентными, сделав свой выбор в широчайшем спектре занятий; соответственно учителю нужно научиться видеть каждого ребенка с точки зрения наличия у него уникального набора качеств, важных для успеха в той или иной специальной области;
во-вторых, переформулировки целей образования; на первый план выходит задача развития личности на основе индивидуализации обучения;
в-третьих, изменения методов обучения, которые должны содействовать выявлению и формированию компетентностей учеников в зависимости от их личных склонностей и интересов; в качестве основного дидактического средства предлагается использование метода проектов;
в-четвертых, радикального отказа от традиционных процедур тестирования учащихся и оценивания образовательных программ.
На четвертой позиции следует остановиться особо. В последнее время повсеместное использование отечественными практическими психологами психометрических тестов приобрело характер профессиональной эпидемии. В этом плане книга Дж. Равена, очевидно, позволит более трезво подойти к оценке возможностей тестового инструментария. И хотя Дж. Равен говорит главным образом о критериально-ориентированных тестах (или тестах учебных достижений), его критические суждения с легкостью могут быть спроецированы на традиционные тесты интеллекта. Действительно, традиционные учебные тесты по английскому языку, с точки зрения Равена, не измеряют способности эффективно общаться на этом языке, как, впрочем, и методика Векслера, с моей точки зрения, не измеряет действительных интеллектуальных ресурсов субъекта.
Критику тестирования Равен ведет в очень жесткой манере, отмечая при этом как научные, так и этические аспекты экспансии тестологии в сфере образования. По его мнению, отказ от учета профессионалами того ущерба, который практика тестирования наносит судьбам детей и интересам общества, «является крайне безнравственным» (с.63).
По сути дела речь идет не только о недостаточной валиднос-ти и прогностической надежности критериально-ориентированных тестов как таковых, а о создании психодиагностики нового типа. Новые диагностические методики, – к их числу Дж. Равен относит технику описательных заключений, событийно-поведенческое интервью, процедуру выявления ценностных ожидание-должны отвечать целому ряду принципиально иных требований сравнительно с общепринятыми тестовыми измерениями: быть чувствительными к особенностям приобретаемого опыта (набору компетентностей), который у каждого ребенка будет своим; применяться исключительно при условии создания для данного ребенка адекватной образовательной среды; учитывать его индивидуальные способности, интересы и ценности; фиксировать динамику развития индивидуальных способностей; гарантировать выявление разных типов детской одаренности.
Казалось бы, понятно, что температуру нельзя измерять с помощью циркуля и что ни один врач, измерив температуру больного термометром, не решится ставить диагноз и тем более прогнозировать течение заболевания только лишь на основе показателя количества градусов на шкале используемого им измерительного инструмента. При этом нелепо было бы предъявлять какие-либо претензии к самому термометру, этому замечательному, удобному в применении медицинскому прибору.
Аналогично обстоят дела и в психодиагностике. Обычные психометрические тесты достаточно надежно измеряют конкретные психические симптомы (в виде правильности и скорости решения искусственно сконструированных задач). Однако попытки использовать тесты для оценки интеллектуальных ресурсов личности, прогноза ее интеллектуального развития и уж тем более для селекции детей в условиях школьного обучения иначе, как профессиональным легкомыслием, назвать нельзя.
Важное место в книге Дж. Равена занимают его рассуждения об изменении идеологии системы образования, которая, по его мнению, должна быть нацелена на формирование компетентной личности. Если говорить об этой проблеме в терминах отечественной психологии, то имеется в виду необходимость реализации субъектного подхода в обучении, в рамках которого каждый ребенок наделяется безусловным правом активно выбирать и самостоятельно конструировать свою школьную жизнь. Очевидно, что при этом существеннейшим образом изменяется роль учителя: от трансляции знаний и способов деятельности он должен переходить к проектированию индивидуальной траектории интеллектуального (и личностного) развития каждого ребенка. Следует отметить, что в российской педагогике эта идея в последние годы находит свое активное воплощение в разного рода психологически ориентированных технологиях обучения (см. работы В.Б.Библера, Э.Г.Гельфман, В.В.Давыдова, Л.В.Занкова, С.Ю.Курганова, А.М.Матюшкина, И.В.Нечаевой, Н.Ф.Талызиной, М.А.Холодной, Д.Б.Эльконина, П.М.Эрдниева и др.).
Безусловно, отдельные положения книги Дж. Равена дискуссионны. Это естественно. Если бы какой-либо ученый заранее знал, что с его книгой все будут согласны, то ни писать, ни издавать ее он бы не стал в силу бессмысленности этого мероприятия.
В первую очередь встает вопрос о механизмах компетентности. По-видимому, компетентность не сводится только лишь к накоплению опыта в некоторой узкоспециальной предметной сфере (иначе, где грань между компетентностью, по Дж. Равену, и «профессиональным кретинизмом», по К.Марксу, когда человек фатально и необратимо замыкается в одном определенном виде деятельности?). Поэтому компетентность в широком смысле слова (а именно о такой компетентности говорит Дж. Равен) предполагает общее интеллектуальное развитие личности и, в частности, формирование базовых компонентов ментального (умственного) опыта человека: на уровне когнитивного опыта – механизмов эффективной переработки информации (в том числе понятийных структур), на уровне метакогнитивного опыта – механизмов непроизвольной и произвольной регуляции работы собственного интеллекта, на уровне интенционального опыта – механизмов индивидуальной избирательности интеллектуальной деятельности, позволяющих тонко сбалансировать особенности своего ума с объективными требованиями окружающей действительности. Соответственно в образовательном процессе формирование компетентности должно идти одновременно с интеллектуальным воспитанием учащихся, предполагающим обогащение ментального опыта каждого ребенка в направлении роста его интеллектуальной продуктивности и роста индивидуального своеобразия склада его ума.
Далее, нуждается в обсуждении вопрос о месте метода проектов в системе других методов обучения. Несомненно, метод проектов весьма эффективен с точки зрения формирования у учащихся того набора компетентностей, которые необходимы для успеха их будущих профессиональных занятий. Тем не менее этот метод скорее является формой организации внеучебной деятельности детей. На мой взгляд, стержневая линия психического развития ребенка в школе связана все-таки с его учебной деятельностью. При условии, конечно, что эта деятельность строится на основе реформирования содержания школьных учебных предметов, использования психологически ориентированных технологий обучения с корректной компьютерной поддержкой, изменения статуса школьного учебника и функций учителя и т. д. Дело в том, что стимулирование самостоятельности и инициативы ребенка без контроля со стороны содержания образования и педагогических технологий, ориентированных на выстраивание механизмов интеллектуального поведения, может дать горькие плоды, несмотря на изначально благие намерения сторонников метода проектов.
Наконец, последнее обстоятельство, на которое хотелось бы обратить внимание читателей. Через всю книгу Дж. Равена красной нитью проходит мысль о социальной ответственности профессиональных психологов. По-видимому, наши западные коллеги гораздо дальше нас продвинулись в понимании той деструктивной роли, которую может сыграть в обществе психология. Все, что написано о существовании социального запроса на научно-психологическое «обоснование» законности расслоения людей по признаку их социально-экономического и профессионального положения, предпосылках появления на влиятельных должностях, казалось бы, образованных, но фактически некомпетентных людей и т. п., – все это написано о Британии и ее проблемах. Но когда читаешь книгу, то кажется, что это – о России и наших проблемах. И такое положение дел внушает мне некоторый оптимизм. Ибо если у нас одни и те же проблемы, то психология в перспективе имеет объективные шансы стать не только наукой об общих закономерностях психики, но и наукой о принципах защиты психологических прав конкретного человека (ребенка – в первую очередь).
Поставленные в книге Дж. Равена вопросы, несомненно, заинтересуют самый широкий круг специалистов в области психологии, педагогики, управления образованием и, в первую очередь, в области практической психодиагностики (или, как сейчас многие предпочитают говорить, тестирования). Ибо если спроецировать идеи Дж. Равена на проблему компетентности практического психолога, то следует признать, что у каждого, кто специализируется на измерении тех или иных человеческих качеств, возможность роста его профессиональной компетентности, к счастью, безгранична.
профессор М.А.Холодная
ведущий научный сотрудник Института психологии Российской Академии наук
КРАТКОЕ ИЗЛОЖЕНИЕ
В первой главе этой книги показано, что общепринятые оценочные процедуры не позволяют справедливо судить о наиболее важных результатах любого педагогического процесса, хотя бы в какой-то степени заслуживающего этого названия. Во-первых, выполняемые разными учениками задания слишком отличаются друг от друга, чтобы эти различия могли быть выражены в баллах по любому небольшому числу «шкал». Во-вторых, эти процедуры не позволяют должным образом оценить и отметить учеников, достигших развития компетентностей высокого уровня, таких, как способность к деятельности, достойной называться академической, или научно-исследовательской, или способности общаться, руководить (лидировать), проявлять инициативу и т. п.
Одно из последствий применения подобных процедур оценивания состоит в том, что ни в процессе текущей аттестации, ни при приеме на работу учащиеся не могут получить признание за то, что обладают такими способностями, а учителя – за то, что умеют содействовать их развитию. Другим последствием оказывается невнимание школы к деятельности, необходимой для формирования таких компетентностей. Еще одно последствие состоит в том, что повсеместное применение этих процедур блокирует разработку диагностических и методических средств, необходимых учителям для осуществления тех программ обучения, которые требуются при формировании компетентностей высокого уровня.
Отсутствие адекватных методов оценки привело также к ряду выводов, дезориентирующих образовательную политику и неплодотворных для исследований в этой сфере.
Поскольку наиболее важные результаты педагогических программ – как позитивные, так и негативные – не выявляются с помощью общепринятых способов оценивания, исследования, подобные тем, которые защищает Объединенный комитет по стандартам в сфере образования, не способны определить ни вред, который наносят учащимся многие школы и колледжи, ни преимущества альтернативных подходов.
Тем не менее автор не выступает принципиально против тестирования и оценивания как таковых. Напротив, он подчеркивает, что учителям необходимо уметь выявлять интересы, способности и достижения своих учеников, а руководителям образования – определять, должным ли образом расходуются общественные средства; учащимся же нужна оценка того, чему же они научились в результате учебы. Однако для получения такой информации нужны новые средства измерения и оценки в системе образования.
Во второй главе представлен ряд дополнительных аргументов в пользу жизненной необходимости внедрения новых подходов к этой проблеме. В частности, показано, что без этого мы будем продолжать управлять системой образования, используя тесты, которые не обладают ни конструктной, ни прогностической валидностью и только отвлекают школу от ее главных задач. Так мы никогда не сможем изменить существующую практику, когда непропорционально большое число неподходящих людей занимает влиятельное положение в обществе.
В третьей главе автор раскрывает свое представление о ком-петентностях высокого уровня как о мотивационных диспозициях. Это означает, что такие качества базируются на ценностных приоритетах личности (а не существуют независимо от них). Компетентности высокого уровня включают ряд взаимопроникающих, взаимоусиливающих и взаимозаменяющих компонентов. Для их оценки предлагается двухступенчатая (а не двух-факторная) модель: сначала необходимо выяснить, какого рода деятельностью люди хотят заниматься, а затем – какие компоненты компетентности они в этой деятельности проявляют.
Эти же соображения, но в более формализованном виде представлены в четвертой главе. Они в конечном счете приводят к выводу, что мы должны отказаться от любых попыток различать людей на основании баллов, которые они получают по небольшому числу внутренне связанных «параметров», и, наоборот, принять описательный подход (концептуально имеющий немало общего с химическими формулами), при котором мы различали бы людей по приоритетным для них ценностям, по компетентностям, проявляющимся в деятельности, которая их действительно интересует; а также по тем ценностям, которые подавляет или стимулирует их окружение, по тем интересам и компетентностям, к развитию которых ведет выполняемая ими деятельность.
Пятая глава раскрывает опыт применения этой модели как при оценке обучающих программ, так и при индивидуальной диагностике. Показано, что суждения о ценностях и компетентности людей, основанные на формальных достижениях, содержат менее глубокую и качественную информацию, чем можно получить, если удается проникнуть, что называется, в «головы» людей, то есть выявить их мотивы, представления и переживания. Это можно сделать с помощью полуструктурированных интервью или на основе методики ценностных ожиданий. (Обе методики представлены в данной главе. – Примеч. переводчиков.)
В шестой главе подтверждается валидность полученной таким образом информации: использование предложенных методов позволило зафиксировать, например, различия в эффективности разных программ обучения, которые прежде считались вообще неуловимыми. Эти методы помогли нам показать, что экономический спад в Америке и особенно в Британии (по сравнению, скажем, со странами Тихоокеанского региона) в гораздо большей мере связан с изменением ценностей и способностей реагировать на новую информацию, чем с «провалами» системы образования, на которые с готовностью пеняют отчеты типа «Нация в опасности» и которые так неуклюже и неэффективно пытаются преодолеть с помощью централизованно навязываемых учебных планов и общенациональных программ тестирования.
В седьмой главе показано, что препятствия, которые до сих пор мешают проведению соответствующих исследований и разработок, заслуживают самого серьезного внимания и что реформу следует начинать с университетов. Необходимо, в частности, чтобы университетские преподаватели пересмотрели свои взгляды на природу науки и пути ее развития, а также на способы обучения студентов. Однако, чтобы перестроить свою деятельность в этом направлении, сотрудникам университетов самим понадобятся новые формы компетентности, называемые автором «социально-политическими». Это только подтверждает один из главных выводов автора, а именно: общая компетентность человека в современном обществе в первую очередь зависит от его политической компетентности.
Поскольку сказанное в этой книге в равной мере касается как педагогической практики, так и проблемы оценивания, в нескольких последних абзацах седьмой главы автор попытался собрать воедино концы оборванных по ходу изложения рассуждений и дать читателю ссылки на публикации, в которых эти вопросы обсуждаются более подробно.
ГЛАВА 1
ОГРАНИЧЕННОСТЬ СЛОЖИВШЕЙСЯ ПАРАДИГМЫ ТЕСТИРОВАНИЯ И ПОСЛЕДСТВИЯ ЕЕ ПРИМЕНЕНИЯ
Общепринятые методы измерения достижений учащихся не позволяют оценить результаты передовой педагогической практики
Я начну с того, что на примере одного школьного класса, работа которого наблюдалась в процессе специально организованного исследования, покажу ограниченность общепринятых средств измерения и оценки результатов обучения. Нас попросили провести это исследование, поскольку Инспекция школ Ее Величества – орган, отвечающий за контроль качества обучения в Шотландии, – обнаружила, что, несмотря на все изданные ею приказы и постановления, за последние сорок лет в школах мало что изменилось.[1 - Walberg (1984) зафиксировал аналогичное отсутствие изменений в США.] Перед нами были поставлены следующие задачи:
• найти несколько примеров новаторской работы педагогов;
• описать работу этих педагогов так, чтобы и другие могли воспользоваться их опытом;
• выявить и описать преимущества используемых ими способов организации учебной работы, чтобы как можно больше родителей, педагогов, учащихся и политиков смогли понять их принципиальную важность и перспективность;
• выявить препятствия, стоящие на пути подобных педагогических нововведений;
• предложить пути их преодоления.
Результаты выполнения этого проекта описаны в книге «Открытая начальная школа» («Opening the Primary Qassroom»[2 - Raven, Johnstone and Varley (1985).]). Приведенный ниже пример представляет собой фрагмент этого исследования, но с равным успехом оно могло бы быть проведено в любой из средних школ, работу которых мы изучали в предыдущем проекте, приведшем к появлению моей книги «Образование, ценности и общество: Цели образования, природа и развитие компетентности» («Education, Values and Society. The objectives of Education and the Nature and Development of Competences»[3 - Raven (1977).]).
Учебная деятельность в классе, работу которого я здесь описываю, была необычной во многих отношениях. Но особое значение имеет не сама по себе необычность этой работы, а то, что это один из немногих классов, где обучение действительно было построено в полном соответствии с рекомендациями авторитетных педагогов – от Паркера и Дьюи до современных – и в соответствии с многочисленными правительственными документами.
Работа учащихся была организована в основном в форме междисциплинарных проектов. Эти проекты носили многосторонний и углубленный характер. Учащиеся, объединившись в группы, проводили оригинальные исследования в районе, где расположена их школа. Их работа непосредственно в классе составляла завершающий этап такого исследования. Внутри этих общих проектов многие учащиеся имели персональные задания, свои области специализации и выполняли определенные роли.
Необычной в этом подходе была направленность забот и усилий преподавателя. В отличие от большинства своих коллег учительница, которая вела этот класс, не была сверх меры озабочена выполнением программы (и по содержанию, и по срокам). Вместо этого ее внимание было сосредоточено на компетентно-стях, которые учащиеся могли приобрести, выполняя ту или иную работу. Эти компетентности включали стандартные школьные навыки: чтение, письмо, орфографию и счет. Но при этом они включали также поиск информации, необходимой для достижения цели (такую информацию чаще приходилось добывать в процессе непосредственного наблюдения или общения с людьми, чем путем чтения книг), изобретательность, умение убеждать, руководить (лидерство) и др.
Обсуждение проблем, встающих перед внешней экспертизой такого способа обучения, проще всего начать с тех его аспектов, которые ближе всего к широко обсуждаемым и традиционно оцениваемым целям обучения.
В процессе работы над проектом по изучению окружающей среды один ученик стал специалистом в вопросах распространенности различных видов бабочек в данной местности, их жизненных циклов и взаимоотношений с другими видами. Другой ознакомился с историей определенного типа сельскохозяйственного оборудования: он связал изменения оборудования с последовательным – и относительно автономным – улучшением конструкции этих орудий и технологии обработки стали, с одной стороны, и способами ведения сельскохозяйственных работ – с другой. Третий ученик изучал вопрос о взаимосвязи изменений в сельскохозяйственной технике, способов обработки земли, к которым они привели, и изменений в социальной структуре общества. Четвертый специализировался по проблемам современной социальной структуры района – кто кого знает и о чем они разговаривают. Другие учащиеся изучали изменения в архитектуре и планировке деревни и в занятиях ее обитателей.
Проблемы, которые ставят перед традиционным способом оценивания результаты такого обучения, практически непреодолимы. Усвоенное учащимися специальное знание попросту не может быть выявлено традиционными тестами достижений: конечно, эти учащиеся покажут более низкие результаты, поскольку время, которое другие ученики потратили на отработку навыков, контролируемых этими тестами, они посвятили совершенно другим занятиям. Для справедливой оценки достижений этих учащихся придется разработать совокупность индивидуальных тестов, ориентированных на предмет деятельности каждого из них.
Однако это еще не самая большая проблема, которую такой метод обучения ставит перед современной измерительной парадигмой, доминирующей в образовании и психологии. Например, для первого из упоминавшихся выше учеников более важным приобретением был не сам по себе уникальный запас специальных знаний, а то, что он сформировал некоторые компетентности, необходимые для ученого, исследователя. Среди прочего он научился отмечать признаки, указывающие на то, что он имеет дело с нерешенной проблемой; он развил способность эксплицировать свои догадки и озарения (он даже просыпался по ночам, пытаясь это сделать); он стал изобретать способы наблюдения; он научился замечать то, что раньше никто не замечал; он узнал не только, как добывать необходимую информацию из научных журналов, но и как использовать ее практически; он научился принимать во внимание и оценивать идеи своих одноклассников и даже самых невежественных людей и извлекать из них пользу; он научился писать письма, звонить по телефону, посещать университетских преподавателей, интересующихся той же проблемой; он разговаривал с ними на равных; он оттачивал свои идеи в этих беседах; он узнал, что имеет право сам ставить новые вопросы и отвечать на них, а не только отвечать на вопросы других людей; он научился справляться с огорчениями, вызванными неудачными попытками найти наилучшие способы решения задачи; он научился придумывать способы организации и обобщения полученных данных для сообщения их другим людям – и не только в письменном виде.
Перечисленные в последнем абзаце компетентности составляют лишь часть того набора компетентностей, которые обеспечивают достижение почти любой практически значимой и подлежащей оцениванию цели, и они в определенной степени взаимозаменяемы.[4 - Raven (1984).] Мы их выделили в связи с предметным обучением, но мы могли бы их также обнаружить и при анализе других занятий, которые люди ценят и которым охотно предаются. Однако, оставаясь в рамках академической предметно-ориентированной парадигмы тестирования и оценки учащихся, важно заметить, что второй из упомянутых выше учеников проявил мотивацию к иным занятиям и, соответственно, развил другой набор компетентностей и способностей, способов мышления и восприятия в процессе предпринятого им оригинального исторического исследования. Третий развил похожий – но ни в коем случае не идентичный – набор компетентностей, необходимых для выполнения высококлассной социологической работы. То же можно сказать и о других учениках.
Если традиционные способы оценивания не могут зафиксировать наличие необычных, узкоспециальных знаний, то еще в меньшей степени они способны улавливать формирование навыков особого рода, мотивов и привычек, способов мышления и видов деятельности, способных составить в будущем арсенал компетентного ученого, историка, социолога, фотографа, репортера, повара или родителя.
Но и это еще не исчерпывает всех проблем, которые возникают при оценке подобного нетрадиционного учебного процесса.
Учащиеся работали в группах. В этих группах у них сложились определенные роли. В процессе работы они развили определенные компетентности, необходимые для эффективного выполнения соответствующих функций в группе. Один ученик научился эффективно координировать работу нескольких человек. Другой – успокаивать товарищей и сглаживать межличностные трения. Третий – вести переговоры. Четвертый – представлять результаты чужой работы официальным лицам, посетителям и посторонним людям, а не только своему учителю. И так далее. В процессе выполнения этих работ каждый учился общаться, изобретать, проводить собственные наблюдения, сотрудничать с другими, руководить и подчиняться.
Все эти компетентности чрезвычайно важны, однако они не «схватываются» общепринятыми измерениями. А без средств для оценки этих качеств учащиеся, которые прошли через такие обучающие программы, не смогут узнать, чем они отличаются от тех, кто обучался по другим программам. Еще меньше они могут узнать, чем они отличаются друг от друга: что они по-другому думают, по-другому видят окружающее, имеют другие приоритеты, иначе взаимодействуют с людьми и владеют разными навыками. Не имеющий средств для оценки этих качеств учитель, разрабатывая следующий проект, не сможет учесть те компетентности, которые достигнуты учениками при выполнении предыдущего. Ученики не имеют возможности предъявить документальное подтверждение способностей, которые они приобрели в процессе такого обучения, когда они хотят получить работу или продолжить образование. Учителя не получают признания своих заслуг в развитии этих способностей у учащихся по результатам выполнения ими итоговых тестов. На социальном уровне мы не можем воспрепятствовать тому, чтобы люди, у которых отсутствуют социально значимые потребности и вышеупомянутые интеллектуальные качества, занимали влиятельное положение в обществе. Но хуже всего то, что отсутствие средств оценки таких качеств ограничивает наши представления об образовании. При нынешнем положении дел даже слово «академический» не охватывает всего того круга занятий, в процессе которых люди наблюдают, обдумывают, размышляют, выносят суждения, оттачивают аргументы и готовят публичную презентацию важного материала.
Прежде чем двигаться дальше, отметим, что сам факт выявления такого рода знаний и способностей показывает, что проблема педагогического оценивания и измерения принципиально разрешима. Вот что мы делали в процессе этого исследования:
• наблюдали за учениками в процессе выполнения интересных для них заданий;
• фиксировали многочисленные и взаимозаменяемые компетентности, которые они проявляли при выполнении этих заданий;
• приняли описательный подход при заполнении протоколов наблюдения вместо того, чтобы фиксировать результаты в баллах или «переменных»;
• различали учеников по занятиям, которые их интересовали, и компетентностям, которые они проявляли в ходе этих занятий.
Основная мысль следующих глав состоит в том, чтобы показать возможность построения альтернативной концепции оценки содержания, методов и результатов обучения.
Традиционная оценка программ обучения ведет к некорректным выводам
Показав проблемы, которые передовая педагогическая практика ставит перед традиционным оцениванием, я перейду теперь к рассмотрению некоторых крайне дезориентирующих выводов исследований, выполненных в рамках доминирующей измерительной парадигмы, и обосную необходимость альтернативной измерительной концепции.
Исследования показали, что обучение по программе «Открытое образование» приводит к снижению баллов при традиционной тестовой оценке чтения, письма и счета. Stallings[5 - Stallings and Kaskowitz (1974).] обнаружила то же самое при оценке программы «Помощь на старте» («Headstart Follow Through» – программа, направленная на развитие интеллектуального потенциала учащихся, принадлежащих к низшему социо-экономическому слою. – Примеч. переводчиков). Однако она отметила и кое-что еще: «Открытое образование» повышает остроту восприятия и мышления – фактор, измеряемый с помощью теста «Прогрессивные матрицы Равена».[6 - Корреляции были равны по величине и противоположны по знаку.] («Прогрессивные матрицы Равена» – один из классических тестов интеллектуальных способностей; разработан Дж. К. Ра-веном-старшим, отцом автора данной книги. – Примеч. переводчиков.) Теперь спросим: какие выводы получились бы, если при оценке результатов «Открытого образования» использовались бы тесты, направленные на измерение наиболее значимых для этих программ качеств (лидерства, способности работать с другими, общаться, понимать других людей и оказывать на них влияние) и чувствительные к особенностям приобретенного в обучении опыта (вместо тестов, сконструированных так, чтобы результаты по ним как можно меньше зависели от этого опыта)? Очень возможно, что удалось бы обнаружить существенные позитивные результаты данной программы. Важно отметить, что даже использование очень хороших тестов для оценки навыков чтения, письма и счета может привести к противоречивым результатам. Традиционные измерения навыка чтения не в состоянии оценить стратегии работы с текстом, такие, как отказ от дальнейшего чтения книги или статьи, не соответствующей цели чтения, использование оглавления для поиска нужной информации или привлечение прочитанного для стимуляции собственных размышлений. Программы обучения, способствующие развитию такого высокого уровня компетентности читателя, могут легко привести к снижению оценок по таким тестам, которые измеряют готовность прочесть фрагмент неинтересного текста и способность запомнить ответы, которые испытуемый легко нашел бы, если бы они ему понадобились. Как показали Bullock[7 - Bullock Report (1975).] и McClelland,[8 - McClelland and Dailey (1973).] традиционные тесты по английскому языку не измеряют способности эффективно общаться. Действительно, станет ли беспокоиться о нарушениях грамматических правил тот, кто способен влиять на аудиторию посредством намека, аллюзии, привлечения широкого контекста?[9 - См. ниже, а также: Raven (1984).] (Cockcroft[10 - Cockcroft Report (1982).] пришел к аналогичным выводам в отношении арифметики.)
Прочитав последний абзац, легко согласиться и сказать: «Ну, конечно!» – однако не сделать самых важных выводов.
Как утверждается в изданных Объединенным комитетом «Стандартах экспертизы образовательных программ, проектов и материалов»,[11 - Joint Committee for Educational Evaluation (1981); Raven (1984).] экспертные заключения должны опираться только на результаты, полученные с помощью надежных и валидных тестов. К сожалению, трудно понять, как можно считать валидным измерение, если оно не способно зафиксировать наиболее важные результаты педагогического процесса; не служит оправданием данной ситуации и то, что в настоящее время нет надежных и валидных тестов для выявления этих результатов. Многие из самых важных результатов образовательного процесса очень трудно оценить формально, потому что им, как и результатам экономического или социального развития, требуется немало лет, чтобы проявиться в полной мере. Отказ от обсуждения результатов, которые в данный момент не поддаются измерению «надежными и валидными тестами», уводит дискуссии о политике в сфере образования от обсуждения реального педагогического процесса и его наиболее важных результатов к обсуждению того, что легче всего измерить. Объединенный комитет не проявляет беспокойства по этому поводу, а Стэнфордский исследовательский институт (где работала Stallings) однажды даже лишился контракта, когда указал, что для проведения квалифицированной экспертизы придется сначала разработать измерители такого рода результатов. Это позволяет предположить, что существует глубоко укоренившееся нежелание рассматривать те последствия, которые происходят от недостатка адекватных способов выявления и измерения более широкого спектра результатов педагогического процесса. Одним из ярких проявлений этой позиции служит нынешнее слепое применение тестов на оценку компе-тентностей элементарного уровня как показателей эффективности обучения. Как-то ускользает от внимания то обстоятельство, что эти тесты вообще неспособны оценивать обсуждавшиеся выше результаты обучения и поэтому не должны рассматриваться в качестве тестов эффективности обучения. Вопреки заявлениям, звучащим в начале большинства докладов и речей по проблемам образования, внимание политиков, школьных реформаторов, администраторов, учителей, родителей и учащихся, тем не менее, полностью сосредоточено на элементарных результатах, которые, как будет показано дальше, не имеют особого значения ни для отдельных людей, ни для всего общества. И эти доклады, и политика в сфере образования в целом совершенно справедливо были названы бывшим английским премьер-министром Эдвардом Хитом «лукавым трюком». Есть все основания опасаться, что отсутствие связи между правильно поставленными высокими целями, верно сформулированными проблемами в образовании и существующими способами «контроля качества» приведет к игнорированию имеющихся трудностей и не позволит достигнуть желаемых целей. В то же время контроль качества образования, направленный на измерение не тех результатов, которые хотелось бы получить, уводит всех работающих в системе образования и определяющих политику в этой области в ложном направлении.
Второй пример неадекватных выводов, сделанных исследователями, находящимися в плену существующей парадигмы педагогических измерений, заимствован нами из работ по программе «Совершенствование школьных навыков» («Mastery learnings»). Если кто-нибудь спросит, что в первую очередь станет делать ученик – участник программы «Совершенствование школьных навыков», когда он, выполнив задание, ждет, пока остальные его догонят, то получит ответ: он либо будет помогать своим более медлительным товарищам, либо пойдет играть в футбол. Таким образом, эти ученики не только узнают, что они «умные» (то есть способны быстро справляться с рутинными заданиями), но они также имеют возможность развить какие-то дополнительные компетентности – необходимые, например, чтобы учить других или чтобы играть в футбол. Другими словами, это ведет также к возрастанию различий между учениками в такого рода компетент-ностях. Итак, вопреки цели выравнивания школьных достижений, на которую направлена программа «Совершенствование школьных навыков», она просто перемещает неравенство учащихся в иную, неконтролируемую область. Еще серьезнее то, что, заставляя учеников выполнять задания, в которых они не могут добиться успеха, такого рода программы лишают медлительных, отстающих учеников возможности упражнять и развивать их наиболее важные и наиболее оригинальные способности. То же самое происходит, например, при стандартизированной проверке базовых навыков перед допуском учеников к выполнению новых заданий (например, к работе в проектах) и в большинстве «кор-рекционных» программ, которые требуют, чтобы дети с трудностями в обучении проводили едва ли не все свое учебное время в работе над базовыми навыками. Эти программы формируют такую самодостаточную среду, в которой только и можно выразить различие между учениками по какой-то одной единственной «способности». Медлительные ученики фактически лишены возможности попрактиковать свои способности в изобретательстве, умении убеждать, лидерстве, общении и слушании в процессе деятельности, которая их интересует. К тому же они лишены возможности показать, что, находясь в обстоятельствах, не выставляющих их в смешном виде, они, несмотря на свои «низкие способности», на самом-то деле могут хорошо справиться по крайней мере с некоторыми заданиями. Подобные процедуры обучения и контроля рождают представление об особой значимости фактора общих способностей. Если бы те люди, которые заказывали разработку и экспертизу школьных навыков, обладали бы более широкими и разносторонними взглядами на образование, на педагогические достижения и попытались бы содействовать развитию разнообразных способностей учащихся, а эксперты, в свою очередь, постарались измерить более широкий спектр результатов образования, их выводы были бы существенно иными.
Программа «Совершенствование школьных навыков» может быть использована для иллюстрации еще одного фундаментального порока современной теории тестов. Несмотря на все сказанное выше в адрес экспериментальных программ развития школьных навыков, ее основная философская установка правильна: если определенным учащимся действительно важно освоить некий навык, они его осваивают. Если же этого не происходит, то виновата программа. Когда освоение этого навыка или материала неважно для учащихся, они и не должны этому учиться. Отсутствие положительных результатов обучения означает, что либо учащимся некомпетентно преподавали, либо они не получили адекватной помощи и руководства. Другими словами, не выработанное в процессе обучения умение – это приговор способу обучения, а не самому ученику. Отсюда следует поистине катастрофический вывод для применяемых в настоящее время моделей измерения результатов обучения, поскольку большинство из них основано на предположении, что «нормальное распределение» педагогических результатов – явление не только ожидаемое, но и желательное. Как бы ни обстояло дело с врожденными способностями учащихся, это допущение не применимо к тем способностям, которые должны формироваться в процессе обучения.
Третий пример ошибочных выводов, сделанных в результате применения традиционных измерений в экспертных исследованиях, основан на работе Coleman[12 - Coleman et al (1966).] и отчете Международной ассоциации по оценке достижений в сфере образования.[13 - См., например: Peaker (1975); Walker (1976); Thorndike (1973); Comber and Keeves (1975); Carroll (1975).] В обеих этих работах представлены доказательства того, что «разные школы не отличаются друг от друга». Обе работы использовали традиционные тесты для измерения достижений в обучении. В обоих случаях попытались выявить зависимость результатов обучения от особенностей учителей. И когда статистическими методами исключили влияние таких факторов, как «домашняя ситуация» и «способности» детей, получили вывод, что «школы не различаются». Этот абсурдный вывод был получен благодаря тому, что использовались тесты, сконструированные специально для измерения содержания, общего для всех педагогических программ. В них не могли проявиться особенности профессиональной компетентности отдельного учителя. Другими словами, даже наиболее вероятные различия между учителями не могли быть выявлены в принципе.
Когда мы сами попытались измерить и как-то зафиксировать нестандартные результаты, полученные учениками при работе с конкретным учителем (а не то, научились ли они чему-то такому, что некий исследователь полагает необходимым для освоения текущего материала), и включили в опросники для учащихся нежелательные результаты наряду с желательными, мы обнаружили огромные различия во влиянии разных учителей на самооценки, набор компетентностей, ценности и приоритеты, складывающиеся у их учеников. Ученики из разных классов овладевали чрезвычайно разными умениями, многие из которых не только не подразумевались учителем, но и не несли никакой функциональной нагрузки. То же самое было отмечено и в ходе единственной исследованной нами обучающей программы проектного типа – то, что усваивал один ученик, значительно отличалось от того, что усваивали другие. Учащиеся выбирали и выполняли разные виды деятельности и, следовательно, оказывались в разной образовательной среде.
Выводы
Было показано, что традиционные тесты достижений не могут должным образом оценить результаты педагогического – в полном смысле этого слова – процесса; что они не подходят для выявления одаренности учащихся; что при попытках улучшить качество образования доверие к тестам уводит внимание учителей от тех целей, которые особо подчеркиваются при обсуждении недостатков системы образования, в сторону частных, незначительных целей; что они сужают наши представления об образовании вообще и об академическом образовании в частности и что их общепринятое применение при экспертизе содержания и методов обучения приводит к выводам, которые в лучшем случае некорректны, а по большому счету противоречат интересам как ученика, так и всего общества.
Остается добавить, что учителям совершенно необходимо иметь средства выявления интересов и способностей учеников, чтобы эффективно использовать обучающие программы. Им нужно уметь следить за продвижением учеников к цели, чтобы, если это понадобится, предпринять адекватные коррекционные действия. Ученикам необходимы средства, позволяющие определить, чему именно они научились и чем они отличаются от других учеников, обучающихся по другим программам. Они должны иметь возможность получить признание своих достижений. Учителям и администраторам необходимо уметь выявлять относительные преимущества разных программ, а также определять, в каких отношениях эти программы хороши, а в каких нет и как их можно улучшить.[14 - Три упоминавшихся выше экспертных исследования показывают, что при оценке результатов разных образовательных программ нельзя использовать тесты, предназначенные для выявления различий между учениками. В статьях, опубликованных Всемирным банком в 1985 г., Schwarz и я показали, что возможности этих тестов еще более ограничены, если ставится задача найти способы улучшения образовательных программ. Учителям необходим довольно широкий спектр инструментов, чтобы они могли работать по индивидуализированным обучающим программам, направленным на развитие компетентностей: им надо суметь выявить интересы и одаренность ученика и разработать для него персональную программу, которая обеспечила бы ему возможность практиковаться в широком наборе компетентностей; кроме того, им надо внимательно следить за отношением учеников к таким программам. Учителям необходимо уметь выявлять трудности учеников таким способом, который дает возможность определить необходимые для них коррекционные меры. Традиционные тесты ни для одной из этих целей не годятся. Именно по этой причине, как обнаружил Harlen (1984), никто и никогда – ни ученики, ни учителя, ни руководители школ – никак не используют результатов тестирования. Повсеместное и всеобщее тестирование концентрирует внимание учеников, родителей и учителей только на ближайших целях оценки. Вся процедура тестирования, таким образом, самодостаточна и неэффективна.]
Очевидно, что новая концепция измерения и оценки навыков и способностей учащихся остро необходима всей системе образования.
Однако примеры, которые я привел, содержат не только критику. Они также указывают основание, на котором можно было бы построить альтернативную концепцию: вместо использования «надежных и валидных» измерений лишь отдельных результатов педагогического процесса следует попытаться описать всю область его возможного влияния.[15 - Это ведет к изменению главной задачи исследователей: им придется сконцентрироваться на разработке адекватных теоретических представлений об образовательных процессах в гораздо большей мере, чем на разработке «планов исследования» и «методик».] Это предполагает, что альтернативная концепция измерений могла бы основываться на наглядных описаниях, аналогичных химическим, а не на установлении связи между переменными, как в физике. Подробнее мы раскроем эту идею в следующих главах. А пока, поскольку мы назвали еще далеко не все негативные последствия современной измерительной и оценочной практики и не привели достаточно свидетельств в пользу альтернативной измерительной концепции, рассмотрим еще несколько важных примеров.
ГЛАВА 2
НЕОБХОДИМОСТЬ ФУНДАМЕНТАЛЬНОЙ РЕФОРМЫ СПОСОБОВ ОЦЕНИВАНИЯ В СИСТЕМЕ ОБРАЗОВАНИЯ
В этой главе будут обсуждаться причины того, почему людям, связанным с проблемами образования, принципиально важно найти способы выявления таких индивидуальных качеств, как инициатива и желание участвовать в общественной жизни, – качеств, ускользающих от психометристов на протяжении всей истории психологии. Мы затронем здесь семь таких причин, которые можно объединить в четыре группы: 1) то, чему уделяется основное внимание в школах и что служит предметом дискуссий о политике в сфере образования, в действительности определяется самими показателями тестов учебных достижений; 2) учителя и ученики нуждаются в адекватных методических средствах для контроля за своим продвижением к поставленным целям и успешностью их достижения; 3) принятым в настоящее время способам оценивания учебной деятельности недостает конструктной и прогностической валидности, и они не позволяют нам исключить случаи, когда некомпетентные люди с неадекватными амбициями занимают влиятельное положение в обществе; 4) современные процедуры педагогического измерения необъективны.
1. Содержание выпускных экзаменов и квалификационных испытаний при приеме па работу обусловливает происходящее в школе и последовательно вытесняет из нее все, что достойно называться образованием
В исследовании, которое к настоящему времени проведено в Англии,[16 - Morton-Williams et al (1968); Morton-Williams, Raven and Ritchie (1971).] Шотландии,[17 - MacBeath et al (1981); CES (1977).] Северной Ирландии,[18 - Bill et al (1974).] Ирландии,[19 - Raven et al (1975); Raven (1976, 1977).] Бельгии[20 - De Landsheere(1977).] и США,[21 - Flanagan and Russ-Eft (1975); Johnston and Bachman (1976).] учащимся, их учителям, родителям, выпускникам школ и работодателям предлагали оценить важность различных потенциальных целей образования.
В таблице 1 приведены ответы ирландских мальчиков-подростков.
Таблица 1
Важность целей образования для мальчиков
(Указан процент мальчиков, оценивших данную цель как «очень важную».)
Условные обозначения к таблицам 1-4
Эти данные интересны во многих отношениях, однако здесь мы обсудим только три их аспекта.
Во-первых, по мнению мальчиков, наиболее важные цели обучения включают развитие уверенности и инициативы, требующихся для реформаторской деятельности; формирование независимости и способности применять знания для решения новых проблем; воспитание личности и характера. Эти данные бросают вызов широко распространенному мнению, что школу не должны волновать социальные изменения; они, в частности, заставляют сомневаться в выводе Goodlad,[22 - Goodlad (1983) сначала утверждает, что «родители хотят всего этого». Затем он настаивает, чтобы опрашиваемые ответили на вопрос, который требует от них выбора между предпочтительной для них направленностью школы на академические, социальные, профориентационные цели или цели личностного роста. По-прежнему значительная доля его респондентов считает неакадемические цели наиболее важными. Несмотря на это, в последних главах своей книги он все-таки умудряется сделать вывод, что большинство родителей, учителей и учащихся считает основной задачей школы достижение ака-демических целей, хотя его собственные данные демонстрируют, что происходящее в школе не соответствует такому выводу. Как я уже показал в другой своей работе (Raven, 1986), выводы, которые делает Goodlad, противоречат данным Johnston and Bachman (1976) и др.] что общество практически не требует от школы, чтобы она влияла на личностное развитие учащихся. Похоже, что непосредственные потребители услуг школы (ученики) хотят, чтобы она в большей степени содействовала развитию именно таких качеств, в развитии которых большинство педагогов не хочет принимать участия.
Во-вторых, ученики считают очень важной помощь школы в выборе профессиональной карьеры. Когда мы спросили их, должна ли школа делать больше для достижения этих целей, чем делает сейчас, оказалось, что помощью в выборе карьеры школа пренебрегает более всего. Flanagan[23 - Flanagan (1978).] и Bachman[24 - Bachman et al (1978).] в своих лонгитюдных исследованиях подтвердили правильность этого мнения. Теряется масса времени, возникают тяжелые стрессы, пока, наконец, в своих скитаниях на рынке труда люди не найдут ту нишу, которая, удовлетворит их личные интересы и склонности. Поступление на работу для многих становится, по существу, первой возможностью определить и развить свой истинный потенциал. Однако учащиеся (как и многие исследователи, включая и самого Flanagan[25 - Flanagan (1958, 1976); Flanagan et al (1975); Schools Council (19711982, 1973); Closs et al (1985); Closs (1986).]) ошибочно формулируют эту проблему как отсутствие помощи в выборе карьеры. На самом деле в любой профессиональной группе имеется множество людей с абсолютно разными мотивами и способностями, которые занимаются самыми разными видами деятельности. Так, среди психологов есть те, кто руководит компаниями, и те, кто занят исследовательской работой, а также преподаватели, редакторы журналов, политики и секретари. C.Taylor[26 - Taylor, Smith and Ghiselin (1963); Price et al (1971).] выделил 12 типов выдающихся исследователей и 25 типов выдающихся физиков. Это все очень разные люди, у них разные способности и области специализации. Следовательно, данные говорят о том, что учащиеся на самом деле нуждаются в средствах выявления и развития их индивидуальных способностей, в помощи по поиску возможности их применения и, наконец, в том, чтобы их оценили по достоинству.
В-третьих, из приведенной таблицы видно, что хотя мальчики и отводят успешной сдаче экзаменов второе-третье место, они в то же время помещают такие ценности, как более широкое, чем это требуется для экзаменов, знание предмета и изучение внепрограммных предметов, в конец списка своих приоритетов (45-е и 41-е места соответственно). Факт такого расхождения в сочетании с другими данными – такими, как беспокойство, которое они испытывают на информативных и интересных, но не предусмотренных программой уроках, – дает основание считать, что, заявляя о желании получить хорошее образование, они все же имеют в виду высокие отметки. При этом содержание изучаемого предмета не так важно. Данные Goodlad[27 - Goodlad (1983).] убедительно подтверждают этот вывод.
Все эти результаты имеют огромное значение: мальчики-подростки хотят изменений, они хотят, чтобы школа помогла им реализовать себя, помогла выявить и развить их индивидуальные способности и обеспечила признание этих способностей; при этом они не считают таким уж важным содержание того, что называется академическим образованием. Говоря, что школы должны сосредоточиться на академических целях, они имеют в виду, что хотят получить сертификаты об образовании, которые обеспечат им доступ к работе, а эти сертификаты в настоящее время могут быть получены только через так называемые академические занятия (впрочем, очень редко заслуживающие такого определения).
Таблица 2
Важность целей образования для девочек
