+7 (8112) 66-71-14

ege@pskovedu.ru

Псков, ул. Кузнецкая, д.13
Режим работы: ПН-ЧТ 9:00 — 17:00, ПТ 9:00 — 16:00

Содержание теста, принципы разработки содержания теста

СОДЕРЖАНИЕ ТЕСТА,  

принципы разработки содержания теста.

                                                                            

Автор: В.С.Аванесов

 

Содержание теста можно определить как оптимальное отображение содержания образования в системе тестовых заданий. Содержание школьного образования определяется как система знаний и опыта человечества, усвоение которой необходимо для последующего приобретения профессионального образования и для повышения качества жизни. Содержание образования задается различными образовательными программами, выбор которых осуществляется учащимися на добровольной основе. Это одно из условий возникновения такого общественного явления, как учащийся народ, о чем мечтал В.И. Вернадский. "Нравственный и образованный народ, - писал в дневниках Ф. М. Достоевский, - составляет великую и справедливую цель. Нравственное стремление и просвещение - не только высшая, но, может быть, самая выгодная политика для великой нации, именно потому, что она великая". 

В хорошо отлаженной системе образования система тестовых заданий должна была бы, в принципе, проверять все знания, которые предлагаются учащимся в процессе обучения. Но в силу множества причин объем проверяемых знаний всегда оказывается меньше объема знаний, предлагаемых на уроках. Проверяемые знания - это та часть содержания учебной дисциплины, усвоение которой учащимися подлежит обязательному контролю в отдельно взятом образовательном учреждении. Знания, которые должны проверяться у учащихся всех образовательных учреждений, назовем нормативными; они предписаны федеральным органом управления образованием как норма, которую участники образовательного процесса должны соблюдать. 

Учебный материал по любой учебной дисциплине является частью образовательной программы, обычно включает в себя основные понятия и термины, факты науки и повседневной жизни, законы и теории, знания о способах и методах деятельности. При отсутствии в стране достоверной образовательной статистики и несвоевременных выплатах зарплаты учителям фактическое выполнение этой нормы по полной, скажем так, номенклатуре всегда остается под вопросом.

Некоторые элементы проверяемых знаний (преимущественно по отдельным темам) используются только в текущем контроле. Другие элементы, охватывающие знания нескольких тем, используются в рубежном контроле, например, в конце учебной четверти. И, наконец, в итоговом контроле используются задания, правильные ответы на которые требуют знания многих, а и иногда и всех тем, изученных в течение учебного года. 

Уже отмечалось, что знания, предлагаемые учителями, обычно бывают шире знаний, проверяемых у учащихся при тестировании. Однако хорошо организованная самостоятельная работа позволяет некоторым учащимся знать больше того, что сообщается на уроках. Это возможно только при работе учащихся с системой основных и дополнительных заданий, если таковая имеется в школе. Существенное место в такой системе должно отводится развивающим заданиям. Специально организованная работа по созданию системы заданий для самостоятельной работы и тестового контроля проводится сейчас довольно редко. Это делается только в тех образовательных учреждениях, где понимается важная роль так называемого задачного подхода к организации обучения  и где ощущается необходимость перехода от репродуктивного типа обучения к формам творческого, преимущественно, самостоятельного постижения окружающего мира. 

В отмеченном переходе задачей учителей и руководителей школ становится не только передача и репродуцирование знаний - это нужно, и спорить здесь не о чем. Кроме этого, важно также целенаправленно формировать интеллект, умения и навыки решения учебных и жизненных задач, представления, а также такое мировоззрение учащихся, которое ориентируется на личностно и общественно значимые ценности. При такой организации содержания образования учитель становится, с одной стороны, наставником и технологом индивидуализированного процесса самообразования учащихся, а с другой - создателем и селекционером заданий, используемых далее как для обучения, так и для контроля. Пример такой организации уже приводился в статье 8 цикла "История и теория тестов", где рассматривались вопросы применения тестов в системе полного усвоения знаний.). 

Слова "оптимальное отображение" предполагают необходимость отбора такого контрольного материала, ответы на который с высокой вероятностью (больше 95 %) свидетельствовали бы об уровне подготовленности каждого учащегося. Достижение обоснованного вывода о знаниях учащихся на основе содержания теста является главной целью тестологии - науки о разработке качественных тестов и их эффективном применении. Оптимизация содержания является ведущей идеей традиционного теста, а в еще большей степени - адаптивного теста: минимумом числа заданий, за короткое время, быстро, качественно и с наименьшими затратами измерить знания как можно большего числа учащихся. 

Эта идея близка по смыслу задаче повышения эффективности педагогической деятельности при использовании массовых форм контроля знаний. Здесь уместно сделать некоторое обобщение идейного толка: культура тестирования в первую очередь интересна тем руководителям школ, кто стремится к повышению отмеченной эффективности - если в школе ставятся задачи регулярного проведения объективного контроля учебных достижений, в форме тестирования, а затем появляется желание проводить мониторинг результатов образовательной деятельности и рейтинг учащихся. Для других же тесты представляют либо непривычную форму контроля знаний, либо ненужной новацией, затрудняющей и без того нелегкую жизнь. 

Требование оптимальности отображения подводит к необходимости пересмотра цели и смысла педагогической деятельности. До недавнего времени практика общего среднего образования сводилась к овладению известным перечнем знаний, умений и навыков; в методической литературе последние иногда, по первым буквам, называют ЗУНами. В образовательном министерстве к этому добавили спорную (если не вредную) идею так называемого "образовательного минимума", что вошло в окончательное противоречие с целями подлинного образования и развития личности, с целями, включающими в себя полноценное интеллектуальное, культурное, нравственное, эстетическое и физическое развитие, а также приобретение необходимых знаний, умений, навыков и представлений. Ориентация на работу по минимуму и проверку только минимума является следствием бюрократизации управления образованием и ошибочности тотально-минималистской образовательной политики.

Преодолению сложившегося положения может способствовать только реальное изменение практики работы федерального органа управления образованием. Например, работа образовательных учреждений по-прежнему планируется в учебных часах преподавательской работы, хотя трудоемкость усвоения учебных дисциплин уже давно надо было считать с учетом времени, необходимого учащимся на самостоятельную работу. Только тогда появляются организационные условия для радикального устранения перегрузок в учебной работе, реализм в отборе содержания учебного материала и ответственность за качество усвоения нормативных знаний. 

Помимо нормативных знаний, умений и навыков в содержание учебных дисциплин полезно включить представления - мыслимые образы предметов, которые в некоторых случаях могут быть ближе к действительности, чем ряд абстрактных понятий. Представления сейчас мало или почти не отражаются в учебных планах и программах. Между тем, в условиях быстро изменяющегося и обновляющегося образования прочное знание всего материала учебной дисциплины становится малореальным и трудным делом. Если признать, что "остаточные знания" у многих редко превышают 15 % спустя год после сдачи экзамена, то возникает вопрос: - а знания ли это? И не лучше ли некоторые учебные материалы давать в виде представлений, часть которых может быть забыта, но затем, в нужный момент, легко и самостоятельно могут быть превращены в знания? Вспомним слова выдающегося немецкого педагога А. Дистервега: "Не следует прочно изучать то, что может быть легко забыто". Представления решают важную задачу ориентации в мире знаний, а это иной раз не менее важно, чем обладать теми или иными частными знаниями. Тем не менее, представления не заменяют знания, а дополняют их, в той мере, в какой требует хорошо организованный учебный процесс. Сказанное ни в коей мере не принижает важную роль ЗУНов, а только вводит их в другой, более широкий контекст подлинно образовательной деятельности. 

В этой связи возникает необходимость дифференцирования понятий "содержание образования" от понятия "содержание обучения". Одним из первых это сделал В.К. Дьяченко. Он полагает, что понятие "содержание обучения" гораздо шире, чем понятие "содержание образования". Обучаются любому ремеслу: сапожному и т.д., обучить можно и любой игре: в футбол и т.п. Для этого получать образование не надо. Образование связано с изучением наук, языков, искусств, т.е. того, что составляет более высокий слой культуры. Сейчас же в основном используется другая логика: образование рассматривается как более широкая деятельность, чем обучение. Обучение считается частью (или слоем) образования. 

Содержание теста в первую очередь определяется целями тестирования. Это, пожалуй, самый главный принцип, который положен в основу разработки теста. Например, для проведения периодического мониторинга образовательного процесса в школе больше подходят тесты с детальным дифференцированием содержания учебной дисциплины в достаточно большой системе заданий. Такие тесты требуют содержательно-ориентированной интерпретацией результатов, где главной задачей становится выяснение - что из изученного содержания учебных программ усвоено каждым учащимся, а что потребует дополнительного изучения. Для проведения рейтинга учащихся требуются тесты с менее дифференцированным содержанием учебной дисциплины, и соответственно, с меньшим числом заданий. Для этой цели больше подходят традиционные тесты, о которых уже писал. 

Если нужно отобрать небольшое число школьников для участия в олимпиаде, то содержание заданий такого теста должно быть трудным. Если требуется отсеять, наоборот, самых слабых учащихся, то это лучше сделать с помощью сравнительно легких заданий; те ученики, которые не выполняют такие задания, и есть самые неподготовленные. Иногда возникает вопрос - а как быть в случае, когда учащиеся правильно отвечают на трудные задания, и неправильно - на легкие? Возникновение подобных казусов, противоречит естественной педагогической логике. Обычно это следствие либо ошибочно сделанного теста, либо своеобразной системы обучения, порождающей множество пробелов в знаниях. Для обнаружения и анализа подобных ситуаций используются специальные статистические методы. 

Чем полнее отображение учебной дисциплины в тесте, тем увереннее можно говорить о так называемой содержательной валидности тестовых результатов. Ориентировочный (далеко не полный в рассматриваемом случае) смысл английского слова "valid" означает "пригодность для поставленной цели". Тест не может быть пригодным для измерения знаний по любой учебной дисциплине, в любое время, у испытуемых с любым уровнем подготовленности. Таких тестов не бывает. Тест создается для определения уровня подготовленности учащихся и его результаты интерпретируются в зависимости от степени достижения поставленной цели. Именно поэтому результаты тестирования могут быть признаны валидными в различной степени, а то и вовсе невалидными.

В предыдущей статье содержание теста определялось как оптимальное отображение учебного материала в системе тестовых заданий. Такое отображение открывает возможность нетрадиционного построения учебного процесса, в котором тестовые материалы используются не только для контроля, но и для обучения. Например, применение заданий в компьютерных контрольно-обучающих программах позволяет учащимся самостоятельно обнаруживать пробелы в знаниях и принимать меры для их ликвидации. В таких случаях можно говорить об обучающем потенциале тестовых заданий. 

При разработке теста каждый автор старается подобрать свою систему заданий, вследствие чего по одной и той же учебной дисциплине может оказаться несколько различных тестов, с неодинаковым охватом учебных тем, с несовпадающим числом заданий, и с разными баллами испытуемых. Возникает естественный вопрос, - какой из тестов лучше измеряет интересующие знания? Ответ на этот вопрос дают эксперты. Лучшим часто считается тест, у которого содержание шире и оно охватывает более глубокие уровни знаний. Такое содержание определяется с опорой на ряд педагогических принципов. 

Первый принцип разработки содержания теста - соответствие содержания теста целям тестирования - уже был рассмотрен в предыдущей статье. Остается добавить, что для оценки знаний выпускников образовательных учреждений на соответствие требованиям минимума содержания учебных программ, в средства оценки придется включать немало сравнительно легких заданий. Но тогда ни о каком тесте, в нормативном понимании этого слова, говорить не придется. Возникнет и ряд таких спорных вопросов, как определение минимально "проходного" балла (или процента правильного выполнения числа заданий, как было задумано в проекте закона об аттестации учащихся). По мнению автора, слова "минимальное содержание" (если они утвердятся в официальном лексиконе, вопреки тому, что такие слова вообще противоречат сути гуманитарно-ориентированной образовательной практики, декларируемой Министерством образования РФ) можно будет соотнести с минимальной положительной оценкой. Это будет оценка "три". В то время как хорошие и отличные оценки должны выставляться за знания более широкие и глубокие, нежели минимально требуемые в образовательном стандарте. Отсутствие четко сформулированных, общественно одобряемых целей, согласованных с методами и организационными формами их достижения, заводят тестирование в России не столько в кризисное состояние (после которого могли бы ещё остаться надежды на выздоровление), сколько в тупик, выход из которого бывает в одном направлении - назад, к исходной точке. И это уже было в истории тестов советского периода. 

Второй принцип - определение значимости проверяемых знаний. Принцип значимости указывает на необходимость включения в тест только тех элементов учебной программы, которые можно отнести к наиболее важным, без которых знания становятся несущественными, фрагментарными, состоящими из второстепенных элементов. Поскольку именно ключевые элементы формируют основу подлинных знаний, в тест в первую очередь включают, конечно, их. Отбор значимых элементов проводится с опорой на мнения педагогов-экспертов, имеющих личный опыт преподавания и проверки знаний по интересующей учебной дисциплине. 

Третий принцип - взаимосвязь содержания и формы. При разработке тестов может оказаться уместной некоторая ассоциация с созданием произведений искусства. Настоящее искусство представляет собой, по словам Гегеля, «законченное внутри себя соединение содержания с вполне соответствующей ему формой». Настоящий тест так же можно охарактеризовать как результат соединения содержания заданий с наиболее подходящей для них формой. Одновременно форма является способом существования и сохранения содержания задания. Вне тестовых форм ни тест, ни его содержание не существуют. Начинающие разработчики тестов часто допускают ошибки несоответствия формы задания его содержанию. Главное средство предупреждения таких ошибок - овладение классификацией видов знаний, которая будет опубликована в ближайших выпусках газеты. Не всякое содержание поддается выражению в форме тестового задания. Доказательства, обширные вычисления, многословные описания не поддаются представлению в тестовой форме. Из этого вытекает важный вывод - тестовую форму нельзя рассматривать как универсальную, пригодную на все случаи проверки знаний. Да и вряд ли в педагогике есть вообще какая-либо одна форма, которая могла бы выразить все богатство изучаемых знаний. Вместе с тем, тестирование является одной из наиболее объективных и технологичных форм проведения массового контроля знаний. В этом смысле сравниться с тестированием ни один из известных методов проверки знаний не может. Содержание контроля по каждой учебной дисциплине рассматривается сквозь призму подходящей формы. При этом анализ содержания теста относится к учебной дисциплине, в то время как поиск наилучших форм является предметом науки о тестах, т.е. тестологии. В этой науке имеется несколько довольно развитых и конкурирующих теорий. Сейчас стало ясно, что нет абсолютно никаких оснований считать какую-либо одну теорию тестов современней, чем другие теории. 

Четвертый принцип - содержательная правильность тестовых заданий. В тест включается только то содержание учебной дисциплины, которое является объективно истинным и поддаётся аргументации. Хотя в педагогической литературе последних лет справедливо обосновывается правомерность выделения двух сложившихся методов познания мира - рационального, естественно научного и интуитивно-образного (2), в содержание тестового контроля знаний наметилась традиция включать те элементы знаний, которые поддаются преимущественно рациональной, нежели интуитивно-образной аргументации. Каждое задание теста опирается, как правило, на факт, правило, теорему, норму, закон или на апробированный в практике метод. Спорные точки зрения, вполне приемлемые в науке, не рекомендуется включать в содержание тестовых заданий. В отличие от вопросно-ответной формы заданий, где даются ответы, правильные в различной степени, тестовые задания обычно требуют определенных ответов, признаваемых в качестве точных и бесспорных. 

Пятый принцип - репрезентативность содержания учебной дисциплины в содержании теста. При разработке теста обращается внимание на полноту и достаточность числа заданий для аргументированного вывода о знаниях. В самом деле, проверить знания учащихся можно по пяти-шести заданиям. Но где уверенность, что учащиеся знают остальные элементы содержания учебной дисциплины? Путь к появлению такой уверенности лежит в наиболее полном отображении необходимого знания в заданиях теста. Репрезентативность не означает обязательного включения в тест всех значимых элементов содержания или строго пропорционального включения в тест заданий по различным темам. Ведь многие из них явно связаны между собой в общей структуре знаний, включены один в другой, полностью или частично. Кроме того, много элементов в структуре знаний иерархически соподчинены, а потому из соображений экономии, нет смысла включать в тест задания из всех изучавшихся тем. Задания, которые выявляют знания таких элементов, можно назвать содержательно-структурными заданиями теста.

Стремление к повышению валидности тестовых результатов путем расширения числа тем учебной дисциплины и увеличения числа заданий в тесте нельзя, в принципе, признать правильным. Нет таких тестов, содержание которых вбирало бы в себя все содержание учебной дисциплины. При создании теста обычно ставится задача отобразить в нем то основное, что отражает идею измерения уровня и структуры подготовленности учащихся, как результат образовательной деятельности. Можно сказать так: содержание учебной дисциплины всегда шире содержания тестовых заданий. Некоторые из них заметно связаны между собой, иногда перекрывают друг друга по содержанию и потому могут замещаться, что позволяет уменьшить общее число заданий в тесте. Репрезентативность заданий связана с числом заданий. В общем случае, чем больше заданий, тем репрезентативнее могут оказаться результаты. Число заданий традиционного теста обычно бывает не меньше тридцати. Банк заданий адаптивного теста содержит большее число заданий. Число заданий в тесте зависит, во-первых, от содержания проверяемого материала: чем больше объем проверяемых знаний, тем большее обычно требуется число заданий. Во-вторых, от вида тестов; интегративные тесты требует меньшего числа заданий, в силу того, что для правильного решения каждого задания надо обладать знаниями различных учебных дисциплин. Следовательно, тест, состоящий из интегративных заданий, охватывает большее число проверяемых учебных элементов. И в-третьих, точность педагогических измерений зависит от числа заданий; в традиционном тесте точность измерения растет по мере увеличения числа заданий. 

Шестой принцип - соответствие содержания теста уровню современного состояния науки. Этот принцип вытекает из естественной необходимости проверять знания школьников не на устаревшем, а на современном учебном и контрольном материале. Трудность реализации этого принципа заключается в опосредованности связи содержания теста с уровнем развития науки. Здесь полезно напомнить, что учебный предмет представляет своеобразную проекцию научного знания в плоскость усвоения. 

Седьмой принцип - комплексность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы, даже если эта тема является самой ключевой в учебной дисциплине. Необходимо искать задания, комплексно отображающие основные, если не все, темы учебного курса. В то же время существует стремление сбалансировано отобразить в тесте основной теоретический материал - понятия, законы и закономерности, гипотезы, факты, вместе с методами научной и практической деятельности, с умениями эффективно решать типовые задания. 

Восьмой принцип - системность содержания. Это означает формулирование такого содержания тестовых заданий, которое отвечало бы требованиям системности при проверке знаний. Помимо подбора заданий с системным содержанием важно иметь задания, связанные между собой общей структурой знаний. Это возможно в тех случаях, когда каждое задание проверяет преимущественно свою часть в общей системе знаний. Идеальный вариант при разработке теста - когда задания не пересекаются по содержанию и по статистическим показателям между собой, но все имеют положительные корреляции с каким-либо внешним критерием знаний испытуемых. 

Девятый принцип - вариативность содержания. После первого применения теста его содержание становится известным испытуемым. И если есть условия для передачи информации о содержании заданий другим учащимся, то это почти всегда делается. Испытанным в практике способом защиты тестовых результатов от возможных искажений такого рода является создание множества вариантов заданий одного и того же теста. Соответственно тесты, состоящие из вариантов заданий, называются параллельными, если при этом выполняются еще и некоторые статистические условия. Например, они должны быть примерно равны по трудности, иметь сходные показатели вариации тестовых баллов испытуемых. Кроме того, содержание теста не может оставаться неизменным, независимым от нового содержания учебной дисциплины и от новых учебников.

 

Файлы: