понедельник, 24 июня 2013 г.

Субъективность в ЕГЭ: кто и как проверяет работы?

В прошлом посте я затронул тему субъективности в ЕГЭ, но прежде чем перейти к критике самого святого, что есть (по крайней мере, должно быть) в экзамене - проверки по единым критериям, хотелось бы раскрыть то понятие, о котором я буду говорить. Субъективность - это индивидуальный взгляд на мир, личное восприятие действительности, которое зависит не только от возраста, накопленного жизненного опыта, но и просто от того, что у каждого своё неповторимое мышление. Субъективность неизбежна в нашей жизни в любой сфере, порождает споры и иные столкновения собственных позиций. При этом можно попытаться прийти к одной истине, а можно каждому остаться при своём мнении (я предпочитаю первое).  Понятно, что я веду речь не о субъективности знаний в принципе (например, что дважды два - четыре), а только о разном понимании абстрактных строго не определённых понятий, а также о разном взгляде на вещи, поэтому всё, что написано в этом посте относится только к творческому виду заданий (на экзамене по русскому языку это сочинение) Из-за неизбежности различного восприятия у разных людей субъективность присутствует и в традиционной проверке сочинения, хотя в нём она совсем другого более безобидного рода. Субъективность в ЕГЭ заключается в вольной трактовке каждым экспертом понятий, входящих в критерии содержательности и структуры сочинения.

Разберём этот вопрос  по каждому случаю отдельно. Субъективность традиционной проверки сочинения заключалась только в том, что ученик мог высказать нравственную позицию, с которой несогласен учитель (например, классическая литература устарела и не нужна современному человеку), в этом случае оценка за содержательность работы могла бы снизиться на целый балл (систем, помним, пятибалльная). Ученик, которому занизили оценку за такую работу, будет справедливо недоволен, ведь есть свобода мнения. Возможно, пример в скобках не самый удачный но, думаю, общая мысль ясна - несовпадение позиций ученика и учителя или читателя и автора текста - обычное дело. Как обстоит дело сейчас? В ЕГЭ строго запрещается эксперту оценивать нравственную позицию учащегося (всегда, когда я говорю фразы типа "в ЕГЭ можно", "в ЕГЭ нельзя" и тому подобное, я ориентируюсь на «Учебно-методические материалы для председателей и членов региональных предметных комиссий по проверке выполнения заданий с развернутым ответом», опубликованных на официальном сайте Федерального института педагогических измерений в последнем обновлении). Другое дело, что свою позицию нужно аргументировать, при этом понятия убедительности аргументов нет, и это хорошо, ведь если бы она была, то доля субъективности только увеличилась бы.

Субъективность присущая непосредственно ЕГЭ, как я уже отметил в начале поста - это вольная трактовка критериев, индивидуальное их понимание каждым экспертом. К числу доказательств, убеждающих меня в этой истине, в этом году прибавилась моя собственная ситуация. Хоть я и не люблю писать по формальным шаблонам, строго выдержал при написании сочинения требуемую структуру (проблема-комментарий-собственная позиция-аргументация), но пришедшие результаты меня удивили: комментарий был оценён в ноль баллов, а аргументация (два аргумента из литературы!) в два. Я подал апелляцию и в течение времени, которое у меня было, ещё раз повторил критерии и ознакомился с вышеназванными учебно-методическими материалами. Комментарий может быть не зачтён, если он написан по не сформулированной в сочинении проблеме (хотя я написал его по той проблеме, что сформулировал), а аргументация оценивается в два балла, если приведён только один аргумент из литературы или два из жизни, личного опыта и так далее (у меня было два литературных аргумента). На апелляции вопросов к моему комментарию не возникло вовсе и два балла были добавлены без поиска истины. Перечитав сформулированную мной проблему, я также убедился, что комментарий написал по сформулированной проблеме и с опорой на текст. Но вот что удивительно: отчего два-три эксперта, проверявших мою работу изначально, оценили комментарий в ноль баллов, а другие три эксперта - в два? Этот вопрос я задал на апелляции, в ответ эксперты предположили, что это просто ошибка из-за большой нагрузки и, как следствие, утомляемости проверяющих. Если это действительно так, то нужно увеличивать число экспертов, снижать число работ, приходящихся на одного человека, делать что угодно, но не допускать подобной погрешности в результатах. Лично для меня дорог даже один первичный балл. Но я думаю, что дело не только в этом, не могли же проверяющие мою работу учителя пропустить глазами довольно большой абзац. Всё-таки больше похоже на то, что они нашли причину оценить его в ноль баллов, при этом на апелляции, повторюсь к комментарию не было претензий. Это уже представляет собой разное понимание экспертами одного и того же критерия.

Ещё более интересный случай представляет собой снятие балла за аргументацию. Убедившись в том, что у меня в сочинении приведено два аргумента из литературы, балл мне эксперты добавили, но объяснение того, почему он мог быть снят, я получил: по критериям два балла ставится за аргумент из литературы, а один балл за аргумент из жизни - так получаются три балла. За два аргумента из литературы получается нужно ставить четыре балла (по два за каждый), но такого в критериях нет,  значит учитывается только один аргумент из литературы! Это уже просто нарушение законов логики! Такая причина снятия одного балла говорит уже не о субъективизме , а о некомпетентности. Ведь в критериях сказано, что три балла ставятся за два аргумента, один из которых из научной, публицистической или художественной литературы (один, а не только один!). Из этого следует, что второй аргумент может быть безразлично откуда: из жизни, личного опыта или из той же литературы. 

Кто виноват и что делать? По моему мнению, вольность трактовки критериев можно устранить их большей формализацией. В частности, сегодняшнее понимание комментария как «пояснения к проблеме» вызывает самые разные представления о его назначении и содержании. Последнее определено в учебно-методических материалах весьма общими словами, что позволяет экспертам сужать границы того, что может быть в комментарии. От одного из учителей я услышал такой ответ на вопрос: "Что должен содержать комментарий?" - "Это то, почему автор затронул именно эту проблему», но нигде не определено подобное содержание этой части сочинения.  В следующих постах постараюсь написать своё мнение о том, как именно следовало бы формализовать комментарий и другие критерии содержания (К1-К4). Просто мнение, так как это вопрос, требующий обстоятельного решения людей соответствующей компетенции, но то, что формализация критериев необходима - это факт. Побочным действием этого может стать сужение рамок для творческого самовыражения ученика, но это уж лучше, чем сегодняшнее положение, когда в присутствии такой свободы педагоги сужают её по своему разумению. А что касается компетентности отдельных региональных экспертов, то это ещё более сложный вопрос. Эксперты, с которыми я общался на апелляции, уверили, что проходят специальные курсы, непонятно тогда откуда берётся такой подход к оцениванию аргументации, который был применён в моём случае. И самое страшное, что вряд ли только в моём... Более того, я считаю, что существующие курсы повышения квалификации должны проходить все педагоги, ведь те из них, кто не проверяет работы, готовит детей к экзамену, и получается, что имеет иное представление о критериях. На апелляции эксперты подтвердили, что моё мнение об оценке аргументации вызвано неправильной подготовкой! Однако я согласен с мнением большинства учителей, с которыми я общался,что два литературных аргумента должны оцениваться в три балла. Такое положение вещей на сегодняшний день не позволяет считать результаты ЕГЭ объективными, а подобная система "единых" критериев для всех на деле рождает множество неоднозначностей при оценивании и требует либо глобальной доработки, либо ликвидации,

Я продолжаю общаться с учителями и экспертами на тему ЕГЭ по русскому языку и литературе. Если у вас есть что сказать, пишите в комментариях. Спасибо. 

6 комментариев:

  1. Евгений, здравствуйте. Немного запуталась в ваших витиеватых фразах... Скажите, когда вы подали апелляцию, ещё до выхода из ППЭ или уже после, когда получили баллы, которые вас не устроили? И какие же в итоге баллы по русскому языку имеете?
    С уважением, Галина Станиславовна.

    ОтветитьУдалить
    Ответы
    1. Я подал апелляцию не о нарушении порядка проведения, а о пересмотре результата, то есть после самого экзамена. Весь пост собственно и посвящён тому, что понимание критериев проверки у экспертов разное. На апелляции мне удалось отвоевать три первичных балла, 72 тестовых были пересчитаны в 79.

      Нарушения порядка проведения - отдельная тема, которая тоже имеет место быть, но апелляцию по этой части я не подавал. КИМами из Интернета пользуются почти все (знаю, как минимум, одного человека, который решил написать сам, как и я). Я считаю, что нужно следить за утечкой информации на федеральном уровне, а не наказывать рядовых учеников и учителей.

      Удалить
  2. Добрый день, Евгений! Четыре года являюсь организатором в аудитории на ЕГЭ И ГИА. Абсолютно согласна с Вашей мыслью, что "что нужно следить за утечкой информации на федеральном уровне, а не наказывать рядовых учеников и учителей". Но за эти годы за себя и за своих коллег ( а в аудитории каждый раз, как Вы знаете, получаются разные напарники-организаторы)могу сказать: отрабатываем честно.

    Удалить

    ОтветитьУдалить
    Ответы
    1. Здравствуйте! Я понимаю, что профессиональные эксперты, трактующие критерии максимально близко к тому, что изложено в УММ, существуют. Но я столкнулся с иной ситуацией, которая описана в посте. Заметьте, что я не называю это нечестностью, просто слабая формализация критериев позволяет допускать вольность в их трактовке (в моём случае это отразилось на комментарии). А вот подобный подход к аргументации даже и объяснить не могу.

      Удалить
    2. Нет-нет, я не профессиональный эксперт,я всего лишь организатор ( иногда ответственный, иногда "безответственный", как мы шутим:))Мы отвечаем за процедуру проведения ЕГЭ в аудитории. А честно-нечестно...Просто наслышаны, что в других регионах нарушают порядок проведения.

      Удалить
    3. Ой, извините, не понял... Пост-то, в основном, о критике проверки. Что ж, приятно, что вы можете с уверенностью ручаться за честность в организации.

      Я, рассказав свой случай, не склонен обвинять экспертов в профнепригодности, просто считаю, что любое творческое задание не на "сухие" знания практически невозможно загнать в формальные рамки критериев, оценка содержательности всегда сопряжена с субъективностью, поэтому данные критерии нужно строго формализовать.

      Удалить

Спасибо вам за то, что читаете мой блог! Мне будут очень полезны ваши комментарии по теме этого сообщения.

Если у вас нет аккаунта в Blogger, то, чтобы оставить комментарий, выберете из выпадающего меню строчку Имя/URL, укажите своё имя и напишите отзыв в поле для текста.

Анонимность не приветствуется.

Чтобы вставить гиперссылку, используйте код:

<a href="ССЫЛКА">ТЕКСТ</a>

Related Posts Plugin for WordPress, Blogger...