Войти
Моделирование с добавленной стоимостью (также известное как измерение добавленной стоимости, анализ добавленной стоимости и оценка добавленной стоимости ) - это метод оценки учителя, который измеряет вклад учителя в данный год путем сравнения текущих результатов тестов их учеников. к оценкам тех же учеников в предыдущие школьные годы, а также к оценкам других учеников того же класса. Таким образом, моделирование добавленной стоимости направлено на выделение вклада, или добавленной стоимости, который каждый учитель вносит в данный год, который можно сравнить с показателями успеваемости других учителей. VAM считаются более справедливыми, чем просто сравнение оценок успеваемости учащихся или получение баллов без учета потенциально мешающих переменных контекста, таких как прошлые результаты или доход. Также можно использовать этот подход для оценки добавленной стоимости директора школы или школы в целом.
Критики говорят, что использование тестов для оценки отдельных учителей не было научно обосновано, и большая часть результатов обусловлена случайностью или условиями, не зависящими от учителя, такими как внешнее репетиторство. Однако исследования показывают, что различия в эффективности учителей, измеряемые добавленной стоимостью учителей, связаны с небольшим экономическим эффектом для учащихся.
Исследователи используют статистические обрабатывает результаты прошлых тестов учащегося, чтобы предсказать его будущие результаты тестов, исходя из предположения, что учащиеся обычно ежегодно набирают примерно такие же высокие баллы, как и в прошлые годы. Затем фактическая оценка учащегося сравнивается с прогнозируемой. Предполагается, что разница между прогнозируемыми и фактическими оценками, если таковая имеется, связана с учителем и школой, а не с природными способностями ученика или социально-экономическими обстоятельствами.
Таким образом, моделирование с добавленной стоимостью пытается изолировать вклад учителя от факторов, находящихся вне его контроля, которые, как известно, сильно влияют на успеваемость учащегося, включая общий интеллект, бедность и участие родителей.
Объединяя все эти индивидуальные результаты, статистики могут определить, насколько конкретный учитель улучшает успеваемость ученика по сравнению с тем, насколько обычный учитель улучшил бы успеваемость ученика.
Статистики используют иерархическое линейное моделирование для прогнозирования баллов для данного ученика в данном классе в данной школе. Этот прогноз основан на совокупных результатах всех студентов. Прогнозируемый балл каждого ученика может учитывать уровень ученика (например, прошлые успеваемость, социально-экономический статус, раса / этническая принадлежность), уровень учителя (например, сертификация, годы опыта, полученная высшая степень, методы преподавания, учебные материалы, учебная программа) и уровень школы. (например, размер, тип, настройки) переменные во внимание. Какие переменные включены, зависит от модели.
По состоянию на 2010 год, несколько школьных округов в Соединенных Штатах приняли систему, в том числе Государственные школы Чикаго, Департамент Нью-Йорка Образование и Государственные школы округа Колумбия. Рейтинги использовались для решения вопросов удержания учителей и присуждения премий, а также в качестве инструмента для определения тех учителей, которые больше всего выиграют от подготовки учителей. В рамках «Гонка за первенство» и других программ, пропагандирующих более совершенные методы оценки работы учителей, округа обратились к моделированию добавленной стоимости в качестве дополнения к наблюдению за учителями в классах.
Законодатель штата Луизиана представил закон законопроект, разрешающий использование методов моделирования с добавленной стоимостью в государственных школах штата в качестве средства поощрения сильных учителей и выявления успешных педагогических методов, а также предоставления средств для обеспечения дополнительного профессионального развития тех учителей, которые определены как более слабые, чем другие. Несмотря на возражение Федерации учителей Луизианы, 26 мая 2010 г. закон был принят Сенатом штата Луизиана и сразу же был подписан губернатором Бобби Джиндалом.
Эксперты не рекомендуют использовать моделирование добавленной стоимости в качестве единственного фактора, определяющего какое-либо решение. Вместо этого они рекомендуют использовать его в качестве важного фактора в многогранной программе оценки.
В качестве ориентированной на нормы системы оценивания успеваемость учителя сравнивается с результаты, полученные у других учителей в выбранной группе сравнения. Следовательно, можно использовать эту модель, чтобы сделать вывод о том, что учитель лучше, хуже или такой же, как и типичный учитель, но невозможно использовать эту модель для определения желательности данного уровня успеваемости.
Поскольку ожидаемая оценка каждого учащегося в значительной степени определяется фактическими оценками учащегося в предыдущие годы, эту модель сложно использовать для оценки учителей детского сада и первого класса. Некоторые исследования ограничивают модель учителями третьего класса и выше.
Школы могут быть не в состоянии получить предыдущие оценки новых учащихся от бывших школ учащихся, или эти оценки могут оказаться бесполезными из-за несопоставимости некоторых тестов. У школы с высокой текучестью учащихся могут возникнуть трудности со сбором достаточных данных для применения этой модели. Когда учащиеся меняют школу в середине года, их успехи в течение года не зависят исключительно от последних учителей.
Оценка добавленной стоимости более чувствительна к влиянию учителя по математике, чем по языку. Это может быть связано с широким распространением плохо составленных тестов на чтение и языковые навыки или с тем, что учителя в конечном итоге имеют меньшее влияние на развитие языка. Учащиеся изучают языковые навыки из многих источников, особенно из семей, в то время как математические навыки они изучают в основном в школе.
Наблюдаются некоторые различия в оценках от года к году и от класса к классу. Этот вариант аналогичен показателям успеваемости в других областях, таких как Высшая лига бейсбола, и, таким образом, может отражать реальные естественные различия в успеваемости учителя. Из-за этого различия оценки наиболее точны, если они получены от большого количества студентов (обычно 50 или более). В результате эту модель трудно использовать для оценки учителей первого года обучения, особенно в начальной школе, поскольку они могли обучать только 20 учеников. Рейтинг, основанный на одной классной комнате, может правильно классифицировать учителя примерно в 65% случаев. Это число вырастет до 88%, если будут доступны данные за десять лет. Кроме того, поскольку доверительный интервал широк, этот метод является наиболее надежным при выявлении учителей, которые постоянно находятся в верхних или нижних 10%, а не в попытках провести тонкие различия между учителями, которые достигают более или менее типичных достижений., например, попытка определить, следует ли оценивать учителя как немного выше или немного ниже медианы.
Оценка добавленной стоимости предполагает, что ученики распределяются между учителями случайным образом. В действительности учащихся редко распределяют по учителям или по школам случайным образом. По словам экономиста и профессора, доктора Джесси М. Ротштейна из Калифорнийского университета в Беркли : «Неслучайное распределение студентов к учителям может искажать оценки добавленной стоимости причинных эффектов учителей.. " Вопрос о возможной предвзятости при использовании показателей добавленной стоимости был предметом значительного недавнего исследования, и другие исследователи пришли к выводу, что показатели добавленной стоимости действительно дают хорошие оценки эффективности учителей. См., Например, недавнюю работу по проекту «Меры эффективного обучения» и анализ того, как показатели добавленной стоимости соотносятся с будущими доходами, проведенный профессором Раджем Четти из Гарварда и его коллегами. 100>
Идея оценивать эффективность учителей на основе успеваемости учащихся была впервые представлена в исследовательской литературе в 1971 году Эриком Ханушеком, в настоящее время старшим научным сотрудником в консервативном Институте Гувера, американском общественно-политическом аналитическом центре, расположенном в Стэнфордском университете в Калифорнии. Впоследствии он был проанализирован Ричардом Мурнейном из Гарвардского университета среди других. Этот подход использовался во множестве различных анализов для оценки различий в эффективности учителей в школах, и оценка показала большие и устойчивые различия между учителями в темпе обучения своих учеников.
Статист Уильям Сандерс, старший менеджер по исследованиям в SAS, представил эту концепцию школьным операциям, когда разработал модели добавленной стоимости для школьных округов в Северной Каролине и Теннесси. Впервые созданный в качестве инструмента оценки учителей для школьных программ в Теннесси в 1990-х годах, использование этого метода расширилось с принятием закона Ни одного ребенка, оставленного без внимания в 2002 году. Основываясь на своем опыте и исследованиях, Сандерс утверждал что «если вы используете строгие, надежные методы и окружаете их защитными мерами, вы можете надежно отличить высокоэффективных учителей от средних учителей и от неэффективных учителей».
Исследование 2003 г., проведенное RAND Corporation подготовленный для Корпорация Карнеги Нью-Йорка, сказал, что моделирование добавленной стоимости «обещает отделить влияние учителей и школ от мощного воздействия таких факторов, не связанных с образованием, как семейное происхождение» и что исследования показали, что при использовании таких моделей существует большая разница в оценках учителей, что может сделать моделирование с добавленной стоимостью эффективным инструментом для оценки и вознаграждения работы учителей, если вариативность может быть подтверждена как связанная с перфорацией. эффективность отдельных учителей.
The Los Angeles Times сообщила об использовании программы в школах этого города, создав доступный для поиска веб-сайт, на котором была представлена оценка, рассчитанная с помощью системы моделирования добавленной стоимости для 6000 учителей начальных школ района. Министр образования США Арне Дункан похвалил публикацию в газете оценок учителей, сославшись на них как на образец повышенной прозрачности, но при этом отметил, что большая открытость должна быть сбалансирована с опасениями относительно "конфиденциальности", справедливость и уважение к учителям ». В феврале 2011 года Дерек Бриггс и Бен Доминг из Национального центра политики в области образования (NEPC) выпустили отчет, в котором повторно проанализировали тот же набор данных из Объединенного школьного округа Лос-Анджелеса, пытаясь воспроизвести результаты, опубликованные в Times, и они обнаружили серьезные ограничения предыдущего исследования, заключив, что «исследование, на которое опиралась Los Angeles Times в своем отчете об эффективности учителей в августе 2010 года, явно неадекватно для поддержки опубликованных рейтингов».
Закон о и Фонд Мелинды Гейтс спонсирует многолетнее исследование моделирования добавленной стоимости в рамках своей программы «Меры эффективного обучения». Первоначальные результаты, опубликованные в декабре 2010 года, показывают, что как моделирование с добавленной стоимостью, так и восприятие учащимися нескольких ключевых качеств учителя, таких как контроль над классом и усложнение ученикам кропотливой работы, позволяют правильно определить эффективных учителей. Исследование оценок студентов было проведено Рональдом Фергюсоном. Исследование также показало, что учителя, которые преподают по тесту, намного менее эффективны и имеют значительно более низкие оценки моделирования с добавленной стоимостью, чем учителя, которые способствуют глубокому концептуальному пониманию всей учебной программы. Однако повторный анализ результатов отчета MET, проведенный Джесси Ротштейном, экономистом и профессором Калифорнийского университета в Беркли, ставит под сомнение некоторые из этих интерпретаций. Ротштейн утверждает, что анализ, представленный в отчете, не подтверждает выводы и что «правильно интерпретированные... [они] подрывают, а не подтверждают основанные на добавленной стоимости подходы к оценке учителей». Однако более поздняя работа в рамках проекта MET подтверждает использование подходов с добавленной стоимостью.
Общая идея моделирования добавленной стоимости также была расширена с учетом директоров и руководителей школ.. Несмотря на то, что было много анекдотических дискуссий о важности школьных руководителей, было проведено очень мало систематических исследований их влияния на успеваемость учащихся. Недавний анализ в Техасе предоставил доказательства эффективности руководителей за счет изучения того, как успеваемость учащихся для смены школы после основных изменений. Этот ориентированный на результат подход к измерению эффективности директоров очень похож на моделирование добавленной стоимости, которое применялось к оценке учителей. Раннее исследование в Техасе показало, что у директоров есть очень большое влияние на успеваемость учащихся. По консервативным оценкам, эффективный руководитель школы улучшает успеваемость всех учащихся в школе, величина, равная в среднем двум месяцам дополнительного обучения учащихся в каждом учебном году. Эти успехи, по крайней мере частично, достигаются благодаря тому, что директор влияет на выбор и удержание хороших учителей. Однако неэффективные директора имеют такое же большое негативное влияние на успеваемость в школе, что свидетельствует о том, что вопросы оценки так же важны для школьного руководства, как и для учителей.
В отчете, выпущенном Институтом экономической политики в августе 2010 года, признается, что «американские государственные школы обычно плохо справляются с систематической подготовкой и оценкой учителей» но выразил озабоченность тем, что использование показателей стандартизированных тестов в качестве инструмента измерения не приведет к повышению производительности. В отчете EPI рекомендуется, чтобы показатели успеваемости, основанные на результатах стандартизированных тестов, были одним из факторов, которые следует рассматривать как «более точное представление о том, что на самом деле учителя делают в классе и как это способствует обучению учащихся». В исследовании было названо моделирование добавленной стоимости более справедливым средством сравнения учителей, которое позволяет лучше измерить образовательные методики и общую успеваемость в школе, но утверждалось, что результаты тестов учащихся недостаточно надежны как средство принятия «кадровых решений с высокими ставками». 100>
Эдвард Хэртель, возглавлявший исследовательскую группу Института экономической политики, писал, что методологии, продвигаемые в рамках программы «Гонка за первенство», уделяют «слишком много внимания показателям роста успеваемости учащихся. которые еще не были должным образом изучены для целей оценки учителей и директоров, "и что методы моделирования с добавленной стоимостью требуют более тщательной оценки и должны использоваться только" в тщательно изученных пилотных проектах ".
Исследователь образовательной политики Джеральд Брейси далее утверждал, что корреляция между учителями и краткосрочными изменениями результатов тестов может не иметь отношения к фактическому качеству преподавания. Следовательно, «он не может допускать причинно-следственные выводы об отдельных учителях. В лучшем случае это первый шаг для выявления учителей, которым может потребоваться дополнительное профессиональное развитие».
Американская статистическая ассоциация опубликовала апрельский 8, 2014 заявление, критикующее использование моделей добавленной стоимости в образовательной оценке, не исключая полезности таких моделей. ASA сослалось на ограничения входных данных, влияние факторов, не включенных в модели, и большие стандартные ошибки, приводящие к нестабильным годовым рейтингам.
Джон Юинг, пишет в Уведомлениях Американское математическое общество подвергло критике использование моделей с добавленной стоимостью в образовательной оценке как форму «математического запугивания» и «риторического оружия». Юинг привел проблемы с исходными данными и влияние факторов, не включенных в модель.
Было реализовано несколько альтернатив для оценки учителей:
Большинство экспертов рекомендуют использовать несколько критериев для оценки эффективности учителя.
