|
| | | | Проблемы современной экономики, N 1 (33), 2010 | | | | ПРОБЛЕМЫ НАУКИ И ОБРАЗОВАНИЯ | | | Парфентьева О. В.
проректор по учебной работе Сибирской академии права, экономики и управления (г. Иркутск),
кандидат экономических наук
| |
| | | | | В статье рассмотрено управление самообследованием образовательного учреждения высшего профессионального образования на основе процессного подхода. Дано описание и варианты применения процессного подхода, идентификация «вида деятельности», входа, выхода процесса, установление «владельца процесса». Проанализированы результаты тестирования студентов и обработки результатов в программном модуле «Камертон». Предложены варианты управленческих решений на основе удовлетворения требований потребителей на выходе процесса | | Ключевые слова: управление в сфере услуг, бизнес-процесс, самообследование образовательного учреждения |
Целью высшего образования является предоставление широкого спектра знаний и умений, как основы для развития человека в современном изменяющемся мире. Получить профессиональные знания позволяют общепрофессиональные и специальные дисциплины, предусмотренные государственным образовательным стандартом (ГОС), согласно требованиям которого проводится оценка содержания, уровня и качества подготовки выпускников при аттестации образовательного учреждения.
Применение системы процессов в образовательном учреждении наряду с их идентификацией и взаимодействием, а также с управлением процессами можно считать процессным подходом. Процесс должен иметь следующие характеристики: владелец процесса, вход и выход процесса, необходимые ресурсы, требования потребителей. На входе процесса устанавливаются требования потребителей, на выходе процесса эти требования должны быть удовлетворены.
Идентификация процесса предполагает выявление вида деятельности, к которому он относится согласно рекомендациям стандарта ГОСТ Р ИСО 9001–2001. Согласно документации системы качества НОУ ВПО «Сибирская академия права, экономики и управления» самообследование можно отнести к процессу «лицензирование и аккредитация», поскольку самообследование является неотъемлемой частью процесса аккредитации. В качестве примера рассмотрим применение процессного подхода при самообследовании негосударственного образовательного учреждения высшего профессионального образования «Сибирская академия права, экономики и управления» в ходе аккредитации.
На входе процесса имеет место потребляемый ресурс: люди, информация, документация, материальные и другие ресурсы, которые преобразуются в ходе процесса в выход. Прежде всего, это люди, обеспечивающие процесс проведения самообследования: директора институтов и деканы факультетов, заведующие кафедрами, методисты, преподаватели, студенты. Управление людьми предполагает распределение функций и обязанностей между участниками процесса, что находит отражение в матрице ответственности. Материальные ресурсы это учебные классы и компьютеры, необходимая литература, бумага, программный модуль «Камертон», используемый для обработки полученных результатов тестирования.
Модель постоянного улучшения качества продукции (услуги) ориентирована на удовлетворение запросов потребителей. На входе процесса устанавливаются требования со стороны потребителей: выявить соответствие качества образования по дисциплинам, образовательным программам и в целом по образовательному учреждению требованиям государственных образовательных стандартов. Если на входе процесса устанавливаются требования потребителей, то на выходе процесса эти требования должны быть удовлетворены.
Информационно-документальное сопровождение процесса предполагает наличие информации: перечень требуемых документов, план проведения процедуры самообследования, формы бланков для заполнения. Документация создается в процессе самообследования, в частности заполняются установленные формы и пишется отчет по результатам самообследования.
Владельцем процесса является ректор, либо проректор, ответственный за аккредитацию. На входе процесса устанавливаются требования со стороны потребителей и других заинтересованных сторон. Прежде всего, потребителем процесса самообследования является вуз. Следует отметить, что условия процедуры самообследования и порядок ее прохождения определен Федеральным агентством по надзору в сфере образования и науки РФ (Рособрнадзором). Таким образом, в качестве другого потребителя можно рассматривать государство, чьи интересы представляет комиссия, сформированная Рособрнадзором. Основное требование потребителей на входе процесса — определить степень соответствия качества образования требованиям государственных образовательных стандартов. Вместе с тем оно может быть детализировано.
В ходе процедуры самообследования оценивается качество знаний студентов. Установлено несколько критериев оценки знаний:
1) По результатам вступительных экзаменов абитуриентов, с 2009 г. по результатам ЕГЭ для очной формы обучения;
2) Степень подготовленности выпускников к выполнению требований ГОС устанавливается по ряду критериев: по результатам экзаменов в ходе сессий и анализу уровня сложности экзаменационных билетов; по результатам итоговых аттестаций выпускников, когда, в частности, проводится анализ тематики выпускных квалификационных работ, перечня и содержания выпускных квалификационных экзаменов, их соответствия профилю подготовки и ориентации на потребности рынка труда в данном регионе; анализируются отчеты председателей государственных (итоговых) аттестационных комиссий; на основе контрольных опросов по фондам контрольных заданий, как правило, разрабатываются аттестационные измерения, которые утверждаются в учебно-методическом объединении (УМО) соответствующего профиля, либо могут быть использованы контрольные задания, разработанные в УМО. Фонды контрольных заданий оцениваются по степени сложности: выше средней сложности, средней сложности, ниже средней сложности. (3, С.74) Фонды контрольных заданий прилагаются к отчету по самообследованию, как форма отчетности. Контроль знаний может проводиться либо по каждой дисциплине в отдельности, либо по каждому блоку дисциплин. Во время проведения опроса должны присутствовать все студенты данной группы;
3) Качество знаний оценивается также по востребованности выпускников и их профессиональному продвижению;
4) Важным критерием качества являются отзывы потребителей специалистов, а также наличие или отсутствие выпускников, состоящих на учете, представленное региональным отделением службы занятости. Если на входе процесса определены требования потребителя, то далее следует планирование и управление необходимыми ресурсами для управления этого процесса.
Дадим краткое описание процесса проведения самообследования. Аттестационные измерения проводятся на основе выборочного контроля. Прежде всего, осуществляется выборка специальностей для проведения процедуры самообследования, количество которых не может превышать десять образовательных программ. В их число в обязательном порядке должны быть включены специальности, аттестуемые впервые. В целом каждая специальность должна быть проконтролирована по всем четырем циклам дисциплин. Далее выборка осуществляется по дисциплинам внутри цикла. Возможно тестирование по всем дисциплинам по всем четырем циклам: общих гуманитарных и социально-экономических дисциплин (ОГСЭ); общих математических и естественнонаучных дисциплин (ОМЕН); общепрофессиональных дисциплин (ОПД); специальных дисциплин (СД), либо составление полидисциплинарного теста. На следующем этапе необходимо разработать аттестационные педагогические измерительные материалы (АПИМ), распределить между преподавателями, провести консультации по структуре и содержанию АПИМ, утвердить на учебно-методическом совете, обеспечить их тиражирование в необходимом количестве. Содержание АПИМ должно соответствовать структуре дисциплины по государственному образовательному стандарту, а основным структурным элементом является дидактическая единица. Уровень трудности также должен соответствовать требованиям государственного образовательного стандарта.
Как правило, контроль по циклу общих гуманитарных и социально-экономических дисциплин и по циклу математических и естественно научных дисциплин проводится по одной-двум дисциплинам наиболее значимым для данной специальности. По циклам общепрофессиональных и специальных дисциплин предполагается контроль по двум-трем дисциплинам. На следующем этапе следует установить число контрольных мероприятий, которые должны быть сведены в единую таблицу. Далее осуществляется выборка конкретных групп студентов, которые будут участвовать в тестировании по каждому циклу дисциплин. Поскольку тестирование может проводиться по остаточным знаниям, то это будут студенты различных курсов. Следующий этап: составление расписания контрольных мероприятий с указанием дисциплины, курса, группы студентов и аудитории. Обязательной является подготовка компьютеров для проведения измерений, проверки тест-билетов и обработки результатов.
Возможно два варианта процессного подхода в зависимости от метода обработки информации: либо вручную, либо с помощью программного модуля «Камертон». Первый вариант более трудоемкий и не исключает ошибок. Второй вариант требует дополнительного обучения преподавателей и заведующих кафедрами для работы с программным модулем «Камертон», который будет использоваться для обработки данных. Вместе с тем, «Камертон» обеспечивает автоматизацию обработки информации, посторенние графиков и диаграмм, то есть более наглядное предоставление информации. Выбрав второй вариант процессного подхода, переходим к следующему шагу: проведение тестирования по расписанию и обработка данных в программном модуле «Камертон». Завершающий этап — это внесение полученной информации в установленные формы по результатам самообследования.
Обязательной составляющей процессного подхода являются показатели оценки результатов процесса. В практической деятельности специалистов необходимо использование всего комплекса полученных знаний, реже — одной конкретной дисциплины. Последовательность изложения и взаимосвязь всех дисциплин может быть проверена комплексным тестом по всем специальным дисциплинам. Важным результирующим показателем является итоговая государственная аттестация выпускников. В государственном образовательном стандарте по каждой специальности указывается, по каким дисциплинам должны проводиться государственные экзамены, как правило, их два. Вместе с тем выпускники должны на государственном экзамене продемонстрировать знания и по другим изученным дисциплинам, которые там перечисляются в государственном образовательном стандарте. Далее проходит защита квалификационной дипломной работы (проекта). Хотя процент отличных и хороших оценок подсчитывается, но критерий оценки: защитил; не защитил. Такая форма представляется несколько упрощенной. Поэтому и применяется развернутая система оценки качества подготовки, позволяющая оценить не только итоговую аттестацию, но качество подготовки на предшествующих этапах обучения, то есть на всех курсах и по всем дисциплинам. Выше названные условия распространяются на аттестацию одной основной образовательной программы, если другие программы не представлены к аттестации в данный момент. Половина выпускников должна показать знания согласно требованиям ГОС и продемонстрировать положительные результаты итоговой государственной аттестации. Такая оценка уровня знаний позволяет оценить реальный уровень качества образовательных услуг.
Важнейший критерий качества образовательных услуг: знания учащихся на каждом этапе изучения соответствующего учебного материала ГОС по каждой дисциплине избранной специальности, согласно установленным критериям. Согласно требованиям ГОС в каждом образовательном учреждении должны быть разработаны профессиональные образовательные программы. В них входят: учебные планы, рабочие программы дисциплин, контрольные материалы и др. Непременным условием является наличие учебно-методических комплексов (УМК) абсолютно по всем дисциплинам. Рабочие программы, должны быть разбиты на дидактические единицы. В качестве дидактических единиц могут служить укрупненные темы или разделы дисциплин согласно ГОС. Количество дидактических единиц по каждой дисциплине обычно варьируется от 4 до10. По каждой дидактической единице нужно составить от 3 до 7 заданий, трудность которых определяется ГОС. (3, С.85) Поскольку представление о степени трудности носит субъективный характер, который зависит от составителя, то задания могут быть дифференцированы по степени трудности. Вероятность повышенного уровня трудности может быть откорректирована понижением критерия степени освоения дисциплины примерно до 70%, хотя процент правильно выполненных заданий может быть дифференцирован в зависимости от сложности дисциплины.
Некоторое время критерии оценки ежегодно изменялись в зависимости от сложности освоения дисциплины, что определялось эмпирическим путем. В ходе тестирования образовательных учреждений, наряду с тестами оценки знаний, студентам предлагалось ответить на пробные тесты. Проверка пробных тестов в нескольких образовательных учреждениях позволяла установить оптимальный критерий уровня ответов эмпирическим путем. В настоящее время установлен единый критерий освоения дисциплины: минимальный уровень правильных ответов выбранной группы студентов по дисциплине не должен быть меньше 50% (3, С.84). Значение дидактической единицы проявляется в таком показателе, как «Доля освоенных разделов дисциплины», которая ранжируется для всех участвовавших в тестирование студентов по убывающей шкале. В этом ряду нужно выделить долю выпускников, полностью освоивших дисциплину на уровне требований государственных образовательных стандартов.
Возможный вид распределения доли выпускников в зависимости от доли освоенных ими разделов дисциплины покажем на примере. В качестве примера будем использовать данные тестирования студентов в НОУ ВПО «Сибирская академия, права, экономики и управления», в процессе самообследования, которые обрабатывались в программном модуле «Камертон» (3, С.86). Результаты, полученные в процессе самообследования и в ходе государственной аттестационной экспертизы, сравниваются в сопоставимых формах отчетности, что позволяет выявить объективность проведения самообследования. Критерии оценки, методика обработки данных идентичны в обеих процедурах.
Проанализируем данные по двум образовательным программам: 061100 «Менеджмент организации» и 020400 «Психология». В программном модуле «Камертон» формируется «Преобразованная матрица результатов». В матрицу внесены в алфавитном порядке все студенты, участвовавшие в тестировании (группа студентов 2 курса из 25 человек), указывается номер варианта у каждого студента. Студент оценивается по каждому разделу дисциплины на основании сравнения результата с критерием освоения раздела: ему ставится 1 (зачет) или 0 (незачет) по этому разделу. Далее подсчитывается количество правильно выполненных заданий и пересчитывается в процентном соотношении. Критерий зачета должен быть равен половине заданий при их четном количестве или больше половины заданий на одну единицу при их нечетном количестве. Так, если в дидактической единице представлено семь заданий, то степень ее освоения — выполнение не менее 4 задания. Если заданий 5, то степень освоения 3 и т.д. То есть критерий освоения дидактической единицы равен или превышает 50% предложенных заданий. По полученным результатам формируется рейтинг–лист, где студенты расположены не в алфавитном порядке, а по проценту правильных ответов сверху вниз. Далее строиться график освоения дисциплины как зависимость числа студентов, получивших зачет по дидактическим единицам АПИМ. | | |  | | Рис. 1 |
Составим график по результатам тестирования студентов специальности «Менеджмент организации» по дисциплине «Политология» (рис. 1). Было представлено 8 групп заданий (дидактических единиц), с указанием номеров заданий. Результаты опроса, отражающие уровень подготовки выпускников по каждой дисциплине и степени освоения ГОС могут быть показаны графически. На оси ординат покажем процент участников опроса, изменяющийся от 0 до100%, а на оси абсцисс — процент освоенных ими разделов дисциплины, также изменяющийся от 0 до 100%.
По этому графику освоения снимаются данные для проверки условия аттестации. Жирная прямая линия на рисунке показывает границу возможных положительных результатов контроля с помощью аттестационного педагогического измерительного материала. Решением Аккредитационной коллегии № 6 от 06.10.2006 г. в качестве критериального значения аттестации по дисциплине является 50% студентов, освоивших все дидактические единицы (2, С.29). Практически доля выпускников, освоивших дисциплину в полном объеме (вышерасположенная ломаная кривая), выше критерия аттестации, и, следовательно, академия гарантирует качество подготовки студентов по дисциплине «Политология» на уровне государственных аттестационных требований. В данном случае более половины студентов полностью освоили все контролируемые разделы ГОС. Этот показатель совпадает с критерием аттестации. Макет АПИМ по политологии в целом удовлетворяет требованиям по уровню трудности заданий и критериям освоения дисциплины. Если линия, показывающая процент тестируемых студентов опустится ниже 50%, то программа не может быть аттестована. Данная ситуация удовлетворяет требованиям всех стейкхолдеров. Уровень знаний студентов является в определенной степени формой оценки квалификации и качества работы преподавателей. Внешним потребителем является общество, чьи интересы представлены Рособрнадзором, который осуществляет анализ представленных данных самообследования в сопоставлении с результатами, полученными при государственной аттестационной экспертизе. | | |  | | Рис.2. Гистограмма и круговая диаграмма общего результата по политологии |
Соответственно построение графиков результатов тестирования для других ООП позволит принять решение об уровне освоения данной дисциплины. Программный модуль «Камертон» дает широкие возможности для анализа полученных результатов. Оценка результатов осуществляется по четырехбалльной шкале. Для данного АПИМ установлены следующие критерии перевода доли первичных баллов в оценки: от 80% — отлично, от 60% — хорошо, от 40% — удовлетворительно, до 40% — неудовлетворительно.
Далее строиться гистограмма, из которой видно, какое количество студентов дали правильные ответы на определенном уровне. Большая часть участников позиционируется в диапазоне от 60 до70% правильных ответов. Это позволяет рассчитать суммарный индекс качества освоения дисциплины «Политология», а именно 651.
Программа «Камертон» строит гистограмму и круговую диаграмму общего результата по каждой дисциплине. Гистограмма общего результата по политологии по итогам самообследования несколько смещена вправо, но практически не выходит за рамки 70%. Это свидетельствует о том, что студенты достаточно хорошо справились с предложенным тестом.
Круговая диаграмма дает более наглядное представление полученных результатов: наибольшая доля студентов (88%) набрали баллы в промежутке от 60 до 70%. 92% студентов показали хорошие и отличные знания, что является очень хорошим результатом. Такие данные можно охарактеризовать, как устойчиво хорошие знания основной группы студентов. Достаточно мала доля участников самообследования, получивших отличные результаты. Она составляет 4%. Вместе с тем следует отметить, что никто из тестируемых участников не выполнили менее 40% заданий теста.
В программе «Камертон» строиться карта решаемости заданий. Проведем анализ карты решаемости, где по горизонтали отмечены номера заданий, а по вертикали коэффициенты их решаемости. Карта решаемости позволяет увидеть результаты не по дидактической единице в целом, а по каждому заданию в отдельности.
Наилучшим образом студенты освоили следующие задания: 1, 2, 7, 8, 9, 10, 11, 15–21, 28–35, 54, поскольку их коэффициент решаемости выше 0,7. Задания, находящиеся в интервале от 0,4 до 0,7 являются задачами средней сложности. Наиболее сложными оказались задания — 22, 43, 44, 49, 59. Согласно разработанной методике, оценки освоения дисциплины проводятся через оценку освоения дидактических единиц. | | |  | | Рис.3. Карта решаемости заданий |
Программа «Камертон» строит еще один график, который показывает степень освоения дисциплины по дидактическим единицам. Здесь нет детализации по отдельным темам, но важность его более значима, поскольку показывает степень освоения разделов дисциплины. Рассмотрим коэффициенты освоения по разделам (рис.4). Для оценки степени освоения ГОС строим график, по горизонтальной оси которого откладывается процент освоенных дидактических единиц, а по вертикали — доля студентов, освоивших соответствующую дидактическую единицу их восьми представленных.
Наиболее высокий коэффициент решаемости имеет группа заданий №1, 2, 3, 4 = 100%. Следует отметить, что все группы заданий имеют коэффициент решаемости выше, чем 0,8. Лишь шестая дидактическая единица оказалась чуть ниже 0,9. График по дидактическим единицам наглядно показывает высокий уровень освоения дисциплины и ровный стабильный уровень знаний, которые показали студенты по всем разделам дисциплины. | | |  | | Рис.4. Коэффициенты решаемости по дидактическим единицам |
В результате тестирования студентов двух специальностей 061100 «Менеджмент организации» и 020400 «Психология» по четырем циклам дисциплин программный модуль «Камертон» представляет итоговые данные контроля по каждому циклу дисциплин. На диаграмме показан суммарный процент «отличных» и «хороших» оценок. Так на диаграмме №1 представлены итоговые данные по двум специальностям по циклу дисциплин ОГСЭ. По специальности 020400 «Психология» в тестировании по циклу ОГСЭ приняли участие 189 студентов. Из числа опрошенных студентов 169 ответили на «хорошо» и «отлично», что составило 89,42%. По специальности 061100 «Менеджмент организации» в тестировании принял участие 151 студент. В том числе на «хорошо» и «отлично» ответили 149 человек, что составило 98,68%. | | |  | | Диаграмма №1 |
Диаграмма наглядно показывает, что качество освоения дисциплин цикла ОГСЭ соответствует требованиям государственного образовательного стандарта и находится на высоком уровне, приближаясь к 100%.
Аналогичные диаграммы были построены по всем циклам дисциплин. По специальности 020400 «Психология» в тестировании по циклу ОМЕН приняли участие 98 студентов. Из числа опрошенных студентов 88 ответили на «хорошо и «отлично», что составило 89, 80%. По специальности 061100 «Менеджмент организации» в тестировании по циклу ОМЕН принял участие 44 студента. В том числе на «хорошо» и «отлично» ответил 41 человек, что составило 93,1%. Приведенные данные показывают, что качество освоения дисциплин цикла соответствует требованиям государственного образовательного стандарта и находится на весьма высоком уровне, превышает планку в 70%.
Наибольшую важность с точки зрения профессиональной подготовки представляют результаты тестирования по циклу общепрофессиональных дисциплин (ОПД). По специальности «Психология» в тестировании по циклу ОПД приняли участие 194 учащихся. Из числа опрошенных студентов 186 в сумме получили оценки «хорошо» и «отлично», что составило 95,88%. По специальности «Менеджмент организации» в тестировании принял участие 289 учащийся различных курсов. Из них на «хорошо» и «отлично» ответили 274 обучающихся, что составило 94,81%. Поскольку цикл ОПД включает большое количество дисциплин и на разные тесты отвечали студенты различных курсов, то общая численность студентов больше, чем при тестировании по двум предыдущим циклам. Приведенные данные показывают, что качество освоения дисциплин цикла ОПД соответствует требованиям государственного образовательного стандарта. Это особенно важно, поскольку дисциплины непосредственно влияют на формирование профессионального сознания. Завершающий этап тестирования осуществляется по блоку специальных дисциплин. Эти дисциплины непосредственно влияют на формирование знаний и умений учащихся в профессиональной сфере, в том числе в области специализации, если она предусмотрена учебным планом.
По специальности «Психология» в тестировании по циклу специальных дисциплин (СД) приняли участие 226 студентов. Такая численность студентов объясняется тем, что достаточно большое количество дисциплин в цикле специальных дисциплин. Некоторые группы студентов давали ответы по нескольким дисциплинам, программа же суммирует всех учащихся. Из 226 опрошенных студентов 215 ответили на «хорошо и «отлично», что в сумме составило 95,13%. По специальности «Менеджмент организации» в тестировании по циклу специальных дисциплин принял участие 144 студента. В том числе на «хорошо» и «отлично» ответил 131 человек, что составило 97%, то есть качество освоения дисциплин цикла специальных дисциплин соответствует требованиям государственного образовательного стандарта и находится на весьма высоком уровне.
На выходе процесса могут быть так же, как и на входе, материальные ресурсы, информация, документация, люди и т. д., которые были преобразованы в ходе процесса в выход и имеют своего потребителя. Аттестация образовательного учреждения представляет проведение оценки соответствия содержания, уровня и качества подготовки выпускников требованиям государственных образовательных стандартов. Рособрнадзор принимает решение о степени соответствия результатов реализации академии основной образовательной программы, установленным условиям аттестации образовательного учреждения. В процессе проверки основное требование предъявляется к минимуму содержания дисциплин, уровню и качеству их освоения. (2, С.86)
На выходе процесса результатом может быть отчет по результатам самообследования с приложениями. В том случае, если результаты самообследования показали значения по результатам тестирования ниже пороговых значений, то могут быть приняты определенные управленческие решения, в том числе на основе карты решаемости заданий. Преподаватели в процессе обучения должны обратить большее внимание на изучение данных тем. Возможно, более подробное изучение материала на практических занятиях, либо повторение сложного материала на каждом занятии, проведение расширенных консультаций, или использование других формы изучения сложного материала. Устранение выявленных пробелов позволит подготовить студентов к компьютерному тестированию в рамках комплексной оценки деятельности образовательного учреждения.
В качестве результата с точки зрения потребителей, академии и государства, можно рассматривать только положительные итоги, кроме того, подтвержденные положительными данными тестирования при государственной аттестационной экспертизе, поскольку они свидетельствуют о выполнении государственного образовательного стандарта и качестве образования.
Процесс самообследования и обработка результатов в программном модуле «Камертон» показали, что по результатам тестирования, проведенного в НОУ ВПО «Сибирская академия права, экономики и управления», студенты подтвердили уровень знаний и умений значительно превышающий пороговые значения. На основании полученных результатов можно сделать вывод о том, что общеобразовательная и профессиональная составляющие соответствуют требованиям государственных образовательных стандартов. Данные выводы были подтверждены результатами тестирования, полученными независимым текстологом в процессе компьютерного тестирования студентов в рамках комплексной оценки деятельности академии при государственной аттестационной экспертизе. Таким образом, было установлено, что уровень качества образования в академии соответствует требованиям, которые установлены государственными образовательными стандартами, что отвечает интересам всех заинтересованных сторон, прежде всего государства. Соответствие требованиям ГОС позволило провести аккредитацию НОУ ВПО «Сибирская академия права, экономики и управления» и продолжить дальнейшее обучение студентов. |
| |
|
|
