Содержание
Содержание
Введение4
1Понятие о методе экспертных оценок в социологии5
1.1Области применения метода экспертного опроса6
2Принципы работы экспертной группы7
2.1Критерии отбора экспертов8
3Основные методы работы экспертной группы12
3.1Свободное интервью13
3.2Мозговая атака13
3.3Метод Дельфи15
4Обработка результатов экспертного опроса16
Заключение18
Список литературы19
Введение
Метод экспертных оценок широко применяется в процессах получения и использования социологической информации.
Этот метод основан на достижении согласия группой экспертов, которые приглашаются для определения наиболее вероятных событий развития управляемой подсистемы в ближайшем и более отдаленном будущем.
Обычно приглашенные эксперты, специализирующиеся в различных взаимосвязанных областях деятельности, заполняют подробный вопросник по поводу рассматриваемой проблемы и записывают свое мнение о способах ее решения. Каждый эксперт затем получает свод ответов других экспертов, и его просят заново рассмотреть свой прогноз, чтобы внести в него свои коррективы. Процедура повторяется обычно три-четыре раза, пока эксперты не придут к единому мнению.
Метод экспертных оценок основан на достижения согласия в группе экспертов, которые приглашаются для определения той или иной проблемы.
В зависимости от основания классификации методы экспертных оценок можно разделить на следующие группы:
а) по характеру взаимосвязи экспертов между собой — методы очного и заочного опроса экспертов;
б) по процедуре согласования оценок — одноразовые и итеративные (многоразовые);
в) по численности экспертов — индивидуальные методы и групповые.
Цель реферата описать специфику метода экспертных оценок в социологии, определить основные принципы и методы работы экспертных групп.
1Понятие о методе экспертных оценок в социологии
В практике прикладных социологических исследований могут воз¬никать ситуации, когда для оценки какого-либо явления трудно либо вообще невозможно выделить объект носитель проблемы и исполь¬зовать его в качестве источника информации. Чаще всего такие ситуа¬ции связаны с попыткой прогнозировать изменение того или иного социального явления, процесса; с необходимостью представить состо¬яние интересующего предмета через 1, 2, 5 и более лет или дать объективную оценку таким сторонам деятельности и качествам людей, по которым их самооценка может оказаться искаженной. Подобная информация может исходить только от компетентных лиц экспер¬тов, имеющих глубокие знания о предмете или объекте исследования.
Широкое распространение методы опроса экспертов приобрели в 70-х годах, поскольку именно тогда была выявлена ограниченность методов экстраполирования и моделирования. Одни лишь математи¬ческие модели сами по себе не могут обеспечить требуемую надеж¬ность прогнозов, особенно долгосрочных. Наиболее ограниченными оказались возможности моделирования в сфере сложных социальных процессов. Выявилась необходимость комплексной разработки соци¬альных прогнозов путем сочетания различных методов, в том числе опроса экспертов.
Данный метод сбора информации, как видим, важен потому, что на основе авторитетного мнения он позволяет привлечь более целена¬правленную аргументацию для обоснования теоретических положений и практических рекомендаций исследования .
Метод экспертных оценок — специфический социологический метод получения информации об объекте с помощью специалистов — экспертов в определенной области.
Повышение объективности результатов оценок экспертов достигается целым рядом логических и статистических процедур подбора специалистов, организации их опроса, обработки результатов экспертизы. Совокупность этих процедур и называется методом экспертных оценок .
1.1Области применения метода экспертного опроса
Экспертные оценки широко используются в прогнозировании, при определении целей социологического развития или принятии плановых решений, помогают оценить значимость показателей и проверить качество методик, применяемых для сбора данных, повысить обоснованность практических рекомендаций и т. д.
2Принципы работы экспертной группы
Для подготовки экспертизы обычно формируется группа специалистов.
В ее задачи входят:
а) постановка проблемы, определение целей и задач экспертизы, ее гранц, основных этапов;
б) разработка процедуры экспертизы;
в) отбор экспертов, проверка их компетентности и формирование групп экспертов;
г) проведение опроса и согласование оценок;
д) формализация полученной информации, ее обработка, анализ и интерпретация.
В состав группы входят специальной области знания, а также специалисты по экспертным методам (социологи, психологи, математики), всего может быть 5-7 чел.
В основе экспертизы обычно лежит вопросник, с помощью которого и осуществляется сбор требуемой информации.
В своем классическом варианте вопросник отсутствует при свободном интервью, аналитических экспертных оценках и т. п.
Вопросник, или анкета, — это структурно организованный набор вопросов, каждый из которых логически связан с центральной задачей экспертизы.
Вопросы анкеты в зависимости от их содержания делятся на три группы:
а) данные о самом эксперте — его возрасте, стаже работы, образовании, научном звании, узкой специальности;
б) вопросы по существу исследуемой проблемы;
в) вопросы, позволяющие оценить мотивы, которых придерживался эксперт в своем анализе.
По форме вопросы могут быть открытыми, закрытыми и полузакрытыми, прямыми и косвенными. Для обеспечения поступления надежной и достоверной информации обычно сочетают все типы вопросов.
Кроме того, для обеспечения равновероятной возможности для каждой альтернативы вопроса попасть в поле зрения эксперта рекомендуется в ходе опроса менять последовательность альтернатив. При использовании оценочных шкал положительные и отрицательные стороны уравновешивают.
Вопросы по одной подпроблеме устанавливаются в порядке постепенного перехода от более общих к все более специфическим, конкретным. Вопросник должен отвечать требованиям целостности, логической последовательности и завершенности.
2.1Критерии отбора экспертов
Проведение экспертизы начинается с решения целого ряда методический проблем, связанных с выбором ее участников. Работа по отбору экспертов обычно начинается с составления списка компетентных в исследуемой области специалистов. На основе этого списка с помощью специальных методов оценки качеств специалистов составляются экспертные группы.
Подбор эксперто осуществляется на основе:
а) объективных оценок компетентности;
б) самооценок компетентности;
в) экспертных таблиц и анкет;
г) метода «снежного кома» (по рекомендации др. специалистов);
д) случайного механического отбора.
Более объективные результаты дают методы, основанные на данных о прошлой деятельности экспертов. Одним из таких методов является метод, использующий степень надежности эксперта. Этот показатель вычисляется как отношение числа случаев, когда эксперт дал оценки наиболее близкие к истинным, к общему числу случаев, когда данный специалист участвовал в экспертизе.
Статистические методы отбора экспертов требуют накопления информации о работе экспертных комиссий и отдельных экспертов. Точность групповой оценки экспертизы зависит от размеров группы.
В последние годы разрабатываются различные способы определения оптимальной численности участников. Один из них основан на соображении, что существуют максимальные и минимальные границы группы. Нижняя граница зависит от числа оцениваемых событий (сколько событий, столько экспертов); верхняя граница определяется как потенциальное число возможных экспертов.
В другом, более общем подходе используются графики, характеризующие зависимость между числом экспертов в группе и средней групповой ошибкой. Кривые этого типа позволяют выбрать минимально допустимое число экспертов. Рациональное использование информации, полученной от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, подготовки и принятия решений.
Выдержка из текста работы
На тему: Метод экспертных оценок в анализе качества обучающего процесса в ИП "Стратегия"
Выполнила:
Студентка группы М-05-51
Упениекс Анна
Проверила:
Литвинова О.Б.
Г. Желтые Воды
2006 год
Содержание
Введение
1. Ранжирование
2. Конкордация
3. Ранжирование с совпавшими рангами
Практическая работа
Вывод
Введение
При решении экономических и производственных задач часто приходится сталкиваться с необходимостью формализации систем, характеризуемых большим количеством факторов, но могут быть выделены такие факторы, которые не могут быть измерены и выражены в каких-либо единицах, (ответственность поставщика, престиж фирмы, надежность партнера, предпочтения покупателя в выборе товара, мнение населения о методах работы органов местной власти и т.д.). В тоже время существует класс параметризируемых факторов, требует длительного времени и больших затрат на исследование системы (например, для объектов атомной энергетики). В таких случаях целесообразно прибегнуть к мнению экспертов – специалистов, чей опыт в исследуемой предметной области может существенно пополнить объем имеющихся сведений об объекте.
Методы учета не параметризируемых факторов при исследовании систем, либо параметризируемых, называют методами экспертных оценок. Эти методы позволяют объективно обрабатывать качественные данные, полученные в результате опроса специалистов, анкетирования, тестирования и прочими способами.
Ранжирование представляет собой процедуру установления относительной значимости исследуемых объектов на основе их предпочтительности друг перед другом. При ранжировании каждому из объектов ставится в соответствие ранг. Ранг – это показатель, характеризующий порядковое место оцениваемого объекта или явления в группе других таких же объектов или явлений. Наиболее предпочтительному объекту обычно присваивается первый ранг, а наименее предпочтительному – последний. Предпочтение одного объекта перед другим может быть различным признакам. Так одно предприятие по сравнению с другим может выпускать более качественную продукцию (например, электронные платы), но уступать по шкале "консервативность – прогрессивность" технологии. Поэтому, ранжируя объекты, обычно оговаривают признак, по которому эти объекты сравниваются. В свете этого под ранжированием понимается расположение n объектов в порядке убывания или возрастания какого-либо признака Х. Признак Х, как правило, качественный, характеризует некоторое свойство, присущее всем сравниваемым объектам. Пусть n объектов проранжированы по некоторому признаку Х:
Табл.1
|
Номер объекта |
1 |
2 |
3 |
… |
n |
|
Ранг объекта |
Х1 |
Х2 |
Х3 |
… |
Хn |
Ранг Хі указывает то место, которое занимает і-й объект среди всех n объектов, ранжированных в соответствии с признаком Х. Величина ранга Хі является числом натурального ряда: 1, 2, 3, 4 и т.д.
Точность и надежность ранжирования зависят от количества объектов – чем их меньше, тем выше различимость и тем надежнее можно установить ранг.
Ранжирование n объектов m экспериментов по одному признаку Х приводит к появлению следующей таблице:
Табл.2
|
Номер объекта Номер эксперта |
1 |
2 |
3 |
… |
n |
|
1 |
Х11 |
Х12 |
Х13 |
… |
Х1n |
|
2 |
Х21 |
Х22 |
Х23 |
… |
Х2n |
|
3 |
Х31 |
Х32 |
Х33 |
… |
Х3n |
|
… |
|
… |
|||
|
m |
Хm1 |
Хm2 |
Хm3 |
… |
Хmn |
Естественно, что мнение специалистов далеко не всегда полностью совпадают. Поэтому для окончательного определения места, занимаемого объектом в сравнении с другими объектами, подсчитывается сумма рангов для каждого объекта. Объекту, получившему минимальную сумму, присваивается первый ранг, объекту с максимальной суммой – последней ранг. Остальные объекты получает промежуточные ранги.
Следует отметить, что итоговый ранг определяет лишь место, занимаемое каждым объектом среди других объектов. Для большего числа исследований этого достаточно, но иногда важно определить, – как далеко отстают друг от друга исследуемые объекты. В этих случаях метод ранжирования применяется в сочетании с методом непосредственной оценки. Для этого разрабатывается шкала интервалов – мера оценки качественного признака. Каждой градации шкалы интервалов присваивается определенный балл. Затем на шкале выделяются равные интервалы. Задачей экспертов является помещение всех исследуемых объектов в определенный оценочный интервал. Вследствие этого каждый из объектов получает определенный балл. По сумме баллов объекты получают места в итоговой ранжировке, а количественной мерой опережения или отставания объектов по исследуемому признаку будет служить разница в соответствующих баллах.
2. Конкордация
После того как в соответствии с некоторым признаком расставлены по местам важное место занимает вопрос о надежности полученных оценок. Мерой надежности полученных ранговых оценок является степень согласия экспертов или, другими словами, степень согласованности оценок, проставленных каждым из экспертов. Такая степень согласованности характеризуется коэффициентом конкордации (согласия):
ГдеS — сумма квадратов отклонений суммарных рангов, выставленных каждому объекту всеми экспертами от среднего ранга:
Величина характеризует максимально возможное значение . Очевидно, что чем выше согласие между экспертами, тем больший будет разброс выставленных сумм каждому объекту рангов относительно их среднего значения и тем выше значение . При полном совпадении мнений экспертов, когда все они дадут одинаковые оценки по каждому объекту, значение примет значение , а коэффициент конкордации примет значение, равное единице. В свою очередь при отсутствии какого-то бы ни было согласия между экспертами, все суммарные ранги будут симметрично распределены вокруг своего среднего значения, вследствие чего величина и конкордации равны нулю.
Для определения значения будем считать, что все эксперты присвоили одинаковые ранги всем объектам от значения 1 до значения n в виде чисел натурального ряда. Тогда значения Si образуют ряд:
m , 2m, 3m, ….. nm
в порядке, не обязательно соответствующих нумерации объектов. При этом среднее значение будет равно:
Вычитая из каждого элемента приведенного ряда значение, получим следующий ряд значений :
Далее найти сумму квадратов этого ряда:
В соответствии с полученным результатом коэффициент конкордации можно записать в следующем виде:
Собирательно свойства коэффициента конкордации выразятся так:
1.Коэффициент конкордации (согласия) принимает значение на числовом интервале от 0 до 1:
2.Равенство коэффициента конкордации нулю означает отсутствие связи между ранжировками исследователей и как следствие – отсутствие согласия. Близость W к нулю означает слабую степень согласия.
3.Равенство коэффициента конкордации единице означает, что все исследователи одинаково ранжируют объекты по данному признаку. Близость W к единице означает слабую степень согласия.
3.Ранжирование с совпавшими рангами
Иногда при ранжировании объектов отдельные эксперты не могут разделить предпочтения среди двух или большего количества объектов. При этом они ставят таким объектам одинаковые ранги. Такой вид ранжирования называется ранжированием с совпавшими рангами. Особенностью такого ранжирования является меняющийся диапазон изменения рангов, проставляемых каждым студентом Это в свою очередь влечет к неравновесности мнений студентов
Табл.3
|
№ предприятия |
1 |
2 |
3 |
4 |
5 |
6 |
|
№ эксперта |
||||||
|
1 |
2 |
2 |
1 |
3 |
3 |
3 |
|
2 |
1 |
4 |
2 |
3 |
5 |
6 |
|
3 |
2 |
3 |
3 |
1 |
4 |
4 |
|
4 |
2 |
1 |
1 |
2 |
3 |
3 |
|
5 |
2 |
4 |
1 |
4 |
3 |
4 |
Так по приведенной таблице видно, что мнение первого эксперта оценивается рангами от Х1 до Х3 ,а мнение второго – от Х1 доХ6.Обычный анализ привел бы к тому. Что мнение второго эксперта оказалось бы "тяжелее", мнения первого эксперта без имеющихся к тому оснований .
Чтобы устранить такую неравновесность мнений при ранжировании с совпавшими рангами применяют принцип нормирования ранжировок. Ранжировка считается нормированной, если сумма рангов в ней одинакова для каждого эксперта и равна сумме, которая была бы получена при отсутствии повторения рангов, то есть
где n- количество ранжируемых объектов.
Для того, чтобы ранжировку привести к нормальной необходимо привести ее в вид, в котором. Объекта, имеющим одинаковые ранги, приписывается ранг, равный среднему значению мест, которые эти объекты поделили между собой.
Процедура нормирования производит выравнивание ранжировок и приближение к объективности в размещении объектов. Легко убедится, что размещения объектов до и после нормирования отличаются друг от друга.
Расчет коэффициента в случае с совпавшими рангами осуществляется по следующей формуле:
, где
— количество повторений каждого ранга j – м студентом.
Здесь осуществляется практическая реализация метода экспертных оценок в анализе качества обучающего процесса в ИП "Стратегия".
Этот раздел содержит расчеты показателей, сравнения результирующих данных, факторы, влияющие на показатели. Для получения всех этих данных был проведен опрос (анкетирование) среди студентов первого курса ИП "Стратегия" группы М-05-51.
Оценивание по десятибалльной системе способность студентов понимать изучаемые дисциплины
Табл.4
|
Дисциплина |
Английский язык |
Макроэкономика |
Право |
Украинский язык |
Высшая математика |
|
№ студентов |
|||||
|
1 |
8 |
10 |
6 |
9 |
10 |
|
2 |
8 |
10 |
8 |
9 |
6 |
|
3 |
8 |
8 |
9 |
8 |
6 |
|
4 |
10 |
8 |
8 |
9 |
3 |
|
5 |
10 |
8 |
8 |
6 |
1 |
|
6 |
10 |
10 |
10 |
10 |
9 |
|
7 |
9 |
10 |
9 |
10 |
8 |
|
8 |
7 |
7 |
9 |
10 |
10 |
|
9 |
7 |
5 |
6 |
9 |
5 |
|
10 |
8 |
4 |
7 |
9 |
3 |
|
11 |
10 |
10 |
8 |
7 |
5 |
|
12 |
8 |
10 |
10 |
10 |
8 |
|
13 |
9 |
8 |
8 |
10 |
5 |
|
14 |
8 |
6 |
8 |
9 |
2 |
|
15 |
8 |
7 |
8 |
9 |
7 |
|
16 |
10 |
9 |
9 |
7 |
1 |
|
17 |
10 |
10 |
10 |
10 |
10 |
|
18 |
10 |
7 |
10 |
10 |
10 |
|
19 |
10 |
9 |
9 |
10 |
8 |
|
20 |
10 |
8 |
9 |
8 |
5 |
Табл.5 Ранжирование с совпавшими рангами
|
Дисциплина |
Английский язык |
Макроэкономика |
Право |
Украинский язык |
Высшая математика |
|
№ студентов |
|||||
|
1 |
4 |
1,5 |
5 |
3 |
1,5 |
|
2 |
3,5 |
1 |
3,5 |
2 |
5 |
|
3 |
4,5 |
4,5 |
1 |
45 |
5 |
|
4 |
1 |
3,5 |
3,5 |
2 |
5 |
|
5 |
1 |
1,5 |
1,5 |
4 |
5 |
|
6 |
2,5 |
2,5 |
2,5 |
25 |
5 |
|
7 |
3,5 |
1,5 |
3,5 |
15 |
5 |
|
8 |
4,5 |
4,5 |
3 |
15 |
1,5 |
|
9 |
2 |
4,5 |
1 |
4,5 |
|
|
10 |
2 |
4 |
3 |
1 |
5 |
|
11 |
1,5 |
1,5 |
3 |
4 |
5 |
|
12 |
4,5 |
2 |
2 |
2 |
4,5 |
|
13 |
2 |
3,5 |
3,5 |
1 |
5 |
|
14 |
2,5 |
4 |
2,5 |
1 |
5 |
|
15 |
2,5 |
4,5 |
2,5 |
1 |
4,5 |
|
16 |
1 |
2,5 |
2,5 |
4 |
5 |
|
17 |
3 |
3 |
3 |
3 |
3 |
|
18 |
2,5 |
5 |
2,5 |
25 |
2,5 |
|
19 |
1,5 |
3,5 |
3,5 |
15 |
5 |
|
20 |
1 |
3,5 |
2 |
35 |
5 |
|
Сумма рангов |
50,5 |
62 |
56,5 |
46,5 |
87 |
Производим расчет коэффициента конкордации в случае с совпавшими рангами по данным таблицы.
n=5 m=20, сумма рангов.
-близкое к нулю значение W свидетельствует об отсутствии согласия во мнениях студентов.
Оценивание по десяти балльной системе способность преподавателей излагать материал ясно и доступно
Табл.6
|
Дисциплина |
Английский язык |
Макроэкономика |
Право |
Украинский язык |
Высшая математика |
|
№ студента |
|||||
|
1 |
9 |
10 |
8 |
9 |
10 |
|
2 |
10 |
10 |
8 |
10 |
10 |
|
3 |
10 |
10 |
10 |
10 |
10 |
|
4 |
10 |
9 |
9 |
8 |
5 |
|
5 |
9 |
9 |
9 |
10 |
8 |
|
6 |
9 |
8 |
10 |
9 |
8 |
|
7 |
8 |
10 |
8 |
10 |
9 |
|
8 |
10 |
7 |
6 |
9 |
7 |
|
9 |
10 |
8 |
8 |
10 |
10 |
|
10 |
10 |
7 |
7 |
10 |
9 |
|
11 |
9 |
8 |
7 |
8 |
5 |
|
12 |
10 |
10 |
8 |
7 |
5 |
|
13 |
8 |
10 |
7 |
10 |
10 |
|
14 |
10 |
8 |
6 |
10 |
10 |
|
15 |
10 |
7 |
1 |
8 |
2 |
|
16 |
9 |
9 |
10 |
10 |
9 |
|
17 |
9 |
9 |
4 |
8 |
2 |
|
18 |
10 |
10 |
8 |
10 |
10 |
|
19 |
10 |
5 |
7 |
10 |
10 |
|
20 |
10 |
10 |
6 |
10 |
10 |
Табл.7 Ранжирование с совпавшими рангами
|
Дисциплина |
Английский язык |
Макроэкономика |
Право |
Украинский язык |
Высшая математика |
|
№ студента |
|||||
|
1 |
2,5 |
1,5 |
5 |
2,5 |
1,5 |
|
2 |
2,5 |
2,5 |
5 |
2,5 |
2,5 |
|
3 |
3 |
3 |
3 |
3 |
3 |
|
4 |
1 |
2,5 |
2,5 |
4 |
5 |
|
5 |
3 |
3 |
3 |
1 |
5 |
|
6 |
2,5 |
4,5 |
1 |
2,5 |
4,5 |
|
7 |
4,5 |
1,5 |
4,5 |
1,5 |
3 |
|
8 |
1 |
3,5 |
5 |
2 |
3,5 |
|
9 |
2 |
4,5 |
4,5 |
2 |
2 |
|
10 |
1,5 |
4,5 |
4,5 |
1,5 |
3 |
|
11 |
1 |
2,5 |
4 |
2,5 |
5 |
|
12 |
1,5 |
1,5 |
3 |
4 |
5 |
|
13 |
4 |
2 |
5 |
2 |
2 |
|
14 |
2 |
4 |
5 |
2 |
2 |
|
15 |
1 |
3 |
5 |
2 |
4 |
|
16 |
4 |
4 |
1,5 |
1,5 |
4 |
|
17 |
1,5 |
1,5 |
4 |
3 |
5 |
|
18 |
2,5 |
2,5 |
5 |
2,5 |
2,5 |
|
19 |
2 |
5 |
4 |
2 |
2 |
|
20 |
2,5 |
2,5 |
5 |
2,5 |
2,5 |
|
Сумма |
45,5 |
59,5 |
79,5 |
46,5 |
67 |
Производим расчет коэффициента конкордации по данным таблицы
N=5, m=20, — сумма рангов
-близкое к единице значение W свидетельствует об отсутствии согласия между студентами.
Вывод
При написании курсовой работы на тему "Метод экспертных оценок в анализе качества обучающего процесса в ИП "Стратегия" были достигнуты систематизация, закрепление и расширение теоретических и практических знаний по дисциплине "Теория вероятности и математическая статистика", а также способность применять эти знания на практике. При помощи данного метода было определено качество обучающего процесса и качество изложения преподавателями материала студентам, а также способность студентами понимать изучаемый материал. Для проведения этого анализа было проведено анкетирование среди студентов первого курса по пяти изучаемых ими дисциплинам, где каждый из 20 опрашиваемых студентов должен был оценить по десятибалльной системе каждую из характеристик, изучаемых ими в семестре дисциплин. В результате опроса был получен результат, который говорит об отсутствии между студентами согласия в понимании ими изучаемых дисциплин и в способности преподавателями излагать материал ясно и доступно.
Список литературы
1.Гмурман В.Е., Теория вероятности и математическая статистика. Учебное пособие для вузов. – 8-е издание, 2002г.
2.Гмурман В.Е., Руководство к решению задач по теории вероятностей и математической статистики. Учебное пособие для вузов.
3. Математическая статистика: Учебник/ Иванова В.М., Калинина В.М.
4.Учебно-методическое пособие. Методы экспертных оценок. А.И. Довгуля
