Экспертные методы в исследовании систем управления. Научная электронная библиотека
Экспертные методы используются при решении прогностических, аналитических и проектных задач, связанных с неформализуемостью и отсутствием определенности в представлениях об организационно-экономических объектах. Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обработкой результатов. Особенности метода экспертных оценок: необходимость научно обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.
Экспертный метод может использоваться при определении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.
1-й этап использования данного метода - формирование группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу.
Компетентность (степень квалификации в определенной области знаний);
Креативность (способность решать творческие задачи);
Аналитичность и широта мышления; конструктивность (способность формировать конкретные предложения);
Самокритичность эксперта; отношение к экспертизе.
Для формирования экспертных групп могут использоваться способ тестирования, документационный и другие методы.
Способ тестирования состоит в том, что на основе разработанных тестов проходят обследование возможные кандидаты, и по результатам ответов формируется группа.
Документационный способ - отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая степень, количество публикаций и др.).
Способ назначения - определение руководителем группы экспертов из числа сотрудников. Главный недостаток способа: мнение сотрудников может быть согласованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект школы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.
2-й этап применения экспертного метода - проведение экспертизы. Данный этап начинается с выбора способа опроса экспертов. Различают индивидуальный, групповой и дельфийский способы.
При индивидуальном способе от каждого эксперта посредством анкетирования или интервьюирования получают оценки, не зависимые от мнения других. Затем после их обобщения и обработки определяют общую, результирующую оценку. Индивидуальную экспертизу рационально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важнейшими качествами экспертами выступают его компетентность и конструктивность.
Групповой способ предусматривает получение суммарной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование целесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т.е. при необходимости получения творческого решения. Групповой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».
Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты независимо друг от друга высказывают свое мнение в письменной форме. Важнейшая составляющая метода - тщательно разработанные программы анкетирования, осуществляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулированные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каким пунктам имеется единое мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким образом, область расхождения мнений сужается и вырабатывается общее решение. Достоинство дельфийского метода - он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания своего мнения, влияния авторитета.
3 -й этап экспертных методов - обработка результатов опроса. Для обеспечения возможности формальной обработки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (различные шкалы наименований (классификации), порядков, интервалов, отношений, разностей).
Шкала наименований используется для описания принадлежности объекта к определенным классам. Шкала порядка - для измерения упорядочения объектов по одному или ряду признаков (шкала рангов). Шкала интервалов - для отображения величины различий между свойствами объектов. Шкала отношений - для отражения отношения свойств объектов, например, их весомости. Шкала разностей - при необходимости определить, на сколько один объект превосходит другой по одному или нескольким признакам.
Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.
При обработке результатов экспертизы важное значение имеет выбор метода измерения. Наиболее употребительные методы: ранжирование, парное сравнение, непосредственная оценка, последовательное сравнение.
Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, формулировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?) Полученные формулировки должны достаточно полно отражать важнейшее их содержание, т.е. обладать значительной емкостью; формулирование должно происходить таким образом, чтобы исключить разночтение.
Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: формирование экспертной комиссии, организация и проведение экспертиз на основе использования современных методов, использование многокритериальных оценок при интерпретации результатов.
25. ЭВРИСТИЧЕСКИЕ МЕТОДЫ
Эвристические методы основаны на логике, интуиции и опыте лиц, принимающих решение (ЛПР). Данные методы позволяют «уловить» и использовать эти процессы при разработке альтернатив. В зависимости от используемого подхода эвристические методы подразделяются на формально-эвристические и неформально-эвристические.
Основа формально-эвристических методов - формализация приемов решения сложных задач человеком путем моделирования его мыслительных процессов. Включают метод эволюционного моделирования, лабиринтные методы и др.
Эволюционное моделирование предполагает наличие исходного опыта по процессу принятия УР. Этот опытный, информационный материал необходим, чтобы запустить модель эволюции. На основе имеющегося опыта разрабатывается несколько вариантов решения, позволяющих подойти к ликвидации проблемы и достижению цели решения с разных позиций. Каждый вариант исследуется на основе заранее определенных критериев. В режиме испытаний исходное, опорное решение («родительское») изменяется случайным образом, в результате чего производится «потомок» (генерированная идея). Если «потомок» хуже «родителя», он отбрасывается, и путем очередной мутации рождается новый «потомок». Если же «потомок» лучше, то отбрасывается «родитель», а «потомок» занимает его место, и процедура повторяется вновь. Основное достоинство данного метода: возможность использования вычислительной техники, что позволяет проводить поиск довольно быстро. Однако нельзя получить выдающегося, нестандартного, творческого решения.
Лабиринтные методы основаны на пошаговом поиске с последующей оценкой возможного продолжения пути ликвидации проблемы. Если направление «тупиковое» происходит возврат в исходную точку, и процесс повторяется вновь, пока не будет найден путь дальнейшего перемещения.
Концептуальное моделирование основано на сборе исходной информации при анализе ситуации и построении структурной модели, позволяющей вычленять наиболее важные элементы отношений. Основное средсию для достижения цели - метод структуризации, базирующийся на принципе декомпозиции (разъединении).
В основе неформально-эвристических методов лежит управление интеллектуальной деятельностью человека. Необходимость такого управления обусловлена особенностями его мышления (неформальность, способность к обобщениям, к ориентации в неопределенной ситуации, склонность к рассеиванию и к потере информации). Для усиления первых трех свойств и нейтрализации двух последних используется психоинтеллектуальная генерация идей.
Процесс решения сложных задач с использованием генерации идей осуществляется в виде целенаправленной, управляемой беседы-дискуссии двух непосредственных участников: ведущего и решающего. Ведущий ставит перед решающим вопросы, на которые решающий должен высказать свои суждения. Вокруг этих суждений завязывается дискуссия. В помощь ведущему могут быть выделены оппоненты и эксперты. Задача оппонентов - критика суждений решающего и вовлечение его в дискуссию. Задача экспертов - помочь ведущему оценить суждения и наметить последствия дальнейшего обсуждения. Несколько возможных схем организации сеансов генерации идей:
По числу ведущих: полиуправление (несколько ведущих), моноуправление (один ведущий), автогенерация (отсутствие ведущего);
По числу решающих: односторонние схемы (один решающий), многосторонние схемы (много решающих);
По виду контакта: с непосредственным контактом (в одном помещении), с опосредованным контактом (через технические средства).
Условия для обеспечения целенаправленности генерации идей:
Необходимо обеспечить психологический комфорт (создание удобства рабочего места, приподнятого настроения и чувства раскованности решающего);
Обеспечить структуризацию процесса поиска решения (разработать психоэвристическую программу, содержащую перечень обсуждаемых вопросов, цели дискуссии и рекомендации);
Создать системы информационного и технического обеспечения.
В результате генерации должен быть получен набор данных, составляющих основной информационный массив или поле возможных решений.
На концепции психоинтеллектуальной генерации идей базируется целый ряд метод психологической активизации. Выбор способа генерации производится в зависимости от характера задачи. При решении неотложных вопросов наилучшими методами могут являться прямая мозговая атака или деловые игры. В изобретательском творчестве - разновидности мозговой атаки и синектические методы. В задачах прогностики - анкетные методы, морфологический анализ и др.
Метод номинальной групповой техники построен на принципе ограничений межличностных коммуникаций, поэтому все члены группы, собравшиеся для разработки решения, на начальном этапе излагают свои предложения в письменном виде самостоятельно, независимо от других. Затем каждый участник докладывает суть своего проекта, представленные варианты рассматриваются членами группы (без обсуждения и критики), и только после этого каждый член группы независимо от других в письменной форме представляет ранжирование рассмотренных идей. Предложения, получившие наивысшую оценку, принимаются за основу решения. Особенность данного метода и его достоинство - несмотря на совместную работу членов группы, не происходит ограничения индивидуального мышления.
Методика атаки разносом может быть применена для обнаружения недочетов, ошибочных заключений и выводов в исследовании, находящемся на стадии завершения. В заседании принимают участие до 50 человек, которые заранее ознакомлены с рабочим документом, являющимся предметом обсуждения. Все участники выступают по очереди. Задачей каждого выступающего является обнаружение возможно большего числа недостатков работы. О достоинствах работы и путях ликвидации недостатков не упоминают. Время одного выступления 1-3 мин., запрещается повторять недостатки, отмеченные другими участниками. Иногда целесообразно проводить обсуждение в два круга, предоставляя возможность повторного выступления желающим, уточнить свои замечания.
Атака разносом является действующим средством негативного анализа. Поэтому авторам обсуждаемого документа не следует присутствовать на обсуждении. Организация атаки разносом аналогична прямой мозговой атаке.
Синектические методы базируются на методе мозгового штурма, проводимого специальной группой специалистов, отличающихся гибкостью мышления, широким кругозором. Такие группы, накапливая приемы и опыт работы, добиваются положительных результатов при нахождении новых технических решений.
Синектика - это метод прогнозирования по аналогии, перенесения выводов относительно некоторых признаков с одного предмета на другой. На первом этапе руководитель ставит задачу, отвечает на вопросы членов группы. На втором этапе каждый из участников предлагает свои идеи, пытаясь взглянуть на проблемы с различных точек зрения, таким образом, преодолевая «психологическую инерцию». Руководитель выбирает одну из них и формирует ее сущность (ключевые представления). На третьем _ участники ведут поиск аналогий к ключевому представлению, используя известные факты из других областей знаний. На четвертом - руководитель пытается применить некоторые из аналогий и представлений, предложенных членами группы, к поставленной задаче. Далее осуществляется экспертная оценка выбранного направления, и при положительном заключении работа продолжается до принятия решения.
Морфологические методы при разработке альтернатив _ это подход к установлению типичных логических связей и взаимообусловленности. Чаще всего данная группа методов применяется при выявлении возможных вариантов технических, экономических, организационных решений.
Строится морфологическая таблица. Весь процесс разработки вариантов решения в таблице представляется в области трех полей. Первое поле - информационное служит для обозначения всех операций сбора, предварительной обработки, хранения и передачи информации. В аналитическом поле представляются операции, связанные с анализом информации и выбором альтернатив. В целевом - формируются выводы, целевые установки, ограничения и требования к решению. Прослеживаются все операции, протекающие в процессе разработки и принятия решения.
На практике ни один из методов не применяется изолированно от других, получение эффективного решения возможно лишь путем целесообразного их сочетания.
Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.
В каких случаях необходима экспертная оценка
В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:
- На стадии определения целей и задач исследовательского процесса.
- Во время построения или проверки гипотезы.
- Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
- Чтобы обосновать адекватность применяемого инструментария.
- Для генерации рекомендаций, а также для реализации многих других целей.
Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).
Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:
- Запуск в серийное производство одного из разработанных вариантов продукции.
- Подбор космонавтов из многочисленных претендентов.
- научной работы, который будет профинансирован.
- Выбор предприятия, которое получит экологический кредит.
- Определение инвестиционного проекта для вложения финансовых средств.
Кто такие эксперты, и как они работают
Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.
Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.
Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.
Сколько экспертов потребуется?
В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.
Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.
Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.
Последовательность процедуры оценивания
Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:
- Проведение которую требуется исследовать.
- Подбор экспертов для проведения процедуры.
- Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
- Проведение самой процедуры оценивания.
- Сведение и анализ информации, полученной в ходе оценивания.
При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).
Ход оценивания: характеристика этапов
Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:
- Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
- Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
- Выбор и инструктаж модератора мероприятия.
В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.
Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.
Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью
Среди самых действенных и часто применяемых методик можно назвать:
- Аналитический способ.
- Метод написания сценария.
- Интервью.
В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.
Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.
Проведение экспертизы аналитическим методом
Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.
Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как
Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.
Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.
Осуществление экспертизы путем написания сценариев
Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.
Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.
Коллективная экспертиза: метод «мозгового штурма»
Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.
Порученное задание они могут выполнить, применяя один из методов:
- Коллективную генерацию идей («мозговая атака»).
- Метод «635».
- Метод Дельфи.
- Оценку комиссий.
Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.
«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.
Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.
Специфика метода «635»
Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.
В чем особенность метода Дельфи
Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.
Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.
Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.
На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.
Чем хорош метод:
- Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
- Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
- Представляется возможность получения статистической характеристики группового мнения.
Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.
Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.
Другие методы
Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.
В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:
- Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
- «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
- Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).
В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.
Экспертные методы используются при решении прогностических, аналитических и проектных задач, связанных с неформализуемостью и отсутствием определенности в представлениях об организационно-экономических объектах.
Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обработкой результатов.
Особенности метода экспертных оценок: необходимость научно-обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.
Экспертный метод может использоваться при определении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.
1-й этап использования данного метода – формирование группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу:
– компетентность (степень квалификации в определенной области знаний);
– креативность (способность решать творческие задачи);
– аналитичность и широта мышления;
– конструктивность (способность формировать конкретные предложения);
– самокритичность эксперта;
Отношение к экспертизе.
Для формирования экспертных групп могут использовать способ тестирования, документационный и другие методы.
Способ тестирования состоит в том, что на основе разработанных тестов проходят обследование возможные кандидаты, и по результатам ответов формируется группа.
Документационный способ – отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая степень, количество публикаций и др.).
Способ назначения – определение руководителем группы экспертов из числа сотрудников. Главный недостаток способа: мнение сотрудников может быть согласованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект школы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.
2-й этап применения экспертного метода – проведение экспертизы.
Данный этап начинается с выбора способа опроса экспертов. Различают индивидуальный, групповой и дельфийский методы.
При индивидуальном способе от каждого эксперта посредством анкетирования или интервьюирования получают оценки, не зависимые от мнениях других. Затем после их обобщения и обработки определяют общую, результирующую оценку. Индивидуальную экспертизу рационально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важнейшими качествами эксперта выступают его компетентность и конструктивность.
Групповой способ предусматривает получение суммарной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование целесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т. е. при необходимости получения творческого решения. Групповой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».
Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты независимо друг от друга высказывают свое мнение в письменной форме. Важнейшая составляющая метода – тщательно разработанные программы анкетирования, осуществляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулированные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каких пунктам имеется единое мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким образом, область расхождения мнений сужается и вырабатывается общее решение.
Достоинство дельфийского метода – он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания своего мнения, влияние авторитета.
3-й этап экспертных методов – обработка результатов опроса.
Для обеспечения возможности формальной обработки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (различные шкалы наименований (классификации), порядков, интервалов, отношений, разностей).
Шкала наименований используется для описания принадлежности объекта к определенным классам. Шкала порядка – для измерения упорядочения объектов по одному или ряду признаков (шкала рангов). Шкала интервалов – для отображения величины различий между свойствами объектов. Шкала отношений – для отражения отношения свойств объектов, например, их весомости. Шкала разностей – при необходимости определить, насколько один объект превосходит другой по одному или нескольким признакам.
Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.
При обработке результатов экспертизы важное значение имеет выбор метода измерения. Наиболее употребительные методы: ранжирование, парное сравнение, непосредственная оценка, последовательное сравнение.
Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, формулировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?). Полученные формулировки должны достаточно полно отражать важнейшее их содержание, т. е. обладать значительной емкостью; формулирование должно происходить таким образом, чтобы исключить разночтение.
Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: формирование экспертной комиссии, организация и проведение экспертиз на основе использования современных методов, использование многокритериальных оценок при интерпретации результатов.
Министерство образования и науки России
Марийский Государственный технический университет
Кафедра контроля и производства радиоаппаратуры
на тему: Методы экспертных оценок
Выполнила: ст. гр. БЖД-41
Копылова И.В.
Проверил: проф. каф. КиПР
Скулкин Н.М.
Йошкар-Ола 2012
Введение
Экспертное оценивание
Этапы экспертного оценивания
Виды экспертных оценок
Обработка результатов опроса экспертов
Заключение
Список литературы
Введение
Примеры методов экспертных оценок. Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?
1. Экспертное оценивание
Экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).
Эксперты (от латинского "expertus" - опытный) - это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов.
Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.
Экспертные оценки часто используются при выборе, например:
одного варианта технического устройства для запуска в серию из нескольких образцов,
группы космонавтов из многих претендентов,
набора проектов научно-исследовательских работ для финансирования из массы заявок,
получателей экологических кредитов из многих желающих,
при выборе инвестиционных проектов для реализации среди представленных, и т.д.
2. Этапы экспертного оценивания
1. Постановка цели исследования.
Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:
·Выбор лучшего варианта решения среди имеющихся.
·Прогнозирование развития процесса.
·Поиска возможного решения сложных задач.
Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:
·Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.
·Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.
·Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.
2. Выбор формы исследования, определение бюджета проекта.
Существующие виды экспертных оценок можно классифицировать по признакам:
·По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.
·По количеству итераций (повторов процедуры для повышения точности) - одношаговые и итерационные.
·По решаемым задачам: генерирующие решения и оценивающие варианты.
·По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
·По способу обработки мнений экспертов: непосредственные и аналитические.
·По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.
Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.
3. Подготовка информационных материалов, бланков анкет, модератора процедуры.
Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.
Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.
4. Подбор экспертов.
Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.
В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.
Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.
5. Проведение экспертизы.
Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:
·Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.
6. Статистический анализ результатов . После получения ответов экспертов необходимо провести их оценку. Это позволяет:
1)Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).
)Оценить ошибку исследования.
)Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.
7. Подготовка отчета с результатами экспертного оценивания.
. Виды экспертных оценок
Методы экспертных оценок можно разделить на две группы:
§методы коллективной работы экспертной группы
§методы получения индивидуального мнения членов экспертной группы.
Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.
Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", "совещаний" и "суда".
Мозговая атака. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.
Метод «635» - одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.
Деловые игры основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.
Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.
Метод совещаний ("комиссий", "круглого стола") - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода "мозговой атаки" каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.
Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.
Метод комиссий - один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.
Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы:
от каких простейших форм к более сложным должен пройти этот процесс;
как он повлияет на национальное хозяйство и экономические связи стран;
каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.
Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.
Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период.
Он обычно носит многовариантный характер и освещает три линии поведения:
оптимистическую - развитие системы в наиболее благоприятной ситуации;
пессимистическую - развитие системы в наименее благоприятной ситуации;
рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.
В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.
Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.
Метод суда является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса.
В роли "подсудимых" выступают выбираемые варианты решения;
в роли "судей" - лица, принимающие решение;
в роли "прокуроров" и "защитников" - члены экспертной группы.
Роль "свидетелей" выполняют различные условия выбора и доводы экспертов. При ведении такого "судебного процесса" отклоняются или принимаются те или иные решения.
Метод "суда" целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.
Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.
Метод «Дельфи». Цель - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта. Особенности метода Дельфи:
а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);
б) возможность использования результатов предыдущего тура опроса;
в) статистическая характеристика группового мнения.
Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.
Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос - ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.
Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.
. Обработка результатов опроса экспертов
экспертный коллективный индивидуальный опрос
Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.
На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.
Чаще всего при обработке результатов опроса используются методы математической статистики.
В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:
·формирование обобщенной оценки;
·определение относительных весов объектов;
·установление степени согласованности мнений экспертов и др.
1)Формирование обобщенной оценки
Итак, пусть группа экспертов оценила какой-либо объект, тогда xj - оценка j-го эксперта, , где m - число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (ME), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:
2)Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.
Один из методов определения весов состоит в следующем. Пусть xij - оценка фактора i, данная j-ым экспертом, , , n - число сравниваемых объектов, m - число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (wi), равен:
где wij - вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:
3)Установление степени согласованности мнений экспертов
В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики - меры разброса.
Вариационный размах (R):
Xmax - xmin,
где xmax - максимальная оценка объекта;min - минимальная оценка объекта.
Среднее квадратическое отклонение, вычисляемое по известной формуле:
где xj - оценка, данная j-ым экспертом;- количество экспертов.
Коэффициент вариации (V), который обычно выражается в процентах:
Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.
В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x1j, x2j, …, xnj.
Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:
где xij - ранг, присвоенный i-му объекту j-ым экспертом;ik - ранг, присвоенный i-му объекту k-ым экспертом;i - разница между рангами, присвоенными i-му объекту.
Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.
В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.
Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации - общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:
Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.
Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.
Заключение
Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.
Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения. Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.
Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.
Список литературы
1Орлов А.И. Экспертные оценки. // Заводская лаборатория. ? 1996. ? Т. 62. ? №1. ? С. 54-60.
2Орлов А.И. Экспертные оценки. Учеб. пособие. - М.: 2002.
Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. Учеб. пособие. - М.: Экономика, 1976. ? 287 с.
Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика, 1978. ? 133 с.
Менеджмент. Учеб. пособие. / Под ред. Ж.В. Прокофьевой. - М.: Знание, 2000. - 288 с.
Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. - М.: Наука, 1973. - 79 с.
Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - 384 с.
Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 487 с.
Литвак Б.Г.Экспертные оценки и принятие решений. - М.: Патент, 1996.
Характеристики методов экспертных оценок [Электронный ресурс]: #"justify">Экспертное оценивание. / Википедия. [Электронный ресурс]: #"justify">Экспертные оценки. // StatSoft: SPC Consulting. [Электронный ресурс]: http://www.spc-consulting.ru/app/expert.htm
Репетиторство
Нужна помощь по изучению какой-либы темы?
Наши специалисты проконсультируют или окажут репетиторские услуги по интересующей вас тематике.
Отправь заявку
с указанием темы прямо сейчас, чтобы узнать о возможности получения консультации.
Общие представления
Экспертные методы применяются при решении следующих задач:
формулирование и уточнение цели оценки качества продукции;
разработка классификации продукции и потребителей;
построение иерархической структурной схемы показателей качества;
определение коэффициентов весомости показателей;
определение базовых значений показателей.
Применение экспертного метода предполагает соблюдение следующих условий:
экспертная оценка производится в случае невозможности использования более объективных методов для решения вопроса;
мнения экспертов должны быть независимыми;
формулировка вопросов, поставленных перед экспертами, должна исключать возможность различного толкования;
эксперты должны быть компетентны в решаемых вопросах;
количество экспертов должно быть оптимальным;
ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.
Операции, выполняемые экспертами можно разделить на два класса: органолептические и мыслительные. Органолептические выполняются с помощью органов чувств, а мыслительные - принятие решений на основе переработки информации. К недостаткам экспертных методов следует отнести присущий ему субъективизм, а также явление конформизма - влияние преобладающего в группе суждения на мнение эксперта.
Применение экспертных методов требует привлечения высокопрофессиональных экспертов. В нашей стране еще не развит институт экспертов профессионалов по оценке качества. Поэтому, для этих целей, как правило, приглашаются специалисты по оцениваемой продукции.
В настоящее время активно заявляет о себе новый термин - “экспертные системы”. Под экспертной системой понимается система “человек - машина”, в которой человек играет решающую роль при вынесении оценок. Экспертные системы подразделяют на две группы:
- - системы, функционирующие за счет знаний, в основном, в процессе поиска информации;
- - системы, имеющие в своем составе ЭВМ с соответствующим математическим обеспечением, способные “отвечать” на вопросы типа “что будет, если...?”
Считается наиболее перспективным развитие экспертных систем первого типа, так как, прежде всего человек, в отличие от ЭВМ, может творчески мыслить и синтезировать информацию.
Формирование и подготовка экспертной комиссии
Экспертные комиссии, создаваемые для оценки качества продукции, состоят из двух групп: рабочей (организационная) и экспертной. Рабочая группа занимается разработкой методики оценивания качества, организацией и проведением экспертной оценки качества, обработкой полученной от экспертов информации и анализом результатов. В состав рабочей группы входит организатор, консультант по оцениваемой продукции и технические работники для выполнения машинописных, чертежных, вычислительных работ. Экспертная группа выполняет только оценочные операции.
Организация, в которой формируется экспертная комиссия, должна издать приказ или распоряжение, где указывается состав экспертной комиссии, обязанности ее членов, период и продолжительность работы. Для повышения качества работы экспертов, необходимо, чтобы состав экспертной комиссии был постоянным достаточно длительное время. В.И. Галеев считает, что в состав экспертной группы следует включать 7-12 (15) человек. При этом целесообразно принимать решение, за которое подано не менее 2/3 голосов членов экспертной комиссии. Г.Г. Азгальдов предлагает для упрощенного метода оценивания численность экспертной группы от 7 до 10 человек. В отдельных случаях, когда времени на разработку мало (не больше месяца), а оцениваемый объект сложный (например, грузовой автомобиль или морское судно) необходимо образовать две или три экспертных группы, численностью по 7-10 человек. В этом случае каждая группа работает на отдельных группах свойств объекта.
Если же для оценки качества используется приближенный или точный методы, то применяется более сложный и более точный способ определения численности экспертной группы, который основан на двух основных положениях:
1. Чем больше экспертов, тем, при прочих равных условиях, выше достоверность коллективной экспертной оценки gэ, тем меньше относительная погрешность и выше доверительная вероятность (надежность) , с которой вычислены gэ. Причем:
где gист - истинное значение той характеристики, которая определяется экспертным методом;
g - абсолютная погрешность, определяющая доверительный
интервал:
g =g ист - g э. (31)
2. Чем больше предварительной информации известно рабочей группе относительно экспертной группы и выносимых ею оценках, тем, при прочих равных условиях, может быть меньше численность экспертов.
При создании экспертной группы используются следующие методы анализа соответствия экспертов предъявляемым требованиям:
- 1) Качественный метод, при котором соответствие определяется в процессе беседы с экспертом организатора-руководителя деятельностью экспертной комиссии и консультанта по оцениваемой продукции.
- 2). Количественный метод включает в себя следующие виды оценки качества экспертов:
эвристические - значения оценок качества экспертов определяются человеком;
статистические - значения оценок получаются в результате обработки ответов экспертов;
тестовые - значения оценок находятся в результате специальных испытаний экспертов;
документальные - значения оценок основываются на анализе документальных данных об экспертах;
комбинированные - значения оценок получаются с помощью некоторой совокупности перечисленных методов.
Перед работой экспертов необходимо обсудить с ними следующие вопросы:
сущность понятия “качество продукции”;
основные термины и определения по оцениваемой продукции и квалиметрии;
сущность экспертных методов и область их применения;
основные оценочные операции, их описание, специфика, трудности выполнения;
наиболее распространенные ошибки экспертов, содержание и программа проводимой работы;
методы обработки значений экспертных оценок и их сущность.
Необходимо, чтобы структура экспертной группы, ее профессиональный состав и количество экспертов соответствовали способу опроса.
С этими целями рабочая группа выбирает способ опроса экспертов и проводит его до формирования экспертной группы.
Опрос экспертов осуществляется индивидуально или совместно с другими экспертами; с обсуждением суждений эксперта на заседании экспертной группы или без него. Опрос может заключаться в беседе эксперта с техническим работником, по схеме “вопрос - ответ” (интервьюирование), в самостоятельном заполнении карты опроса (анкетирование), в заполнении карты опроса, получая при этом все необходимые разъяснения от технического работника (смешенное анкетирование).
Если используется упрощенный метод оценивания качества, то рабочая (организационная) группа проводит выбор экспертов в следующем порядке. Отбирается группа потенциальных экспертов, численностью на 2 -5 человек больше, чем положено иметь в экспертной группе. Затем в личной беседе с каждым потенциальным экспертом стараются получить информацию о качестве самого эксперта. Г.Г. Азгальдов предлагает “дерево свойств” эксперта в виде рисунка 8.
Рассмотрим содержание каждого из приведенных свойств.
Компетентность - всестороннее знание экспертом объекта (профессиональная компетентность) и методов оценивания его качества (квалиметрическая компетентность). Профессиональная компетентность включает знание методов проектирования и производства продукции, показателей качества аналогов, перспектив развития продукции, условий и характера эксплуатации. Квалиметрическая компетентность обеспечивает понимание принципов и методов оценки качества продукции, практическое умение пользоваться ими, знание типов оценочных шкал, субъективных вероятностей и умение различать достаточное число градаций оцениваемого объекта. Компетентность является наиболее важным, но трудно оцениваемым свойством. Оценка специалиста по уже освоенной им профессии является достаточно простой, но экспертам приходится работать на стыке специальностей, здесь требуется оригинальное мышление, интуиция, умение оценить новые идеи, а “чрезмерный профессионализм” может мешать выйти эксперту за рамки его профессиональных представлений.
Для определения показателя компетенции чаще всего используют два метода: самооценка и взаимооценка, на них мы остановимся ниже. Расчетная формула показателя компетентности К ком выражена в виде:
К ком = 0,4К с ком + 0,6 К в ком, (32)
где К с ком - результат самооценки, в баллах;
К в ком - результат взаимооценки, в баллах.
Рисунок 3 Свойства, характеризующие качество эксперта
Уверенность - убежденность эксперта в правильности выбранной им оценки.
Объективность - способность эксперта быть объективным, то есть при участии в экспертизе не поддаваться ведомственным, начальственным или личным интересам.
Деловитость - умение быстро выполнять порученную работу, способность быстро переключаться с оценки одного показателя на оценку другого, умение работать с людьми в конфликтной ситуации, способность противостоять мнению большинства при уверенности в своей правоте, обоснованность и мотивированность выносимых оценок и суждений, умение четко формулировать свои мысли.
Заинтересованность - желание делать порученную работу зависит от его индивидуальных способностей, загруженности основной работой, целей экспертизы и возможностей использования ее результатов в своей практической деятельности.
Учитывая эти свойства, рабочая группа отбирает 7-10 экспертов, у которых они выражены в наибольшей степени.
Окончательным этапом формирования экспертной группы является проведение тестирования, самооценки, взаимооценки экспертов, анализа их надежности и проверки согласованности мнений.
Тестирование проводится для установления компетентности и профпригодности экспертов и заключается в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами.
Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы анкеты, после чего эксперт по бальной системе проверяет свои профессиональные знания и деловые качества.
Если эксперты имеют опыт совместной работы, то они могут провести взаимную оценку друг друга.
Анализ надежности экспертов проводится по степени надежности, которую можно рассчитать, основываясь на сведениях о результатах работы эксперта в других экспертных группах. Степень надежности - это отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал.
Согласованность мнений экспертов оценивается коэффициентом конкордации W , о котором будет рассказано ниже.
Проведение экспертного опроса
Опрос экспертов должен соответствовать следующим требованиям:
- - ограниченное количество вопросов, задаваемых эксперту;
- - полнота охвата решаемой задачи;
- - всестороннее рассмотрение вопроса;
- - ограниченное время опроса;
- - возможность применения заочного опроса;
Операции экспертной оценки качества выполняются по этапам:
- 1. Подготовительный этап:
- - формулирование цели оценки;
- - формирование рабочей группы.
- 2. Этап работы рабочей группы:
- - уточнение цели оценки;
- - выбор методов, модификаций, способов и процедур оценки;
- - определение перечня операций, выполняемых экспертами;
- - формирование экспертной группы;
- - выбор методов, способов и процедур опроса экспертов.
- 3. Этап работы экспертной группы:
- - классификация продукции и потребителей;
- - определение номенклатуры показателей качества;
- - определение коэффициентов весомости показателей;
- - определение базовых значений показателей;
- - определение оценок единичных показателей;
- - определение комплексных показателей.
- 4. Заключительный этап:
- - обработка значений экспертных оценок;
- - анализ результатов и подготовка решения экспертной группы.
При реализации третьего этапа - работы экспертной группы, получают ответы экспертов, которые можно разделить на:
- 1. Общие ответы в виде описаний, их используют при определении и уточнении целей оценки и условий эксплуатации (потребления) продукции или как источник дополнительной информации при оценке качества продукции.
- 2. Классификационные ответы могут быть как в виде описаний, так и в виде шкалы наименований (например, деление потребителей на группы в соответствии с условиями потребления оцениваемой продукции).
- 3. Оценочные ответы представляют в количественном виде (баллы, проценты, доли единицы) или качественной форме (“хорошо - плохо”, “достаточно - недостаточно”), их используют при определении коэффициентов весомости, значения оценок показателей качества. При оценке качества опрос экспертов рекомендуется проводить в два - три тура: индивидуальный и групповой. Это позволяет обеспечить независимость суждений экспертов в первом туре, (что снижает отрицательное конформное и авторитетное влияние) и обмен информацией между экспертами в последующих турах. Проведение более трех туров опроса экспертов нецелесообразно.
Необходимость повторения операций экспертизы оценки качества продукции может возникнуть по различным причинам:
- - сравнение результатов, полученных с использованием одинаковых процедур в различных условиях;
- - сравнение различных методов или процедур, например, очного или заочного опроса;
- - повышение точности результата за счет многократного обмена информацией;
- - оценка качества эксперта за счет определения стабильности его суждения, выраженного показателем воспроизводимости.
К одной из разновидностей многоэтапного метода относится метод Делфи, который американцы довольно долго держали засекреченным.
Метод Делфи был предложен в начале пятидесятых годов американскими учеными Т.Дж. Гордоном и О. Хелмером для решения военных проблем. Название этого метода происходит от древнегреческого города Дельфа, где с IX в. до н. э. при храме Аполлона существовал совет мудрецов - “дельфийский оракул”. Назначение метода Делфи состоит в выявлении мнения специалистов в обстановке, исключающей прямые дебаты между ними, но позволяющей им неоднократно взвешивать свои суждения, учитывая ответы коллег.
Характерными чертами метода Делфи являются:
- - анонимность; эксперты не встречаются друг с другом;
- - ответы на вопросы обязательно содержат количественную характеристику;
- - многоэтапность; после каждого тура эксперты знакомятся с ответами коллег и при необходимости составляют письменные обоснования своих точек зрения, что может найти отражение в изменении мнений эксперта на следующем этапе опроса;
- - контроль; после каждого тура проводится статистическая обработка полученных ответов до тех пор, пока степень согласованности мнений экспертов не достигнет заранее выбранного значения.
Количество проводимых туров опроса зависит от квалификации специалистов и опыта. При особо важных измерениях можно учитывать весовые коэффициенты квалификации экспертов. В среднем считается достаточно проведения трех туров для группы, состоящей из 10-12 экспертов.
По способу проведения экспертные опросы подразделяются:
- - непосредственное измерение;
- - ранжирование;
- - сопоставление.
При непосредственном измерении экспертным методом значения показателей качества определяются в установленных единицах: единицы СИ, баллы, нормо-часы, рубли, единицы условного топлива и т.д. Такие измерения могут проводиться по шкале отношений или по шкале интервалов. Для измерения по шкале отношений требуется наличие эталона. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале интервалов.
Значения коэффициентов рассчитываются по формуле (33):
где n - количество экспертов;
m - число взвешиваемых показателей;
G ij - коэффициент весомости j-го показателя в баллах, данный
Непосредственное измерение экспертным методом является наиболее сложным и требует высококвалифицированных экспертов.
Ранжирование заключается в расстановке объектов измерений или показателей качества в порядке их предпочтения или по важности. Место, занятое при такой расстановке называется рангом. Согласно метода предпочтения эксперта просят пронумеровать все весомости M j в порядке их предпочтения так, что весомость наименее предпочитаемого свойства получает номер 1, следующее - 2, и чем важнее свойство, тем больше значение весомости.
Расчетная формула весомости j-го свойства M j:
где W jl - место, на которое поставлена весомость j-го свойства у
l-го эксперта;
r - количество экспертов;
n - количество свойств.
Согласно метода ранга эксперт делает оценку важности каждого свойства по шкале относительной значимости в диапазоне от 1 до 10, причем он может присваивать свойству как целые, так и дробные числа. В данном методе расчетная формула весомости M j имеет вид:
причем P jl - оценка весомости j-го свойства у l-го эксперта.
Сопоставление подразделяется на последовательное и попарное. Метод последовательного сопоставления заключается:
- 1. Расположение весомостей всех свойств в порядке предпочтения аналогично методу предпочтения (ранжирования).
- 2. Наиболее важное свойство получает весомость M j = 1,0; все остальные - в порядке убывания в диапазоне от 1 до 0.
- 3. Если свойство с весомостью M 1 важнее всех остальных свойств вместе взятых, то M 1 увеличивается до величины, превосходящей сумму всех прочих весомостей:
Если же эксперт считает, что свойство M 1 менее важное, то проводится обратная процедура:
- 4. Аналогичным образом сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом, и так далее для всех остальных. При этом нужно следить, чтобы не нарушалось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе.
- 5. Полученные результаты измерений или весовые коэффициенты нормируют, то есть делят на общую сумму баллов или весовых коэффициентов, после этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.
Метод попарного сопоставления является наиболее простым и заключается в сравнении двух объектов. Результаты представляются в форме ортогональной матрицы. Например, необходимо сравнить эстетические показатели шести видов обоев, обозначенных номерами 1, 2, ....6 (таблица 3), где предпочтение i-го вида над j-ым соответствует 1, а противоположное - 0.
Ранжированный ряд имеет вид (по возрастающей): №4 №5, №6, №2, №1, №3.
Этот же пример можно рассмотреть с проведением ранжирования следующего вида: преимущество i-го вида над j-ым соответствует 1, противоположное - (-1); а при равном качестве - 0 (таблица 4).
Следовательно, наивысшие эстетические показатели имеют обои № 3, затем, № 1; № 2, № 6 и № 4 имеют равные свойства, наихудшие показатели у обоев № 5.
Шишкин И.Ф. приводит следующий вариант проведения попарного сопоставления. Предпочтение выражается указанием номера предпочитаемого объекта (таблица 3).
Таблица 3
Таблица 4
Балл j-го объекта или весомость j-го показателя рассчитывается по формуле (39). В данном случае:
где F i,j - частота предпочтения i-м экспертом j-го объекта
экспертизы;
c - общее число суждений одного эксперта, связанное с
числом объектов экспертизы m (числом измеряемых
показателей или коэффициентов весомости) соотношением:
Таблица 5
Номер объекта экспертизы |
||||||
Анализ результатов
После проведения опроса экспертов необходимо определить их степень согласованности, используя коэффициент конкордации W (41).
где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднеарифметического рангов;
n - число экспертов;
m - число объектов экспертизы.
Коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).
Существенность значения W устанавливают с помощью критерия (распределение Пирсона) (42):
Значение сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1. При (f) степень согласия между исследователями (значение коэффициента конкордации W) не вызывает сомнения.
Если имеют место «связанные ранги», то коэффициент конкордации задается формулой
L-е число одинаковых рангов в k-м ранжировании. Например, если некоторый k-й исследователь записал ранги 1; 2; 4,5; 4,5; 4,5; 4,5; 8; 8; 8; 10, то для него
(4 3 -4)+(3 3 -3)=84.
Существенность значения W устанавливается также с помощью критерия
который также сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1.