Експертни методи при изследване на системи за управление. Научна електронна библиотека
Експертни методиизползвани при решаване на прогнозни, аналитични и дизайнерски задачисвързани с неформализируемост и липса на сигурност в представите за организационни и икономически обекти. Същността на този метод: експертите провеждат интуитивно-логически анализ на проблема с качествена оценка на преценката и формална обработка на резултатите. Особености на метода на експертните оценки: необходимостта от научно обоснована организация на експертизата, използването на количествени методи за оценка на качествените преценки на експертите.
експертен метод може да се използва при определяне на прогнозите за развитие на обектите; при определяне на цели и задачи, алтернативно разпределение на ресурсите; при вземане на решения в условия на несигурност и риск.
1-ви етапизползване на този метод - формиране на група от експерти. Свойства, от които специалистът трябва да бъде включен в експертна група.
Компетентност (степен на квалификация в определена област на знанието);
Креативност (способност за решаване на творчески проблеми);
Аналитичност и широта на мислене; конструктивност (способност за формиране на конкретни предложения);
Самокритика на експерт; отношение към експертизата.
За формиране на експертни групи могат да се използват методи на тестване, документиране и други.
Метод на тестванесе състои в това, че въз основа на разработените тестове се проверяват възможните кандидати и се формира група въз основа на резултатите от отговорите.
Начин на документиране- подбор на експерти според техните обективни характеристики, които се съдържат в личните им документи (трудов стаж, длъжност, научна степен, брой публикации и др.).
Метод на назначаване- определяне от ръководителя на групата от експерти измежду служителите. Основният недостатък на метода: мнението на служителите може да бъде последователно, но погрешно, изразяващо официалната позиция на организацията в този проблем(„училищен ефект“). Резултатите от експертизата в случая представляват интерес предимно за вътрешно ползване.
2-ри етапприлагане на експертния метод – експертиза. Този етапзапочва с избора на метод за интервюиране на експерти. Има индивидуални, групови и делфийски методи.
При индивидуаленначин от всеки експерт чрез въпросници или интервюта получават оценки, които не зависят от мненията на другите. След това след тяхното обобщаване и обработка се определя общата, резултатна оценка. Използването на индивидуална експертиза е рационално, когато е необходимо да се разработи точкова прогноза за състоянието на даден обект, при класиране на набор от обекти и в други случаи, когато най-важните качества на експерта са неговата компетентност и конструктивност.
Групаметодът предвижда получаване на обобщена оценка или общо решение от всички експерти наведнъж чрез съвместно обсъждане. Използването му е целесъобразно при търсене на нетрадиционни решения, при оценка на характеристиките на слабо проучени обекти, т.е. ако имате нужда от креативно решение. Груповото проучване може да се проведе чрез дискусии, срещи, конференции, мозъчна атака.
Делфи методсинтезира редица положителни черти на индивидуалната и груповата експертиза. Експертите самостоятелно изразяват своето мнение в писмен вид. Най-важният компонент на метода са внимателно разработените програми за проучване, проведени в няколко кръга, и регулирането на въпросите във всеки следващ кръг. В края на всеки кръг групата от организатори на изпита анализира получените отговори, обобщава ги и въз основа на резултатите от кръга изготвя бюлетин, с текста на който се запознават всички експерти. В същото време информацията в помощта е анонимна. По време на второто проучване експертите получават въпроси, които изясняват първоначалните отговори и формулирани заключения, като се вземат предвид резултатите от предишния кръг. В третия кръг експертите се информират по кои точки има общо мнение, експертите, които са изразили различно мнение от останалите, са помолени да го обосноват. Четвъртият, най-често последният кръг повтаря процедурата на третия. По този начин зоната на разминаване на мненията се стеснява и развива общо решение. Предимството на метода Delphi е, че намалява или напълно елиминира такива психологически фактори, като показно убеждение, нежелание да се откаже от публичното изразяване на мнението си, влиянието на авторитета.
3 th сценаекспертни методи - обработка на резултатите от анкетата. За да се осигури възможност за формална обработка на резултатите от изследването, е необходима цифрова система, която описва свойствата на обектите и връзката между тях с помощта на количествени параметри (различни скали на имена (класификации), редове, интервали, съотношения, разлики) .
Скалата за именуване се използва за описание на принадлежността на даден обект към определени класове. Скала на подреждане - за измерване на подреждането на обекти според един или няколко признака (рангова скала). Интервална скала - за показване на големината на разликите между свойствата на обектите. Мащаб на връзката - за отразяване на връзката на свойствата на обектите, например тяхното тегло. Скала на разликите - ако е необходимо, за да се определи колко един обект превъзхожда друг по една или повече характеристики.
Изборът на мащаба се определя от задачите на изследването, характеристиките на обекта и възможностите на групата.
При обработката на резултатите от изследването е важно да изберете метод на измерване.Най-често срещаните методи са: класиране, сравнение по двойки, директно оценяване, последователно сравнение.
Регламентът трябва да отговаря на следните изисквания: да осигури достатъчно разнообразие на формулировката; единството на структурата на формулировката (например формулировката трябва последователно да отговаря на въпросите: какво е необходимо? над какво (с какво)? за какво?) Получените формулировки трябва напълно да отразяват най-важното им съдържание, т.е. имат значителен капацитет; формулировката трябва да бъде направена по такъв начин, че да се изключат несъответствия.
Проблемите на усъвършенстването на експертните технологии са свързани с развитието на следните области: формирането на експертна комисия, организирането и провеждането на изпити въз основа на използването на съвременни методи, използването на многокритериални оценки при тълкуване на резултатите.
25. ЕВРИСТИЧНИ МЕТОДИ
Евристичните методи се основават на логиката, интуицията и опита на вземащите решения (DM). Тези методи ви позволяват да "хванете" и използвате тези процеси при разработването на алтернативи. В зависимост от използвания подход евристичните методи се разделят на формални евристични и неформални евристични.
Основата на формалните евристични методи е формализацията на методите за решаване на сложни проблеми от човек чрез моделирането му мисловни процеси. Те включват метода на еволюционното моделиране, лабиринтните методи и др.
Еволюционното моделиране предполага наличието на първоначален опит в процеса на приемане на SD. Този опитен, информационен материал е необходим за провеждане на еволюционния модел. Въз основа на съществуващия опит се разработват няколко решения, които позволяват да се подходи към отстраняването на проблема и да се постигне целта на решението от различни позиции. Всяка опция се разглежда въз основа на предварително определени критерии. В тестовия режим първоначалното, референтно решение ("родител") се променя произволно, в резултат на което се произвежда "потомък" (генерирана идея). Ако „потомъкът“ е по-лош от „родителя“, той се изхвърля и чрез следващата мутация се ражда нов „потомък“. Ако "детето" е по-добро, тогава "родителят" се изхвърля, а "детето" заема неговото място и процедурата се повтаря отново. Основното предимство на този метод е възможността за използване на компютърна технология, която ви позволява да търсите доста бързо. Въпреки това е невъзможно да се получи изключително, нестандартно, креативно решение.
Лабиринтните методи се основават на поетапно търсене, последвано от оценка на възможното продължаване на пътя за отстраняване на проблема. Ако посоката е "задънена улица", настъпва връщане към началната точка и процесът се повтаря отново, докато се намери път за по-нататъшно движение.
Концептуалното моделиране се основава на събирането на първоначална информация при анализа на ситуацията и изграждането на структурен модел, който ви позволява да изолирате най-много важни елементиотношения. Основната среда за постигане на целта е методът на структуриране, основан на принципа на декомпозицията (отделянето).
Основата на неформалните евристични методи е управлението на човешката интелектуална дейност. Необходимостта от такова управление се дължи на особеностите на неговото мислене (неформалност, способност за обобщаване, ориентация в несигурна ситуация, склонност към разпиляване и загуба на информация). За подобряване на първите три свойства и неутрализиране на последните две се използва психоинтелектуално генериране на идеи.
Процесът на решаване на сложни проблеми с помощта на генериране на идеи се осъществява под формата на фокусиран, контролиран разговор-дискусия на двама преки участници: лидер и решаващ. Фасилитаторът задава въпроси на решаващия, по които решаващият трябва да изрази своето мнение. Около тези съображения се разгоря дискусия. Опоненти и експерти могат да бъдат назначени да помагат на фасилитатора. Задачата на опонентите е да критикуват преценките на решаващия и да го въвлекат в дискусията. Задачата на експертите е да помогнат на фасилитатора да оцени преценките и да очертае последствията от по-нататъшното обсъждане. Няколко възможни схеми за организиране на сесии за генериране на идеи:
По броя на мастърите: поликонтрол (няколко мастера), моноконтрол (един мастер), автогенерация (без мастер);
По броя на решаващите: едностранни схеми (една решаваща), многостранни схеми (много решаващи);
По вид контакт: с директен контакт (в същото помещение), с индиректен контакт (чрез технически средства).
Условия за осигуряване на целесъобразността на генерирането на идеи:
Необходимо е да се осигури психологически комфорт (създаване на удобство на работното място, приповдигнато настроение и усещане за спокойствие на решаващия);
Осигурете структуриране на процеса на намиране на решение (разработете психоевристична програма, съдържаща списък на обсъжданите въпроси, цели на дискусията и препоръки);
Създаване на системи за информация и техническа поддръжка.
В резултат на генерирането трябва да се получи набор от данни, които съставят основния информационен масив или поле от възможни решения.
Редица методи за психологическа активация се основават на концепцията за психо-интелектуално генериране на идеи. Изборът на метод за генериране се прави в зависимост от естеството на задачата. При решаване на неотложни проблеми най-добри практикиможе да бъде директна мозъчна атака или бизнес игри. В изобретателското творчество - разновидности на мозъчна атака и синектични методи. В задачите на прогностиката - анкетни методи, морфологичен анализ и др.
Методът на номиналната групова техника е изграден на принципа на ограниченията на междуличностната комуникация, следователно всички членове на групата, които са се събрали, за да разработят решение, в началния етап заявяват своите предложения в писмен вид независимо, независимо от другите. След това всеки участник докладва същността на своя проект, представените варианти се разглеждат от членовете на групата (без обсъждане и критика) и едва след това всеки член на групата, независимо от останалите, представя писмено класирането на обмислени идеи. За основа на решението се вземат предложенията с най-висок резултат. Особеността на този метод и неговото предимство - въпреки съвместната работа на членовете на групата, няма ограничение на индивидуалното мислене.
Техниката на зашеметяващата атака може да се приложи за откриване на недостатъци, грешни заключения и заключения в изследване, което е на етап завършване. На срещата присъстват до 50 души, които предварително се запознават с работния документ, който е предмет на обсъждане. Всички участници говорят на свой ред. Задачата на всеки оратор е да открие възможно най-много недостатъци в работата. Не се споменават достойнствата на работата и начините за отстраняване на недостатъците. Времето за едно изпълнение е 1-3 минути, забранено е повтарянето на недостатъците, отбелязани от други участници. Понякога е препоръчително да се проведе дискусия в два кръга, като се предостави възможност за повторни изказвания на тези, които желаят да изяснят своите коментари.
Бягство атака е оперативни средстваотрицателен анализ. Следователно авторите на обсъждания документ не трябва да присъстват на обсъждането. Организацията на атаката с разстояние е подобна на директната мозъчна атака.
Синектичните методи се основават на метода на мозъчната атака, проведен от ad hoc групаспециалисти с гъвкаво мислене, широк кръгозор. Такива групи, натрупвайки техники и опит, постигат положителни резултати в намирането на нови технически решения.
Синектика- това е метод за прогнозиране по аналогия, прехвърляне на заключения относно някои признаци от един субект на друг. На първия етап лидерът поставя задачата, отговаря на въпросите на членовете на групата. Във втория етап всеки от участниците предлага своите идеи, опитвайки се да погледне проблемите от различни гледни точки, преодолявайки по този начин „психологическата инерция“. Лидерът избира един от тях и формира неговата същност (ключови представяния). На третото _ участниците търсят аналогии с използването на ключово представяне известни фактиот други области на знанието. На четвъртия етап лидерът се опитва да приложи някои от аналогиите и идеите, предложени от членовете на групата, към поставената задача. Освен това се извършва експертна оценка на избраното направление и ако заключението е положително, работата продължава до вземане на решение.
Морфологичните методи при разработването на алтернативи са подход за установяване на типични логически връзки и взаимозависимости. Най-често тази група методи се използва за идентифициране на възможни варианти за технически, икономически, организационни решения.
Изгражда се морфологична таблица. Целият процес на разработване на опции за решение в таблицата е представен в областта на три полета. Първото поле - информация служи за обозначаване на всички операции по събиране, предварителна обработка, съхраняване и предаване на информация. Аналитичното поле представлява операции, свързани с анализ на информация и избор на алтернативи. В целта се формират изводи, цели, ограничения и изисквания към решението. Проследяват се всички операции, протичащи в процеса на разработване и вземане на решения.
На практика нито един от методите не се прилага изолирано от другите, като се получава ефективно решениевъзможно само чрез подходящата им комбинация.
Експертната оценка е името на цяла система от диагностични методи, които са изключително широко използвани в управлението, икономически анализ, психология, маркетинг и други области. Тези методи позволяват характеризиране, класифициране, присвояване на определен ранг или оценка на събития и понятия, които не могат да бъдат количествено определени.
Кога е необходимо експертно мнение?
Методът може да се приложи в хода на всяко изследване на всеки от неговите етапи, а в управленската дейност може да бъде полезен:
- На етапа на определяне на целите и задачите на изследователския процес.
- По време на изграждане или тестване на хипотеза.
- За изясняване на проблем. Да интерпретира протичащи процеси и събития.
- Да се обоснове адекватността на използваните инструменти.
- За генериране на препоръки, както и за реализиране на много други цели.
Експертна оценка е оправдана в случаите, когато е невъзможно да се вземе решение въз основа на точни изчисления (за изготвяне психологически портретрезултати, икономическа несигурност и оценки на риска).
Най-често използването на такива оценки става важно в ситуацията на избор на една или повече опции от предложения набор:
- Стартиране на масово производство на един от разработените варианти на продукта.
- Избор на астронавти от множество кандидати.
- научна работада бъдат финансирани.
- Избор на предприятие, което ще получи екологичния кредит.
- Дефиниране на инвестиционен проект за инвестиране на финансови средства.
Кои са експертите и как работят?
Както подсказва името на метода, партньорската проверка включва участието на един или повече специализирани експерти, които са компетентни да правят оценки на лица, както и обработката на техните мнения. Изборът на експерти се извършва, като се вземе предвид адекватността на техните преценки и опит в тази област.
Експертната оценка може да бъде изразена както количествено, така и качествено. Данните от експертни изследвания са необходими на ръководители, мениджъри и ръководители като основа за вземане на решения.
Разработването на експертна оценка най-често се извършва чрез създаване на работна група, която организира дейността на експерт (или няколко експерти). Ако трябва да участват повече от един човек, те се обединяват в експертна комисия.
Колко експерти ще са необходими?
В зависимост от спецификата на задачата и възможностите на предприятието могат да бъдат поканени един или повече експерти за извършване на експертна оценка. В този случай експертната оценка се нарича индивидуална или колективна.
Оценката става индивидуална, чрез която учителят характеризира дълбочината на знанията на ученика. Този тип включва и диагноза, поставена от един лекар. Въпреки това, ако има спорове или трудни ситуации (сериозно заболяване, повдигайки въпроса за изключване на студент), прибягват до колективно решаване на въпроса. Тук са необходими лекарски симпозиуми и организиране на комисия от учители.
Същият алгоритъм действа и в армията: най-често решението се взема еднолично от командира, но при необходимост се свиква военен съвет.
Последователност на процедурата по оценяване
Последователността на формиране на актуална и обективна експертна оценка се състои от следните етапи:
- поведение, което да бъде разследвано.
- Избор на експерти за процедурата.
- Изучаване съществуващи начини, които ще се използват за измерване на експертни оценки.
- Провеждане на процеса на оценяване.
- Консолидиране и анализ на информацията, получена по време на оценката.
В този случай може да се наложи да се извърши проверка на входните данни, на които ще се базира експертната оценка. В някои случаи работната група трябва да промени състава на експертната група или да прибегне до повторно измерване на същите въпроси (за да сравни по-късно получената оценка с обективни данни от други източници).
Напредък на оценяването: характеристики на етапите
От голямо значение за успешното изпълнение на процедурата е компетентното решаване на организационни въпроси:
- Планиране на разходите за събитието (заплащане на услугите на експерти и специалисти в анализа на получените данни, разходите за наемане на стая, закупуване на канцеларски материали).
- Подготовка на необходимите материали (съставяне и отпечатване на формуляри, предоставяне на инвентар).
- Избор и брифинг на модератора на събитието.
В процеса на работа експертите трябва да се ръководят от разпределените правила, тъй като допълнителното време за вземане на решение не влияе на неговата точност.
При получаване на отговорите на всички специалисти се извършва оценка на експертното мнение. Това отчита степента на съгласие на всички мнения. Ако няма недвусмислено съгласие, работната група трябва да установи причината за несъгласието, да коригира формирането на няколко групи мнения и липсата на съгласие в резултат на партньорска проверка. След това се оценява грешката на изследването и моделът се изгражда въз основа на получените данни. Това е необходимо, за да може впоследствие да се извърши аналитично изследване.
Методи, използвани за провеждане на индивидуална партньорска проверка: какво е интервю
Сред най-ефективните и често използвани методи са:
- аналитичен начин.
- Сценаристичен метод.
- Интервю.
В съответствие с методиката на интервюто прогнозистът разговаря с експерта, като му задава въпроси. Предмет на разговор са перспективите за развитие на обект или явление, за което въпросният. Анкетната програма е разработена предварително.
Ефективността и качеството на експертната оценка пряко зависи от това дали експертът може да даде мнение в ограничено време.
Провеждане на изследване по аналитичния метод
При избора на аналитичен метод за оценка специалистът-експерт трябва да се подготви за задълбочена самостоятелна работа. Той ще анализира тенденциите, ще оцени състоянието и възможни начиниразвитие на обекта, по отношение на който се прилага прогнозирането.
Системата за експертни оценки предвижда проучване на цялата информация за обекта, която е на разположение на експерта. Резултатът е форматиран като
Основното предимство на аналитичния метод е, че специалистът може да покаже всичките си индивидуални способности.
Вярно е, че този метод не е подходящ за анализ на големи и сложни системи, тъй като експертът може да няма познания от свързани области.
Извършване на надлежна проверка чрез писане на сценарии
Строго погледнато, този метод не трябва да се класифицира само в категорията на методите за индивидуално оценяване, тъй като успешно се прилага при работа в група.
За да използва този метод, експертът трябва да определи логиката на изучаваните процеси и явления във връзка с времето и различни комбинации от условия. Тогава той ще може да установи очакваната последователност от събития (тяхното развитие, прехода от ситуацията в момента към прогнозираното състояние). Сценарият отразява всички етапи на решаване на проблема и също така предвижда появата на възможни препятствия.
Колективна експертиза: методът на "мозъчната атака"
За оценка на сложни, мащабни, многостепенни системи не може да се мине без участието на няколко експертни експерти.
Те могат да изпълнят възложената задача, като използват един от следните методи:
- Колективно генериране на идеи ("мозъчна атака").
- Метод "635".
- Делфи метод.
- Комисионна оценка.
Благодарение на колективните усилия и специална организация, експертите могат ефективно да извършват най-сложните процедури, като експертна оценка на риска за инвестиционен проект или прогнозиране на дейността на различни системи.
Мозъчната атака ви позволява напълно да разкриете творческите данни на експертите. На първия етап специалистите активно генерират идеи, след това прилагат деструктуриране (подлежат на критика, унищожават ги), представят контраидеи и развиват последователна гледна точка.
Основното условие е липсата на критика в началото и изразяването на всички спонтанно възникнали идеи.
Спецификата на метода "635".
Този метод получи името си поради техниката, която експертите използват, когато го използват: всеки от шестимата експерти записва три спонтанни идеи на лист хартия в продължение на пет минути.
Какво е особеното на метода Delphi
Целта на разработването на този метод на партньорска проверка беше необходимостта от по-стриктна и разумна процедура, която може да даде обективен и най-полезен резултат.
Използва се от експерти, поканени на научни и технически институти, инвестиции и Застрахователни компании, както и в редица други случаи.
Същността на метода е, че те провеждат многократни индивидуални проучвания (често с помощта на въпросници). След това се извършва компютърен анализ на експертните оценки за формиране на колективно мнение. В същото време аргументите се идентифицират и обобщават, за да се защити всяка преценка.
На следващия етап получените резултати се предават на експертите за корекции. Тяхното несъгласие с колективното решение трябва да бъде обосновано писмено. В резултат на многократно връщане на оценката за коригиране, работната група постига стесняване на обхвата и изработване на последователна преценка относно перспективите за развитие на изследвания обект.
Какво е добро за метода:
- Експертите, участващи в оценката, не се познават и не комуникират. Така тяхното взаимодействие е изключено.
- Резултатите от предишни кръгове също представляват интерес и ценност за работната група.
- Възможно е да се получи статистическа характеристика на груповото мнение.
Въпреки относително високата цена и продължителност, този метод става по най-добрия начинпредопределяне на развитието на дългосрочни проблемни ситуации.
Доста често оценката се извършва от специално организирана комисия (методът на комисиите), която за " кръгла маса» разгледайте всички аспекти на проблема и вземете консенсусно решение. Недостатъкът е влиянието на участниците един върху друг и изкривяването на резултатите. Пример са експертите учители и лекари.
Други методи
Най-често срещаните методи за извършване на изследване бяха изброени по-горе, но други се използват и в практиката на индустриални, научни и изследователски организации.
В зависимост от спецификата на ситуацията, която трябва да се прогнозира, както и от ресурсите и възможностите на предприятието, могат да се прилагат:
- Бизнес игра. Тя ви позволява да симулирате необходимия брой ситуации, за да проучите характеристиките на системата за управление или други процеси.
- "Съд" - симулативен процес, в който едни експерти защитават решения, други се опитват да ги оборят.
- Докладен метод - след анализа експертът изразява своето становище под формата на аналитична записка или доклад. Това е уместно, когато е необходимо да се извърши относително проста работа (например експертна оценка на автомобил за застраховка, данъчно облагане или щети).
В резултат на това може да се отбележи, че наличието на голям брой методи и начини за извършване на експертна оценка позволява на ръководителя на предприятието и работната група да изберат най-много ефективен вариантза решаване на конкретен проблем.
Експертните методи се използват при решаване на прогностични, аналитични и дизайнерски проблеми, свързани с неформализируемост и липса на сигурност в представите за организационни и икономически обекти.
Същността на този метод: експертите провеждат интуитивно-логически анализ на проблема с качествена оценка на преценката и формална обработка на резултатите.
Особености на метода на експертните оценки: необходимостта от научно обоснована организация на експертизата, използването на количествени методи за оценка на качествените преценки на експертите.
Експертният метод може да се използва при определяне на прогнозите за развитие на обектите; при определяне на цели и задачи, алтернативно разпределение на ресурсите; при вземане на решения в условия на несигурност и риск.
Първият етап от използването на този метод е формирането на група от експерти. Свойства, от които специалистът се нуждае, за да го включи в експертна група:
- компетентност (степен на квалификация в определена област на знанието);
- креативност (способност за решаване на творчески проблеми);
– аналитичност и широта на мислене;
- конструктивност (способност за формиране на конкретни предложения);
– самокритичност на експерта;
отношение към експертизата.
За формирането на експертни групи могат да се използват тестови, документални и други методи.
Методът на тестване се състои в това, че въз основа на разработените тестове се проверяват възможните кандидати и се формира група въз основа на резултатите от отговорите.
Документалният метод е подбор на експерти според техните обективни характеристики, които се съдържат в техните лични документи (трудов опит, длъжност, научна степен, брой публикации и др.).
Начин на назначаване - определяне от ръководителя на групата от експерти измежду служителите. Основният недостатък на метода: мнението на служителите може да бъде последователно, но погрешно, изразяващо официалната позиция на организацията по този въпрос („училищен ефект“). Резултатите от експертизата в случая представляват интерес предимно за вътрешно ползване.
Вторият етап от прилагането на експертния метод е изследването.
Този етап започва с избора на метод за интервюиране на експерти. Има индивидуални, групови и Delphi методи.
При индивидуален метод се получават оценки от всеки експерт чрез въпросници или интервюта, независимо от мненията на другите. След това след тяхното обобщаване и обработка се определя общата, резултатна оценка. Използването на индивидуална експертиза е рационално, когато е необходимо да се разработи точкова прогноза за състоянието на даден обект, при класиране на набор от обекти и в други случаи, когато най-важните качества на експерта са неговата компетентност и конструктивност.
Груповият метод предвижда получаване на обобщена оценка или общо решение от всички експерти наведнъж чрез съвместно обсъждане. Използването му е целесъобразно при търсене на нетрадиционни решения, при оценка на характеристиките на малко проучени обекти, т.е. когато е необходимо да се получи творческо решение. Груповото проучване може да се проведе чрез дискусии, срещи, конференции, мозъчна атака.
Методът Делфи синтезира редица положителни черти на индивидуалната и груповата експертиза. Експертите самостоятелно изразяват своето мнение в писмен вид. Най-важният компонент на метода са внимателно разработените програми за проучване, проведени в няколко кръга, и регулирането на въпросите във всеки следващ кръг. В края на всеки кръг групата от организатори на изпита анализира получените отговори, обобщава ги и въз основа на резултатите от кръга изготвя бюлетин, с текста на който се запознават всички експерти. В същото време информацията в помощта е анонимна. По време на второто проучване експертите получават въпроси, които изясняват първоначалните отговори и формулирани заключения, като се вземат предвид резултатите от предишния кръг. В третия кръг експертите се информират по кои точки има общо мнение, експертите, които са изразили различно мнение от останалите, са помолени да го обосноват. Четвъртият, най-често последният кръг повтаря процедурата на третия. По този начин зоната на разминаване на мненията се стеснява и се разработва общо решение.
Предимството на метода Делфи е, че той намалява или напълно елиминира такива психологически фактори като показна убеденост, нежелание да се откаже публично изразяване на мнение и влиянието на авторитета.
Третият етап на експертните методи е обработката на резултатите от изследването.
За да се осигури възможност за формална обработка на резултатите от изследването, е необходима цифрова система, която описва свойствата на обектите и връзката между тях с помощта на количествени параметри (различни скали на имена (класификации), редове, интервали, съотношения, разлики) .
Скалата за именуване се използва за описание на принадлежността на даден обект към определени класове. Скала на подреждане - за измерване на подреждането на обекти според един или няколко признака (рангова скала). Интервална скала - за показване на големината на разликите между свойствата на обектите. Мащаб на връзката - за отразяване на връзката на свойствата на обектите, например тяхното тегло. Скала на разликите - ако е необходимо, за да се определи колко един обект превъзхожда друг по една или повече характеристики.
Изборът на мащаба се определя от задачите на изследването, характеристиките на обекта и възможностите на групата.
При обработката на резултатите от изследването е важен изборът на метод за измерване. Най-често срещаните методи са: класиране, сравнение по двойки, директно оценяване, последователно сравнение.
Регламентът трябва да отговаря на следните изисквания: да осигури достатъчно разнообразие на формулировката; единство на структурата на формулировката (например, формулировката трябва последователно да отговаря на въпросите: какво е необходимо? над какво (с какво)? за какво?). Получените формулировки трябва напълно да отразяват най-важното си съдържание, т.е. да имат значителен капацитет; формулировката трябва да бъде направена по такъв начин, че да се изключат несъответствия.
Проблемите на усъвършенстването на експертните технологии са свързани с развитието на следните области: формиране на експертна комисия, организиране и провеждане на изпити въз основа на използването съвременни методи, използването на многокритериални оценки при интерпретацията на резултатите.
Министерство на образованието и науката на Русия
Марийски държавен технически университет
Отдел за контрол и производство на радиоапаратура
по темата за: Методи за експертни оценки
Изпълнени: чл. гр. БЖД-41
Копилова И.В.
Проверен от проф. кафене Кипър
Скулкин Н.М.
Йошкар-Ола 2012 г
Въведение
Експертна оценка
Етапи на експертната оценка
Видове експертни оценки
Обработка на резултатите от анкетата на експерти
Заключение
Библиография
Въведение
Примери за методи за експертна оценка. Как ще се промени икономическата среда с времето? Какво ще се случи с околната среда след десет години? Как ще се промени екологична ситуация? Ще бъде ли гарантирана безопасността на околната среда? индустриални производстваили пустиня, създадена от човека, ще се разпростре наоколо? Достатъчно е да се замислим върху тези естествени въпроси, да анализираме как сме си представяли днешния ден преди десет или дори повече от двадесет години, за да разберем, че просто не може да има 100% надеждни прогнози. Вместо твърдения с конкретни числа, може да се очакват само качествени оценки. Въпреки това ние, инженерите, трябва да вземаме решения, например за екологични и други проекти и инвестиции, последствията от които ще се усетят след десет, двадесет и т.н. години. Как да бъдем? Остава да се обърнем към методите на експертните оценки. Какви са тези методи?
1. Експертна оценка
Експертна оценка- процедурата за получаване на оценка на проблема въз основа на мнението на специалисти (експерти) с цел последващо вземане на решение (избор).
Експерти(от лат. "expertus" - опитен) - това са лица, които имат познания и са в състояние да изразят аргументирано мнение относно изследваното явление.
Методи за експертни оценки - това са методи за организиране на работа с експертни специалисти и обработка на експертни мнения.
Същността на методите за експертна оценка се състои в това, че прогнозата се основава на мнението на специалист или екип от специалисти въз основа на професионален, научен и практически опит. Има индивидуални и колективни експертни оценки.
Експертната преценка често се използва при подбора, например:
един вариант на техническо устройство, който да бъде пуснат в серия от няколко проби,
групи астронавти от много кандидати,
набор от изследователски проекти за финансиране от набор от приложения,
получатели на екологични заеми от много кандидати,
при избор на инвестиционни проекти за реализация измежду представените и др.
2. Етапи на експертната оценка
1. Поставяне на целта на изследването.
Експертната оценка включва създаването на вид ум с по-големи способности в сравнение с възможностите на индивида. Източникът на възможностите на multimind е търсенето на слаби асоциации и предположения, базирани на опита на отделен специалист. Експертният подход ви позволява да решавате проблеми, които не могат да бъдат решени по обичайния аналитичен начин, включително:
· Избор на най-доброто решение сред наличните.
· Прогнозиране на развитието на процеса.
· Търсене възможно решениесложни задачи.
Преди да започнете експертно изследване, е необходимо ясно да определите неговата цел (проблем) и да формулирате подходящ въпрос към експертите. В този случай се препоръчва да се придържате към следните правила:
· Ясна дефиниция на условията, времето, външните и вътрешните ограничения на проблема. * Способността да се отговори на въпрос с изпитана от човека точност.
· Въпросът е по-добре формулиран като качествено твърдение, отколкото като оценка на число. За числени оценки не се препоръчва да задавате повече от пет степени.
· Експертите оценяват възможните варианти и не трябва да се очаква от тях да разработят пълен план за действие, подробно описание на възможните решения.
2. Избор на форма на изследване, определяне на бюджета на проекта.
Съществуващи видовеЕкспертните оценки могат да бъдат класифицирани по следните критерии:
· Според формата на участие на експерти: редовни, задочни. Методът лице в лице позволява на експертите да се съсредоточат върху решавания проблем, което подобрява качеството на резултата, но дистанционният метод може да бъде по-евтин.
· По брой итерации (повторения на процедурата за подобряване на точността) - едноетапни и итеративни.
· Според задачите за решаване: генериране на решения и оценка на варианти.
· По тип на отговора: идеологически, ранжиране, оценяване на обекта в относителна или абсолютна (числова) скала.
· Според метода на обработка на експертните мнения: директен и аналитичен.
· Според броя на участващите експерти: неограничен, ограничен. Обикновено се използват 5-12 експерти.
Повечето известни методиекспертни оценки: метод Делфи, мозъчна атака и метод на йерархичен анализ. Всеки метод има свое време и нужда от експерти. След избора на метода на експертна оценка е възможно да се определят разходите за процедурата, които включват заплащане на експерти, наем на помещения, закупуване на канцеларски материали, заплащане на специалист за провеждане и анализ на резултатите от изследването.
3. Изготвяне на информационни материали, формуляри на въпросници, модератор на процедурата.
Експертите, преди да направят преценка, трябва да разнообразят представения проблем. За провеждане на тази процедура е необходимо да се изготвят информационни материали, описващи проблема, наличните статистически данни, справочни материали, анкетни формуляри, опис. Трябва да се избягват следните грешки: споменаване на разработчиците на материали, подчертаване на един или друг вариант на решение, изразяване на отношението на ръководството към очакваните резултати. Данните трябва да са многостранни и неутрални. Необходимо е предварително да се разработят формуляри на въпросници за експертите. В зависимост от метода те могат да бъдат с отворени и затворени въпроси, като отговорът може да бъде даден под формата на преценка, двойно сравнение, ранжирана серия, в точки или под формата на абсолютна оценка.
Самата процедура се провежда от независим модератор на процедурата, който контролира спазването на регламентите, разпространява материали и въпросници, но не изразява собствено мнение.
4. Подбор на експерти.
Проблемът за подбора на експерти е един от най-трудните в теорията и практиката на експертното изследване. Очевидно като експерти е необходимо да се използват тези хора, чиито преценки най-много ще помогнат за вземане на адекватно решение. Но как да идентифицираме, намерим, подберем такива хора? Трябва да се каже откровено, че няма методи за подбор на експерти, които със сигурност да гарантират успеха на прегледа.
В проблема за подбора на експерти могат да се разграничат два компонента - съставяне на списък с възможни експерти и избор на експертна комисия от тях в съответствие с компетентността на кандидатите.
Експертите трябва да имат опит в области, свързани с задачите, които трябва да бъдат решени. При избора на експерти трябва да се вземе предвид моментът на личен интерес, който може да се превърне в значителна пречка за получаване на обективна преценка. За целта се използват например методите на Шар, когато един експерт, най-уважаваният специалист, препоръчва редица други и по-нататък по веригата, докато се избере необходимият екип.
5. Провеждане на преглед.
Процедурата варира в зависимост от използвания метод. Общи препоръки:
· Установете и спазвайте правила. Увеличаването на времето за вземане на решение над оптималното не подобрява точността на отговора.
6. Статистически анализ на резултатите . След получаване на отговорите на експертите е необходимо те да бъдат оценени. Това позволява:
1) Оценете последователността на експертните мнения. При липса на значително съгласие между експертите е необходимо да се идентифицират причините за несъответствието (наличие на групи) и да се признае липсата на съгласувано мнение (незначителни резултати).
) Оценка на грешка при изследване.
) Изградете модел на свойствата на обекта въз основа на отговорите на експерти (за аналитична експертиза). Резултатите от експертната оценка се оформят под формата на доклад. Докладът посочва целта на изследването, състава на експертите, получената оценка и Статистически анализрезултати.
7. Изготвяне на доклад с резултатите от експертна оценка.
. Видове експертни оценки
Методите за експертни оценки могат да бъдат разделени на две групи:
§ методи на колективна работа на експертната група
§ методи за получаване на индивидуално мнение на членовете на експертната група.
Методи за колективна работа на експертната група включват получаване на общо мнение в хода на съвместно обсъждане на решавания проблем. Тези методи понякога се наричат методи на пряко колективно мнение. Основното предимство на тези методи е възможността за цялостен анализ на проблемите. Недостатъците на методите са сложността на процедурата за получаване на информация, сложността на формирането на групово мнение върху индивидуалните преценки на експертите, възможността за натиск от властите в групата.
Методите за работа в екип включват мозъчна атака, писане на скриптове, бизнес игри, срещи и преценка.
Мозъчна атака.Организира се като среща на експерти, на чиито изказвания се налага едно, но много съществено ограничение - не могат да се критикуват предложенията на другите. Можете да ги развивате, можете да изразявате идеите си, но не можете да критикувате! По време на срещата експертите, "заразявайки" се взаимно, изказват все по-екстравагантни съображения. Два часа по-късно сесията, записана на магнетофон или видеокамера, приключва и започва вторият етап на мозъчната атака - анализът на изразените идеи. Обикновено от 100 идеи 30 заслужават по-нататъшно развитие, от 5-6 дават възможност за формулиране на приложни проекти, а 2-3 се оказват в крайна сметка носещи благоприятен ефект- печалба, подобряване на екологичната безопасност, подобряване на околната среда и др. В същото време интерпретацията на идеите творчески процес. Например, когато се обсъждаха възможностите за защита на корабите от торпедна атака, беше изразена идеята: „Подредете моряците покрай борда и ударете торпедото, за да промените курса му“. След уточняване тази идея доведе до създаването на специални устройства, които създават вълни, които избиват торпедото от курса.
Метод "635"- една от разновидностите на мозъчната атака. Числата 6, 3, 5 означават шестима участници, всеки от които трябва да запише три идеи в рамките на пет минути. Листът се движи наоколо. Така за половин час всеки ще запише в своя актив 18 идеи, а всички заедно – 108. Структурата на идеите е ясно дефинирана. Възможни са модификации на метода. Този метод се използва широко в чужди държави(особено в Япония), за да изберете от различни идеи най-оригиналните и прогресивни при решаването на определени проблеми.
бизнес игрисе основават на моделиране на функционирането на системата за социално управление при извършване на операции, насочени към постигане на целта. За разлика от предишните методи, при които експертните оценки се формират в хода на колективна дискусия, бизнес игрите включват активна работа на експертна група, всеки член на която носи определена отговорност в съответствие с предварително съставени правила и програма.
Основното предимство на бизнес игрите е възможността за разработване на решение в динамика, като се вземат предвид всички етапи на процеса, който се изучава, с взаимодействието на всички елементи на системата за публично управление. Недостатъкът е сложността на организирането на бизнес игра в условия, близки до реална проблемна ситуация.
Метод на срещата("комисии", "кръгла маса") - най-простият и традиционен. То включва провеждане на среща или дискусия с цел изработване на общо колективно мнение по решавания проблем. За разлика от метода "мозъчна атака", всеки експерт може не само да изрази своето мнение, но и да критикува предложенията на другите. В резултат на такова внимателно обсъждане се намалява възможността за грешки при разработването на решение.
Предимството на метода е простотата на неговото изпълнение. На срещата обаче може да се приеме погрешно мнение на един от участниците поради неговия авторитет, служебна позиция, постоянство или ораторски способности.
Комисионен метод- един от методите за експертни оценки, базиран на работата на специални комисии. Групи от експерти на "кръгла маса" обсъждат определен въпрос, за да съгласуват гледни точки и да изработят общо мнение. Недостатъкът на този метод е, че групата експерти в своите преценки се ръководи главно от логиката на компромиса.
Метод за писане на скриптсе основава на определяне на логиката на процес или явление във времето при различни условия. Той включва установяването на последователност от събития, които се развиват по време на прехода от текущата ситуация към бъдещото състояние на обекта. Един особен сценарий може да бъде описание на последователността и условията за международна интеграция на икономиките на страните, включително следните въпроси:
от кои най-прости форми към по-сложни трябва да премине този процес;
как ще се отрази на националната икономика и икономическите отношения на страните;
какви са финансовите, организационните, социалните, правните проблеми, които могат да възникнат в хода на интернационализацията на икономиката.
Прогнозният сценарий определя стратегията за развитие на прогнозния обект. Той трябва да отразява общата цел на развитието на обекта, критериите за оценка на горните нива на дървото на целите, приоритетите на проблемите и ресурсите за постигане на основните цели. Сценарият показва последователно решение на проблема, възможни пречки. В този случай се използват необходимите материали за разработване на обекта на прогнозиране.
Сценарият трябва да бъде написан по такъв начин, че след прочитането му да стане ясна общата цел на извършваната работа в светлината на социално-икономическите задачи за прогнозния период.
Обикновено има многовариантност по природа и подчертава три линии на поведение:
оптимистичен - развитието на системата в най-благоприятна ситуация;
песимистичен - развитието на системата в най-неблагоприятна ситуация;
работа - развитието на системата, като се вземе предвид опозицията негативни фактори, които е най-вероятно да се появят.
Като част от прогнозния сценарий е препоръчително да се разработи резервна стратегия в случай на непредвидени ситуации.
Готовият скрипт трябва да бъде анализиран. Въз основа на анализа на информацията, която се счита за подходяща за предстоящата прогноза, се формулират цели, определят се критерии и се разглеждат алтернативни решения.
съдебен методе своеобразен метод на „срещи” и се реализира по аналогия с воденето на съдебния процес.
Избраните решения действат като "ответници";
в ролята на „съдии” – вземащи решения;
в ролята на „обвинители” и „защитници” – членове на експертната група.
Ролята на "свидетели" се изпълнява от различни условия за подбор и аргументи на експерти. При провеждането на такъв "процес" се отхвърлят или вземат определени решения.
Препоръчително е да се използва "съдебен" метод, когато се придържат няколко групи експерти различни опциирешения.
Начини за получаване на индивидуално мнение на членовете на експертната група се основават на предварителното получаване на информация от експерти, интервюирани независимо един от друг, с последваща обработка на получените данни. Тези методи включват методи на въпросници, интервюта и методи на Delphi. Основните предимства на метода на индивидуалната експертна оценка са тяхната ефективност, възможността за пълно използване на индивидуалните способности на експерта, липсата на натиск от властите и ниската цена на експертизата. Основният им недостатък е висока степенсубективността на получените оценки поради ограничените познания на един експерт.
Метод Делфи.Целта е да се разработи програма от последователни многократни индивидуални проучвания. Индивидуалното проучване на експерти обикновено се извършва под формата на въпросници. След това се извършва статистическа обработка на компютър и се формира колективното мнение на групата, идентифицират се и се обобщават аргументи в полза на различни преценки. Компютърно обработената информация се предава на експерти, които могат да коригират оценките, като обясняват причините за несъгласието си с колективната преценка. Тази процедура може да се повтори до 3-4 пъти. В резултат на това има стесняване на обхвата на оценките и се прави последователна преценка относно перспективите за развитие на обекта. Характеристики на метода Delphi:
а) анонимност на експертите (членовете на експертната група са непознати един на друг, взаимодействието на членовете на групата при попълване на въпросници е напълно изключено);
б) възможността за използване на резултатите от предишния кръг на проучването;
в) статистическа характеристика на груповото мнение.
Този метод помага да се предопредели развитието на дългосрочни проблемни ситуации. Нашите специалисти, работещи в областта на научно-техническото прогнозиране, разработват и методи за обработка на експертни оценки. Те се наричат евристични.
Метод на интервювключва разговор между прогнозист и експерт по схемата въпрос-отговор, по време на който прогнозистът, в съответствие с предварително разработена програма, задава въпроси на експерта относно перспективите за развитие на прогнозирания обект. Успехът на такава оценка зависи до голяма степен от способността на експерта да даде импровизирано мнение по различни въпроси.
Аналитичен метод предвижда внимателен самостоятелна работаексперт по анализ на тенденциите, оценка на състоянието и пътищата на развитие на прогнозирания обект. Експертът може да използва цялата необходима информация за прогнозния обект. Той записва констатациите си под формата на меморандум. Основното предимство на този метод е възможността за максимално използване на индивидуалните способности на експерта. Той обаче не е много подходящ за прогнозиране на сложни системи и разработване на стратегия поради ограничените познания на един експерт по свързани областизнания.
. Обработка на резултатите от анкетата на експерти
експертно колективно индивидуално проучване
Нека да преминем към разглеждане на процедурите, които се извършват на етапа на обработка на резултатите от разпита.
Въз основа на експертни оценки се получава обобщена информация за изследвания обект (явление) и се формира решение, което се задава от целта на изследването. При обработката на индивидуалните оценки на експертите се използват различни количествени и качествени методи. Изборът на този или онзи метод зависи от сложността на решавания проблем, формата, в която са представени становищата на експертите и целите на изследването.
Най-често при обработката на резултатите от проучването се използват методи на математическа статистика.
В зависимост от целите на изпита, при обработката на оценките могат да бъдат решени следните проблеми:
· формиране на обобщена оценка;
· определяне на относителните тегла на обекти;
· установяване на степента на съгласие на мненията на експертите и др.
1)Формиране на обобщена оценка
И така, нека група експерти да оценят някакъв обект, тогава х й - оценка на j-ия експерт, , където m е броят на експертите.
За формиране на обобщена оценка на група експерти най-често се използват средни стойности. Например медианата (M д ), за които се взема такава оценка, по отношение на която броят на големите оценки е равен на броя на по-малките.
Може да се използва и точкова оценка за група експерти, изчислена като средно аритметично:
2)Определяне на относителните тегла на обектите
Понякога се изисква да се определи колко важен (значим) е един или друг фактор (обект) от гледна точка на всеки критерий. В този случай казваме, че трябва да определим тежестта на всеки фактор.
Един от методите за определяне на теглата е следният. Нека x ij - оценка на фактора i, дадена от j-тия експерт, , , n - брой сравнявани обекти, m - брой експерти. След това теглото на i-тия обект, изчислено според оценките на всички експерти (wi ), е равно на:
където w ij - теглото на i-тия обект, изчислено според оценките на j-тия експерт, е равно на:
3)Установяване на степента на съгласие между експертите
Ако в проучването участват няколко експерти, несъответствията в оценките им са неизбежни, но е важна величината на това разминаване. Груповата оценка може да се счита за достатъчно надеждна само ако има добро съответствие между отговорите на отделните специалисти.
За анализ на разсейването и последователността на оценките се използват статистически характеристики - мерки за разсейване.
Диапазон на вариация (R):
Xмакс -х мин ,
където x макс- максимална оценка на обекта; мин - минималната оценка на обекта.
Стандартното отклонение, изчислено по добре познатата формула:
където xj е резултатът, даден от j-тия експерт; е броят на експертите.
Коефициентът на вариация (V), който обикновено се изразява като процент:
Подходите за проверка на последователност, използвани при оценката на обектите по метода на класирането, са специфични.
В този случай резултатът от работата на експерта е класиране, което представлява последователност от рангове (за експерт j): x 1j , х 2j, …, x nj .
Съвместимостта между класирането на двама експерти може да се определи с помощта на коефициента на рангова корелация на Spearman:
където xij е рангът, присвоен на i-тия обект от j-тия експерт; ik е рангът, присвоен на i-тия обект от k-тия експерт; i е разликата между ранговете, присвоени на i-тия експерт обект.
Стойността може да варира от -1 до +1. При пълно съвпадение на оценките коеф равно на едно. Равенството на коефициента минус едно се наблюдава с най-голямо разминаване в мненията на експертите.
В допълнение, изчисляването на коефициента на рангова корелация може да се използва като начин за оценка на връзката между всеки фактор и произтичащата характеристика (реакция) в случаите, когато характеристиките не могат да бъдат измерени точно, но могат да бъдат подредени.
В този случай стойността на коефициента на Спирман може да се интерпретира подобно на стойността на коефициента на корелация на двойката. Положителната стойност показва пряка връзка между факторите, отрицателната стойност показва обратна, докато колкото абсолютната стойност на коефициента е по-близо до единица, толкова по-тясна е връзката.
Когато е необходимо да се определи съответствието в класирането на голям (повече от двама) брой експерти, се изчислява т. нар. коефициент на съгласуваност - общият коефициент на рангова корелация за група от m експерти:
Обърнете внимание, че това, което се изважда в скоби, не е нищо повече от средната сума от ранговете (когато се сумират за всеки обект), получени от i обекти от експерти.
Коефициентът W варира в диапазона от 0 до 1. Равенството му на единица означава, че всички експерти са присвоили еднакви рангове на обектите. Колкото по-близка е стойността на коефициента до нула, толкова по-непоследователни са оценките на експертите.
Заключение
Опитът, интуицията, чувството за перспектива, съчетани с информация, помагат на специалистите да избират по-точно най-важните цели и насоки на развитие, да намират най-добрите варианти за решаване на сложни научни, технически и социално-икономически проблеми в условия, когато липсва информация за решаване на подобни проблеми в миналото.
Използването на метода на експертните оценки помага да се формализират процедурите за събиране, обобщаване и анализ на мненията на специалистите, за да се превърнат в най-удобната форма за вземане на информирано решение. Но трябва да се отбележи, че методът на експертните оценки не може да замени нито административни, нито планови решения, той ви позволява само да попълните информацията, необходима за подготовката и приемането на такива решения. Широкото използване на експертни оценки е оправдано само когато е невъзможно да се приложат по-точни методи за анализ на бъдещето.
Експертните методи се развиват и подобряват непрекъснато. Основните насоки на това развитие се определят от редица фактори, сред които можем да посочим желанието за разширяване на обхвата, увеличаване на степента на използване математически методии електронни компютри, както и да се намерят начини за отстраняване на възникващи недостатъци. Въпреки напредъка, постигнат през последните години в развитието и практическа употребаметод на експертни оценки, има редица проблеми и задачи, които изискват допълнително методологични изследванияи практически тестове. Необходимо е да се подобри системата за подбор на експерти, да се повиши надеждността на характеристиките на груповото мнение, да се разработят методи за проверка на валидността на оценките и да се проучат скритите причини, които намаляват надеждността на експертните оценки. Но дори и днес експертните оценки в комбинация с други математически и статистически методи са важен инструментподобряване на управлението на всички нива.
Библиография
1Орлов А.И. Експертни оценки. // Заводска лаборатория. ? 1996.? Т. 62.? номер 1. ? стр. 54-60.
2Орлов А.И. Експертни оценки. Proc. надбавка. - М.: 2002.
Бешелев С.Д., Гурвич Ф.Г. Експертни оценки при вземане на планирани решения. Proc. надбавка. - М.: Икономика, 1976. ? 287 стр.
Евланов Л.Г., Кутузов В.А. Експертни оценки в управлението. - М.: Икономика, 1978. ? 133 стр.
Управление. Proc. надбавка. / Ед. J.V. Прокофиева. - М.: Знание, 2000. - 288 с.
Бешелев С.Д., Гурвич Ф.Г. Експертни оценки. - М.: Наука, 1973. - 79 с.
Статистически методианализ на експертни оценки. - М.: Наука, 1977. - 384 с.
Моисеев Н.Н. Математически задачи системен анализ. - М.: Наука, 1981. - 487 с.
Литвак Б. Г. Експертни оценки и вземане на решения. - М.: Патент, 1996.
Характеристика на методите за експертна оценка [Електронен ресурс]: #"justify">Експертна оценка. / Уикипедия. [Електронен ресурс]: #"justify">Експертни оценки. // StatSoft: SPC Consulting. [Електронен ресурс]: http://www.spc-consulting.ru/app/expert.htm
Обучение
Нуждаете се от помощ при изучаването на тема?
Нашите експерти ще съветват или предоставят услуги за обучение по теми, които ви интересуват.
Подайте заявлениепосочване на темата точно сега, за да разберете за възможността за получаване на консултация.
Общи представителства
Използват се експертни методи за решаване на следните проблеми:
формулиране и изясняване на целта за оценка на качеството на продукта;
разработване на продуктова и потребителска класификация;
изграждане на йерархична структурна схема от качествени показатели;
определяне на коефициенти на тегловни показатели;
определяне на основните стойности на показателите.
Прилагането на експертния метод предполага следните условия:
експертна оценка се извършва, ако е невъзможно да се използва повече от обективни методиза разрешаване на проблема;
експертните мнения трябва да бъдат независими;
формулировката на въпросите, поставени на експертите, трябва да изключва възможността за различни тълкувания;
експертите трябва да са компетентни по въпросите, които се разглеждат;
броят на експертите трябва да бъде оптимален;
Отговорите на експертите трябва да са недвусмислени и да осигуряват възможност за тяхната математическа обработка.
Операциите, извършвани от експерти, могат да бъдат разделени на два класа: органолептични и умствени. Органолептичните се извършват с помощта на сетивните органи, а умствените - вземане на решения на базата на обработка на информация. Недостатъците на експертните методи включват присъщия им субективизъм, както и явлението конформизъм - влиянието на преценката, преобладаваща в групата, върху мнението на експерта.
Прилагането на експертни методи изисква участието на високопрофесионални експерти. У нас все още не е развита институцията на експертните специалисти по оценка на качеството. Следователно за тези цели по правило се канят специалисти по оценяваните продукти.
В момента активно се налага нов термин - „експертни системи“. Експертната система се разбира като система „човек-машина“, в която човек играе решаваща роля при извършването на оценки. Експертните системи се делят на две групи:
- - системи, функциониращи за сметка на знанието, главно в процеса на извличане на информация;
- - системи, които включват компютри с подходящ софтуер, способни да "отговарят" на въпроси като "какво ще се случи, ако...?"
Развитието на експертни системи от първия тип се счита за най-обещаващо, тъй като, на първо място, човек, за разлика от компютър, може да мисли творчески и да синтезира информация.
Сформиране и подготовка на експертна комисия
Експертните комисии, създадени за оценка на качеството на продуктите, се състоят от две групи: работни (организационни) и експертни. Работната група разработва методика за оценка на качеството, организира и провежда експертна оценка на качеството, обработва информацията, получена от експертите и анализира резултатите. Работната група включва организатор, консултант по оценяваните продукти и технически работници за машинописна, чертожна и изчислителна работа. Експертната група извършва само операции по оценка.
Организацията, в която се формира експертната комисия, трябва да издаде заповед или заповед, в която се посочва съставът на експертната комисия, задълженията на нейните членове, периодът и продължителността на работа. За подобряване на качеството на работата на експертите е необходимо съставът на експертната комисия да бъде постоянен за достатъчно дълго време. В И. Галеев смята, че експертната група трябва да включва 7-12 (15) души. В този случай е препоръчително да се вземе решение, за което са представени най-малко 2/3 от гласовете на членовете на експертната комисия. Г.Г. Азгълдов предлага за опростен метод на оценка размерът на експертната група от 7 до 10 души. В някои случаи, когато има малко време за разработка (не повече от месец), а обектът, който се оценява, е сложен (напр. товарен вагонили морски кораб) е необходимо да се формират две или три експертни групи, всяка от 7-10 души. В този случай всяка група работи върху отделни групи свойства на обекта.
Ако се използват приблизителни или точни методи за оценка на качеството, тогава се използва по-сложен и по-точен метод за определяне на размера на експертната група, който се основава на две основни положения:
1. Колкото повече експерти, толкова по-висока е, при равни други условия, толкова по-висока е надеждността на колективната експертна оценка ge, толкова по-малка е относителната грешка и толкова по-висока е доверителната вероятност (надеждност), с която е изчислен ge. И:
където същността е истинската стойност на тази характеристика, която се определя по експертен метод;
g е абсолютната грешка, която определя доверието
интервал:
g \u003d g ist - g e. (31)
2. Колкото повече предварителна информация има работната група за експертната група и нейните оценки, толкова по-малък може да бъде броят на експертите при равни други условия.
При създаването на експертна група се използват следните методи за анализ на съответствието на експертите с изискванията:
- 1) Качествен метод, при който съответствието се определя в хода на разговор с експерт на организатора-ръководител на дейността на експертната комисия и консултант на оценяваните продукти.
- 2). Количественият метод включва следните видове оценка на качеството на експертите:
евристичен - стойностите на експертните оценки на качеството се определят от човек;
статистически - стойностите на оценките се получават в резултат на обработка на отговорите на експертите;
тест - стойностите на оценките се намират в резултат на специални тестове на експерти;
документални - стойностите на оценката се основават на анализ на документални данни за експерти;
комбинирани - стойностите на оценките се получават с помощта на определена комбинация от горните методи.
Следните въпроси трябва да бъдат обсъдени с експертите преди работа:
същността на понятието „качество на продукта”;
основни термини и определения за оценяваните продукти и квалиметрия;
същността на експертните методи и обхвата на тяхното приложение;
основни оценъчни операции, тяхното описание, специфика, трудности при изпълнение;
най-честите грешки на експертите, съдържанието и програмата на извършваната работа;
методи за обработка на стойностите на експертните оценки и тяхната същност.
Необходимо е структурата на експертната група, нейният професионален състав и броят на експертите да съответстват на метода на изследване.
За тази цел работната група избира метод за интервюиране на експерти и го провежда преди формирането на експертна група.
Проучването на експерти се извършва индивидуално или съвместно с други експерти; с обсъждане на експертните преценки на заседание на експертната група или без него. Проучването може да се състои от разговор между експерт и технически работник по схемата „въпрос-отговор” (интервюиране), самостоятелно попълване на анкетна карта (анкетна карта), попълване на анкетна карта, при получаване на всички необходими разяснения от технически работник (смесено разпитване).
Ако се използва опростен метод за оценка на качеството, тогава работната (организационна) група избира експерти в следния ред. Избира се група от потенциални експерти, наброяваща 2-5 души повече, отколкото е необходимо да има в експертната група. След това в личен разговор с всеки потенциален експерт се опитват да получат информация за качеството на самия експерт. Г.Г. Азгалдов предлага "дърво на свойствата" на експерт под формата на фигура 8.
Разгледайте съдържанието на всяко от горните свойства.
Компетентност - цялостно познаване на обекта от експерта (професионална компетентност) и методите за оценка на неговото качество (квалиметрична компетентност). Професионалната компетентност включва познаване на методите на проектиране и производство, качествени показатели на аналози, перспективи за развитие на продукта, условия и характер на работа. Квалиметричната компетентност осигурява разбиране на принципите и методите за оценка на качеството на продукта, практическата способност за тяхното използване, познаване на видовете скали за оценка, субективни вероятности и способност за разграничаване на достатъчен брой градации на оценявания обект. Компетентността е най-важната, но трудна за оценка собственост. Оценката на специалист по вече усвоена професия е доста проста, но експертите трябва да работят в пресечната точка на специалностите, това изисква оригинално мислене, интуиция, способност за оценка на нови идеи и „прекомерният професионализъм“ може да попречи на експерта надхвърляйки професионалните си представи.
За определяне на индикатора за компетентност най-често се използват два метода: самооценка и взаимна оценка, върху тях ще се спрем по-долу. Формулата за изчисляване на индикатора за компетентност K, който се изразява като:
K com = 0,4 K с com + 0,6 K в com, (32)
където K с кого е резултатът от самооценката, в точки;
K в кого - резултатът от взаимната оценка, в точки.
Фигура 3 Свойства, които характеризират качеството на експертен съветник
Увереност - увереността на експерта в правилността на избраната от него оценка.
Обективност - способността на експерта да бъде обективен, тоест, когато участва в проверка, да не се поддава на ведомствени, шефски или лични интереси.
Ефективност - способност за бързо изпълнение на възложената работа, способност за бързо превключване от оценка на един показател към оценка на друг, способност за работа с хора в конфликтна ситуация, способност да се противопоставят на мнението на мнозинството, когато са уверени в своята правота, валидността и мотивацията на направените оценки и преценки, способността за ясно формулиране на мислите.
Интерес - желанието за изпълнение на възложената работа зависи от индивидуалните му способности, натовареността на основната работа, целите на изпита и възможностите за използване на резултатите от него в практическата му дейност.
Вземайки предвид тези свойства, работната група избира 7-10 експерти, които ги проявяват в най-голяма степен.
Крайният етап от формирането на експертна група е тестване, самооценка, взаимна оценка на експертите, анализ на тяхната надеждност и проверка на последователността на мненията.
Тестването се провежда за установяване на компетентността и професионалната пригодност на експертите и се състои в решаване на задачи от експерти, подобни на реалните, с известни отговори (но не на експерти).
Самооценката на експертите се състои в отговора на всеки от тях в строго ограничено време на въпросите от въпросника, след което експертът в точковата система проверява неговите професионални знания и бизнес качества.
Ако експертите имат опит в съвместната работа, те могат да извършват взаимна оценка един на друг.
Анализът на надеждността на експертите се извършва според степента на надеждност, която може да бъде изчислена въз основа на информация за резултатите от работата на експерт в други експертни групи. Степента на надеждност е съотношението на броя на случаите, в които експертното мнение съвпада с резултатите от изследването, към общия брой прегледи, в които е участвал.
Съгласуваността на експертните мнения се оценява чрез коефициента на съгласуване W, който ще бъде разгледан по-долу.
Провеждане на експертно проучване
Анкетата на експертите трябва да отговаря на следните изисквания:
- - ограничено количествовъпроси, зададени от експерта;
- - пълнота на обхващане на проблема, който се решава;
- - цялостно разглеждане на въпроса;
- - ограничено време за гласуване;
- - възможност за използване на дистанционно проучване;
Операциите по експертна оценка на качеството се извършват на етапи:
- 1. Подготвителен етап:
- - формулиране на целта на оценката;
- - сформиране на работна група.
- 2. Етап на работа на работната група:
- - изясняване на целта на оценката;
- - избор на методи, модификации, методи и процедури за оценка;
- - определяне на списъка от операции, извършвани от експерти;
- - сформиране на експертна група;
- - избор на методи, методи и процедури за интервюиране на експерти.
- 3. Етап на работа на експертната група:
- - класификация на продуктите и потребителите;
- - определяне на номенклатурата на качествените показатели;
- - определяне на коефициенти на тегловни показатели;
- - определяне на основните стойности на показателите;
- - определяне на оценки на отделни показатели;
- - дефиниране на комплексни показатели.
- 4. Краен етап:
- - обработка на стойностите на експертни оценки;
- - анализ на резултатите и подготовка на решението на експертната група.
При реализиране на третия етап - работата на експертната група, те получават отговори от експерти, които могат да бъдат разделени на:
- 1. Общи отговори под формата на описания, те се използват при определяне и изясняване на целите на оценката и условията на работа (потребление) на продуктите или като източник на допълнителна информация при оценката на качеството на продукта.
- 2. Отговорите за класификация могат да бъдат както под формата на описания, така и под формата на скала от имена (например разделяне на потребителите на групи в съответствие с условията на потребление на оценявания продукт).
- 3. Оценъчните отговори се представят в количествена форма (точки, проценти, части от единица) или качествена форма („добър – лош“, „достатъчно – недостатъчно“), използват се при определяне на тегловните коефициенти, стойностите на оценките на показателите за качество. При оценка на качеството се препоръчва провеждането на анкета на експерти в два или три кръга: индивидуален и групов. Това дава възможност да се гарантира независимостта на експертните преценки в първия кръг (което намалява отрицателното конформно и авторитетно влияние) и обменът на информация между експертите в следващите кръгове. Не е препоръчително провеждането на повече от три кръга от анкетата на експерти.
Необходимостта от повторение на операциите по проверката на оценката на качеството на продукта може да възникне по различни причини:
- - сравнение на резултатите, получени при използване на едни и същи процедури при различни условия;
- - сравнение различни методиили процедури, като интервюта лице в лице или неприсъствени интервюта;
- - повишаване на точността на резултата поради многократния обмен на информация;
- - оценка на качеството на експерта чрез определяне на стабилността на неговата преценка, изразена чрез показателя за възпроизводимост.
Една от разновидностите на многоетапния метод е методът Делфи, който американците пазят в тайна дълго време.
Методът Delphi е предложен в началото на петдесетте години от американски учени T.J. Гордън и О. Хелмър за решаване на военни проблеми. Името на този метод идва от древногръцкия град Делфи, където от 9в. пр.н.е д. в храма на Аполон имаше съвет на мъдреци - „Делфийския оракул“. Целта на метода Delphi е да извлече мненията на експертите в среда, която изключва директен дебат между тях, но им позволява многократно да претеглят своите преценки, като вземат предвид отговорите на колегите.
Характерните особености на метода Delphi са:
- - анонимност; експертите не се срещат помежду си;
- - отговорите на въпросите задължително съдържат количествена характеристика;
- - многостепенни; след всеки кръг експертите се запознават с отговорите на своите колеги и при необходимост правят писмени обосновки за своите гледни точки, което може да се отрази в промяната в мненията на експерта на следващия етап от проучването;
- - контрол; след всеки кръг се извършва статистическа обработка на получените отговори, докато степента на съответствие между мненията на експертите достигне предварително избрана стойност.
Броят на провежданите кръгове на проучване зависи от квалификацията и опита на специалистите. За особено важни измервания могат да се вземат предвид коефициентите на тежест на експертната квалификация. Средно три кръга се считат за достатъчни за група от 10-12 експерти.
Според метода на провеждане на експертните проучвания се разделят на:
- - директно измерване;
- - класиране;
- - сравнение.
При директно измерване чрез експертен метод стойностите на показателите за качество се определят в установени единици: SI единици, точки, стандартни часове, рубли, стандартни горивни единици и др. Такива измервания могат да се правят по съотношителна скала или по интервална скала. За измерване по съотношителна скала е необходим стандарт. Директното измерване на тегловните коефициенти, чиято сума трябва да бъде равна на единица, се извършва по скала от интервали.
Стойностите на коефициентите се изчисляват по формула (33):
където n е броят на експертите;
m е броят на претеглените показатели;
G ij - коефициент на тежест на j-тия показател в пунктове, даден
Директното измерване по експертния метод е най-трудно и изисква висококвалифицирани експерти.
Класирането се състои в подреждане на обекти на измерване или показатели за качество по реда на тяхното предпочитание или важност. Мястото, заето в такава подредба, се нарича ранг. Съгласно метода на предпочитанията експертът е помолен да номерира всички тегла M j по реда на техните предпочитания, така че теглото на най-малко предпочитаното свойство да получи номер 1, следващото да получи номер 2 и колкото по-важно е свойството, толкова по-голяма е стойността на теглото.
Формулата за изчисляване на теглото на j-тото свойство M j:
където W jl е мястото, където тежестта на j-тото свойство на
l-ти експерт;
r - брой експерти;
n е броят на свойствата.
По ранговия метод експертът прави оценка на важността на всяко свойство по скала за относителна важност в диапазона от 1 до 10, като може да присвои както цели, така и дробни числа на имуществото. IN този методформулата за изчисляване на теглото M j има формата:
където P jl е оценка на тежестта на j-тото свойство на l-тия експерт.
Съпоставянето се дели на последователно и по двойки. Методът на последователно съпоставяне е:
- 1. Подреждането на теглата на всички свойства по ред на предпочитание е подобно на метода на предпочитанията (класирането).
- 2. Най-важното свойство получава тегло M j = 1.0; всички останали са в низходящ ред в диапазона от 1 до 0.
- 3. Ако свойство с тегло M 1 е по-важно от всички други свойства взети заедно, тогава M 1 се увеличава до стойност, която надвишава сумата от всички други тегла:
Ако експертът смята, че свойството M 1 е по-малко важно, тогава се извършва обратната процедура:
- 4. По подобен начин вторият обект се сравнява с множеството от всички останали, които са с по-нисък ранг, и така нататък за всички останали. В същото време е необходимо да се гарантира, че предпочитанието на първия обект пред набора от всички останали не е нарушено, ако е установено на предишния етап.
- 5. Получените резултати от измерването или тегловните коефициенти се нормализират, т.е. се разделят на обща суматочки или тегловни коефициенти, след което те приемат стойности от 0 до 1, а сборът им става равен на 1.
Методът за съпоставяне по двойки е най-простият и се състои в сравняване на два обекта. Резултатите са представени под формата на ортогонална матрица. Например, необходимо е да се сравнят естетическите показатели на шест вида тапети, обозначени с номера 1, 2, .... 6 (таблица 3), където предпочитанието на i-тия тип пред j-тия съответства на 1, а обратното - 0.
Класираният ред изглежда така (във възходящ ред): № 4, № 5, № 6, № 2, № 1, № 3.
Същият пример може да се разгледа с класирането от следния тип: предимството на i-тия тип над j-тия съответства на 1, обратното - (-1); и при еднакво качество - 0 (таблица 4).
Следователно тапет № 3 има най-високи естетически показатели, след това № 1; № 2, № 6 и № 4 имат равни свойства, най-лошото представяне за тапет № 5.
Шишкин И.Ф. дава следния вариант на сравнение по двойки. Предпочитанието се изразява чрез посочване на номера на предпочитания обект (Таблица 3).
Таблица 3
Таблица 4
Оценката на j-тия обект или тежестта на j-тия показател се изчислява по формулата (39). В такъв случай:
където F i,j - честота i-ти предпочитанияексперт на j-тия обект
експертиза;
c - общият брой преценки на един експерт, свързан с
броят на обектите на изследване m (броят на измерените
показатели или коефициенти на тежест) по отношение:
Таблица 5
Номер на обекта на изследване |
||||||
Анализ на резултатите
След провеждане на проучване на експерти е необходимо да се определи тяхната степен на последователност, като се използва коефициентът на съгласуване W (41).
където S е сумата от квадратите на отклоненията на сумата от ранговете на всеки обект на изследване от средноаритметичните рангове;
n - брой експерти;
m - броят на обектите на експертиза.
Коефициентът на съответствие може да приема стойности от 0 (при липса на съгласие) до 1 (при пълно единодушие).
Значимостта на стойността на W се установява с помощта на критерия (разпределение на Пиърсън) (42):
Стойността се сравнява с таблицата при дадено ниво на значимост и брой степени на свобода f = n-1. За (f) степента на съгласие между изследователите (стойността на коефициента на съгласуване W) е извън съмнение.
Ако има "свързани рангове", тогава коефициентът на съгласуване се дава по формулата
L-ти брой еднакви рангове в k-тото класиране. Например, ако някои k-ти изследователзаписани рангове 1; 2; 4,5; 4,5; 4,5; 4,5; 8; 8; 8; 10 тогава за него
(4 3 -4)+(3 3 -3)=84.
Значимостта на стойността W също се установява с помощта на критерия
което също се сравнява с таблицата при дадено ниво на значимост и броя на степените на свобода f = n-1.