Научная электронная библиотека
Монографии, изданные в издательстве Российской Академии Естествознания

Лекция 23. Методы активизации использования интуиции и опыта специалистов

История системного анализа неразрывно связана с такими понятиями, как «мозговая атака», «сценарии», «дерево целей», морфологические методы и т.п. Перечисленные термины характеризуют тот или иной подход к активизации выявления и обобщению мнений опытных специалистов – экспертов (термин «эксперт» в переводе с латинского означают «опытный»). В связи с этим иногда все эти методы называют «экспертными»[174]. Однако есть и особый класс методов, связанных с непосредственным опросом экспертов, который называют методом экспертных оценок (так как при опросах принято проставлять оценки в баллах и рангах), поэтому названные и подобные им подходы иногда объединяют термином «качественные»[175] (оговаривая условность этого названия, так как при обработке мнений, полученных от специалистов, могут использоваться и количественные методы) или методы активизации использования интуиции и опыта специалистов[176]. Этот термин (хотя и несколько громоздкий) в большей мере, чем другие отражает суть методов, к которым вынуждены прибегать специалисты, когда они не только не могут сразу описать рассматриваемую проблему аналитическими зависимостями, но и не видят, какие из методов формализованного представления систем могли бы помочь получить модель для принятия решения.

Возникновение перечисленных терминов, как правило, связано с конкретными условиями проведения исследований или даже с именем автора подхода. Однако варианты последующего применения методов настолько разнообразны, что сейчас трудно говорить об однозначности использования приведенных терминов. Поэтому принятые при изложении назва-
ния – дань традиции, и чтобы быть более точными, будем говорить «методы типа ...» и давать краткий обзор разновидностей метода.

Методы типа «мозговой атаки» или «коллективной генерации» идей. Концепция мозговой атаки получила широкое распространение с начала 50-х годов прошлого века как «метод систематической тренировки творческого мышления», направленный на «открытие новых идей и достижение согласия группы людей на основе интуитивного мышления»[177]. Методы этого типа известны также под названиями мозгового штурма, конференций идей, коллективной генерации идей (КГИ).

Обычно при проведении мозговой атаки или сессий КГИ стараются выполнить определенные правила, суть которых сводится к тому, чтобы обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей; для этого рекомендуется приветствовать любые идеи, даже если они вначале кажутся сомнительными или абсурдными (обсуждение и оценка идей проводится позднее), не допускать критики, не объявлять ложной идею и не прекращать обсуждать ни одну идею, высказывать как можно больше идей (желательно нетривиальных), стараться создавать как бы цепные реакции идей.

В зависимости от принятых правил и жесткости их выполнения различают прямую мозговую атаку, метод обмена мнениями, методы типа комиссий, судов (когда одна группа вносит как можно больше предложений, а вторая старается их максимально критиковать) и т.п. Иногда мозговую атаку проводят в форме деловой игры.

На практике подобием сессий КГИ являются разного рода совещания – конструктораты, заседания ученых и научных советов, специально создаваемых временных комиссий.

В реальных условиях достаточно трудно обеспечить жесткое выполнение требуемых правил, создать «атмосферу мозговой атаки»; на конструкторатах и советах мешает влияние должностной структуры организации, собрать специалистов на межведомственные комиссии трудно. Поэтому желательно применять способы привлечения компетентных специалистов, не требующие обязательного их присутствия в конкретном месте и в конкретное время и устного высказывания своих мнений.

Методы типа «сценариев». Методы подготовки и согласования представлений о проблеме или анализируемом объекте, изложенных в письменном виде, получили название сценариев. Первоначально этот метод предполагал подготовку текста, содержащего логическую последовательность событий или возможные варианты решения проблемы, развернутые во времени. Однако позднее обязательное требование временных координат было снято, и сценарием стали называть любой документ, содержащий анализ рассматриваемой проблемы и предложения по ее решению или по развитию системы, независимо от того, в какой форме он представлен. Как правило, на практике предложения для подготовки подобных документов пишутся экспертами вначале индивидуально, а затем формируется согласованный текст.

Сценарий предусматривает не только содержательные рассуждения, помогающие не упустить детали, которые невозможно учесть в формальной модели (в этом, собственно, и заключается основная роль сценария), но и содержит, как правило, результат количественного технико-экономического или статистического анализа с предварительными выводами. Группа экспертов, подготавливающая сценарий, пользуется обычно правом получения необходимых справок от предприятий и организаций, необходимых консультаций.

Роль специалистов по системному анализу при подготовке сценария – помочь привлекаемым ведущим специалистам соответствующих областей знаний выявить общие закономерности развития системы; проанализировать внешние и внутренние факторы, влияющие на ее развитие и формирование целей; определить источники этих факторов; проанализировать высказывания ведущих специалистов в периодической печати, научных публикациях и других источниках научно-технической информации; создать вспомогательные информационные фонды (лучше автоматизированные), способствующие решению соответствующей проблемы.

Понятие сценария может расширяться в направлении как областей применения, так и форм представления и методов их разработки: в сценарий вводятся количественные параметры и устанавливаются их взаимозависимости, предлагаются методики подготовки сценария с использованием ЭВМ (машинных сценариев), методики целевого управления подготовкой сценария.

Сценарий позволяет создать предварительное представление о проблеме (системе) в ситуациях, когда не удается сразу отобразить ее формальной моделью. Но все же сценарий – это текст со всеми вытекающими последствиями (синонимами, омонимами, парадоксами), связанными с возможностью неоднозначного его толкования разными специалистами. Поэтому такой текст следует рассматривать как основу для разработки более формализованного представления о будущей системе или решаемой проблеме.

Методы экспертных оценок. Изучению возможностей и особенностей применения экспертных оценок посвящено много работ. В них рассматриваются формы экспертного опроса (разные виды анкетирования, интервью), подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения и т.д.), методы обработки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компетентности экспертов, достоверности их мнений), методики организации экспертных опросов.

Выбор форм и методов проведения экспертных опросов, подходов к обработке результатов опроса и т.д. зависит от конкретной задачи и условий проведения экспертизы. Однако существуют некоторые общие проблемы, которые нужно помнить специалисту по системному анализу.

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. При этом предполагается, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от группы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, в работе[178] предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К первому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов – близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости названных предположений недостаточно; экспертов нельзя рассматривать как «хороших измерителей», и необходимо осторожно подходить к обработке результатов экспертизы, поскольку в этом случае мнение одного (единичного) эксперта, больше внимания, чем другие, уделяющего исследованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном должна применяться качественная обработка результатов. Использование методов осреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по формированию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. Однако при разработке прогнозов и перспективных планов целесообразно выявлять «редкие» мнения и подвергать их более тщательному анализу.

Другая проблема, которую нужно иметь в виду при проведении системного анализа, заключается в следующем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узко субъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении Дельфи-процедуры даже могут усиливаться). Иными словами, на экспертные оценки нужно смотреть как на некоторую «общественную точку зрения», зависящую от уровня научно-технических знаний общества относительно предмета исследования, которая может меняться по мере развития системы и наших представлений о ней. Следовательно, экспертный опрос – это не одноразовая процедура. Такой способ получения информации о сложной проблеме, характеризующейся большой степенью неопределенности, должен стать своего рода «механизмом» в сложной системе, т.е. необходимо создать регулярную систему работы с экспертами.

Следует обратить также внимание на то, что использование классического частотного подхода к оценке вероятности при организации проведения экспертных опросов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использования представительность выборки). Поэтому интересны исследования характера вероятности экспертной оценки, базирующиеся на теории размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятности достижения цели.

Методы типа «Дельфи». Метод «Дельфи» или метод «дельфийского оракула» первоначально был предложен О. Хелмером и его коллегами[179], как итеративная процедура при проведении мозговой атаки, которая способствовала бы снижению влияния психологических факторов при повторении заседаний и повышении объективности результатов. Однако почти одновременно «Дельфи» – процедуры стали средством повышения объективности экспертных опросов с использованием количественных оценок при оценке «деревьев цели» и при разработке «сценариев».

Основные средства повышения объективности результатов при применении «Дельфи»-метода – использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов.

В конкретных методиках, реализующих процедуру «Дельфи», это средство используется в разной степени. Так, в упрощенном виде организуется последовательность итеративных циклов мозговой атаки. В более сложном варианте разрабатывается программа последовательных индивидуальных опросов с помощью анкет-вопросников, исключающих контакты между экспертами, но предусматривающих ознакомление их с мнениями друг друга между турами. Вопросники от тура к туру могут уточняться. Для снижения таких факторов, как внушение или приспособление к мнению большинства, иногда требуется, чтобы эксперты обосновывали свою точку зрения, но это не всегда приводит к желаемому результату, а, напротив, может усилить эффект приспособляемости. В наиболее развитых методиках экспертам присваивают весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

В силу трудоемкости обработки результатов и значительных временных затрат первоначально предусматриваемые методики «Дельфи» не всегда удается реализовать на практике. Процедура «Дельфи» в той или иной форме обычно сопутствует любым другим методам моделирования систем – морфологическому, сетевому и т.д. В частности, идея развития методов экспертных оценок, предложенная В.М. Глушковым, состоит в том, чтобы сочетать целенаправленный многоступенчатый опрос с «разверткой» проблемы во времени, что становится вполне реализуемым в условиях алгоритмизации такой достаточно сложной процедуры и использования ЭВМ.

Для повышения результативности опросов и активизации экспертов иногда сочетают процедуру «Дельфи» с элементами деловой игры: эксперту предлагается проводить самооценку, ставя себя на место конструктора, которому реально поручено выполнять проект, или на место работника аппарата управления, руководителя соответствующего уровня системы организационного управления и т.д.

Методы типа «дерева целей». Идея метода дерева целей впервые была предложена У. Черчменом в связи с проблемами принятия решений в промышленности[180]. Термин «дерево» подразумевает использование иерархической структуры, полученной путем разделения общей цели на подцели, а их, в свою очередь, на более детальные составляющие, которые можно называть подцелями нижележащих уровней или, начиная с некоторого уровня, – функциями. Как правило, термин «дерево целей» используется для иерархических структур, имеющих отношения строго древовидного порядка, но сам метод иногда применяется и в случае «слабых» иерархий. Поэтому большее распространение получил предложенный В.М. Глушковым термин «прогнозный граф», который может представляться и в виде древовидной иерархической структуры, и в форме структуры со «слабыми» связями.

При использовании метода «дерева целей» в качестве средства принятия решений часто вводят термин «дерево решений». При применении «дерева» для выявления и уточнения функций управления говорят о «дереве целей и функций»[181]. При структуризации тематики научно-исследовательской организации удобнее пользоваться термином «дерево проблемы», а при разработке прогнозов – термином «дерево направлений развития (или прогнозирования развития)» или термином «прогнозный граф».

Метод «дерева целей» ориентирован на получение полной и относительно устойчивой структуры целей, проблем, направлений, т.е. такой структуры, которая на протяжении какого-то периода времени мало изменялась при неизбежных изменениях, происходящих в любой развивающейся системе. Для достижения этого при построении вариантов структуры следует учитывать закономерности целеобразования и использовать принципы и методики формирования иерархических структур целей и функций.

Морфологические методы. Термином «морфология» в биологии и языкознании определяется учение о внутренней структуре исследуемых систем (организмов, языков) или сама внутренняя структура этих систем. Идея морфологического опроса мышления восходит к Аристотелю и Платону, к известной средневековой модели механизации мышления Р. Луллия[182]. Однако в систематизированном виде методы морфологического анализа сложных проблем были разработаны швейцарским астрономом Ф. Цвикки и долгое время морфологический подход к исследованию и проектированию сложных систем был известен под названием метода Цвикки[183].

Основная идея морфологического подхода – систематически находить наибольшее число, а в пределе – все возможные варианты решения поставленной проблемы или реализации системы путем комбинирования основных (выделенных исследователем) структурных элементов системы или их признаков. При этом система или проблема может разбиваться на части разными способами и рассматриваться в различных аспектах.

Отправными точками морфологического исследования Ф. Цвикки считал:

а) равный интерес ко всем объектам морфологического моделирования;

б) ликвидацию всех ограничений и оценок до тех пор, пока не будет получена полная структура исследуемой области;

в) максимально точную формулировку поставленной проблемы.

Кроме этих общих положений, Цвикки предложил ряд отдельных способов (методов) морфологического моделирования: метод систематического покрытия поля (МСПП), метод отрицания и конструирования (МОК), метод морфологического ящика (ММЯ), метод экстремальных ситуаций (МЭС), метод сопоставления совершенного с дефектным (МССД), метод обобщения (МО). Наибольшую известность получили три первых метода.

МСПП предполагает, что существует некоторое число так называемых «опорных пунктов» знания в любой исследуемой области. Этими пунктами могут быть теоретические положения, эмпирические факты, открытые законы, в соответствии с которыми протекают различные процессы, и т.д. Исходя из ограниченного числа опорных пунктов знания и достаточного числа принципов мышления, морфологическим методом покрытия поля ищут все возможные решения поставленной проблемы.

МОК основывается на соображениях, которые Ф. Цвикки сформулировал следующим образом: «На пути конструктивного прогресса стоят догмы и компромиссные или диктаторские ограничения. Следовательно, есть смысл их отрицать. Однако одного этого недостаточно. То, что получается из отрицания, необходимо конструктивно переработать»[184]. В соответствии с этим МОК разбивается на три этапа:

1) формирование ряда высказываний (положений, утверждений, аксиом и т.п.), соответствующих современному уровню развития исследуемой области знаний;

2) замена одного, нескольких или всех сформулированных высказываний на противоположные;

3) построение всевозможных следствий, вытекающих из такого отрицания и проверка непротиворечивости вновь полученных и оставшихся неизменными высказываний.

МОК может быть реализован в форме одного из вариантов «мозговой атаки» – метода «судов».

Предложенные Ф. Цвикки методы нашли широкое распространение как средство активизации изобретательской деятельности, а при моделировании задач планирования – распределения заказов по плановым периодам, размещения их по производствам – удобным средством оказался ММЯ. Обратим внимание на использование остальных методов в качестве вспомогательных при формировании морфологической таблицы (морфологического ящика – МЯ).

Идея ММЯ состоит в определении всех возможных параметров, от которых может зависеть решение проблемы, и представления их в виде матриц-строк, а затем в определении в этой морфологической матрице-ящике всех возможных сочетаний параметров по одному из каждой строки. Полученные варианты решений подвергаются оценке и анализу с целью выбора наилучшего.

Построение и исследование МЯ по Цвикки проводится в пять этапов:

1) точная формулировка поставленной проблемы;

2) определение параметров (классификационных признаков) Pi, от которых зависит решение проблемы (процедура анализа может быть итеративной с уточнением или изменением набора Pi по мере уточнения представлений об исследуемом объекте или процессе принятия решения);

3) деление параметров Pi на их значения 150.wmf (формирование классификаторов по выбранным признакам Pi) и представление их в виде матриц-строк:

151.wmf

Набор значений (по одному из каждой строки) различных параметров представляет собой возможный вариант решения моделируемой задачи; например, вариант 152.wmf; общее число вариантов, содержащихся в МЯ, равно R = k1•k2•...•kn, где ki(i = 1, 2, ..., n) – число значений i-го параметра;

4) оценка всех имеющихся в МЯ вариантов;

5) выбор из МЯ оптимального варианта решения задачи.

С математической точки зрения идея морфологического перебора базируется на получении размещений с повторением из k по n, число которых в общем случае подсчитывается
при одинаковом числе значений каждого из параметров (т.е. при равенстве всех k) по формуле 153.wmf, где n – число строк МЯ, k – число элементов в каждой строке.

Для сокращения перебора этапы 3 и 4 могут быть совмещены, и явно неприемлемые варианты можно сразу исключить из рассмотрения в п. 5. Следует также отметить, что говорить об оптимизации не приходится. Идею поиска наилучшего решения (вариантов решения) точнее квалифицировать, как постепенно ограничиваемый перебор, который с самого начала сокращается благодаря формированию МЯ (число размещений с повторениями меньше числа сочетаний и по мере увеличения объема МЯ разрыв увеличивается и ограничение перебора сказывается в большей степени), затем область выбора решения ограничивается в результате отбрасывания явно неприемлемых вариантов, а дальнейшее ограничение области возможных решений осуществляется путем введения и учета количественных, а потом (при прочих равных условиях) и качественных критериев.

Возможны следующие пути выбора решений из МЯ:

– применение одного критерия, полностью исключающего все варианты решений, кроме одного [рис. 60];

– последовательное применение нескольких критериев А, В, С, постепенно исключающих все варианты, кроме одного [рис 61];

– расчленение проблемы на подпроблемы (или задачи на подзадачи) и последовательное применение нескольких критериев для выбора по одному варианту решения каждой из подпроблем (подзадач), которые вместе взятые и составляют искомое решение [рис. 62].

_60.wmf

Рис. 60. Поиск путей выбора решений из МЯ: применение одного критерия, полностью исключающего все варианты решений, кроме одного

_61.wmf

Рис. 61. Поиск путей выбора решений из МЯ: последовательное применение нескольких критериев А, В, С, постепенно исключающих все варианты, кроме одного

В последнем случае может быть получено не одно решение, составленное из решений подзадач, а несколько таких (равноценных) решений, и тогда уменьшение числа этих вариантов – дальнейшее сужение области решений осуществляется путем введения дополнительных (как правило, качественных) критериев.

Ф. Цвикки и его последователи разрабатывали и исследовали МЯ различного вида. Например, известен вариант МЯ, в котором значения одного и того же параметра откладывались и по горизонтальной, и по вертикальной осям двумерной матрицы-«ящика», и варианты решений получались на пересечении различных значений параметров, т.е. как элементы этой матрицы. МЯ могут быть также не только двумерными. Трехмерные МЯ и МЯ большей размерности находят, например, применение при разработке прогнозов и при получении вариантов новой техники.

_62.wmf

Рис. 62. Поиск путей выбора решений из МЯ: расчленение проблемы на подпроблемы
(или задачи на подзадачи) и последовательное применение нескольких критериев
для выбора по одному варианту решения каждой из подпроблем (подзадач),
которые вместе взятые и составляют искомое решение

Однако при формировании и анализе многомерных МЯ, особенно для анализа проблем организационного управления, возникают существенные трудности в их представлении ЛПР, интерпретации результатов. Поэтому удобнее становится, используя идею морфологического подхода, разрабатывать языки моделирования (автоматизации моделирования), которые применяются для «порождения» возможных ситуаций в системе, возможных вариантов решения и часто как вспомогательное средство формирования нижних уровней иерархических структур целей и функций или организационных структур систем управления. В этом случае термин «морфологический подход» применяется в более широком смысле.

В практике объемно-календарного планирования оказалось более удобным как бы перевернуть двумерный МЯ и комбинировать не элементы строк, а элементы столбцов (такие таблицы привычнее для работников плановых отделов).

Расширению практического применения ММЯ существенно способствует автоматизация морфологического моделирования. При этом важно автоматизировать не только получение вариантов, т.е. собственно перебор, а и получение оценок этих вариантов и даже формирование собственно МЯ.

Метод решающих матриц. Этот метод был предложен акад. Г.С. Поспеловым[185], как средство повышения достоверности экспертной оценки путем разделения проблемы с большой неопределенностью на подпроблемы и пошагового получения оценок.

Например, при создании сложных производственных комплексов, автоматизированных систем управления и других сложных объектов нужно определить влияние на проектируемый объект фундаментальных научно-исследовательских работ (НИР), чтобы запланировать эти работы, предусмотреть их финансирование и распределить средства между ними.

Получить от экспертов объективные и достоверные оценки влияния фундаментальных НИР на проектирование сложного комплекса практически невозможно. Для того, чтобы облегчить экспертам эту задачу, можно вначале спросить их, какие направления (области) исследований могут быть полезны для создания комплекса и попросить определить их относительные веса этих направлений 240.wmf. Затем составить план опытно-конструкторских работ для получения необходимых результатов по названным направлениям и оценить их вклад
241.wmf. Далее нужно определить программу прикладных научных исследований и относительные веса прикладных НИР 242.wmf. И, наконец, – оценить влияние фундаментальных НИР 154.wmf на прикладные.

Таким образом, область работы экспертов можно представить в виде нескольких уровней: направления – ОКР – прикладные НИР – фундаментальные НИР [рис. 63].

Относительные веса по всем уровням должны быть нормированы. В методе решающих матриц для удобства опроса экспертов относительные веса определяются не в долях единицы, а в процентах; они нормируются вначале по отношению к 100: 155.wmf

_63.wmf

Рис. 63. Область работы экспертов в виде нескольких уровней:
направления «ОКР ? прикладные НИР – фундаментальные НИР»

Только вклад направлений (подцелей) в реализацию общей цели проекта оценивается экспертами непосредственно. Остальные относительные веса (ОКР, прикладных НИР) вычисляются. Эксперты оценивают вклад каждой отдельной альтернативы (ОКР, НИР) в реализацию альтернатив более высокого уровня, непосредственно предшествующего уровню данной альтернативы. Так, вклад опытно-конструкторской работы ?i в реализацию подцели (направления) ?j оценивается некоторой величиной aij. Для каждой ОКР ?i относительные веса aij также пронормированы: 156.wmf

Таким образом, каждая строка решающей матрицы 157.wmf характеризует относительный вклад i-й ОКР в реализацию каждого из направлений (подцелей). Оценив предварительно 158.wmf и используя решающую матрицу 159.wmf, можно получить относительные веса ОКР: 160.wmf

Аналогично, зная ?i и оценив 161.wmf, можно получить относительные веса прикладных НИР ?k, а затем и фундаментальных исследований ??.

В результате при использовании метода решающих матриц оценка относительной важности сложной альтернативы сводится к последовательности оценок более частных альтернатив, которые эксперт способен осуществить. Иными словами, большая неопределенность, имевшая место в начале решения задачи, как бы разделена на более «мелкие», лучше поддающиеся исследованию и оценке, т.е. метод решающих матриц реализует одну из основных идей системного анализа.

Контрольные вопросы по лекции 23:

1. Поясните основную идею методов типа «мозговой атаки».

2. Каково предназначение методов типа «сценариев»?

3. В чём отличие методов экспертных оценок от методов типа «мозговой атаки»?

4. В чём отличие методов типа «Дельфи» от методов экспертных оценок?

5. В чём отличие методов типа «дерева целей» от методов типа «Дельфи»?

6. В чём заключается принципиальное отличие морфологических методов от методов типа «Дельфи»?

7. Какова основная идея морфологического подхода?

8. На чём основывается метод отрицания и конструирования (МОК)?

9. Поясните метод морфологического ящика.

10. Как можно обосновать пять этапов построения морфологического ящика?

11. Объясните рисунки 60-62.

12. Чем выделяется метод решающих матриц из многообразия других методов?

13. Объясните рисунок 63.

14. Почему при использовании метода решающих матриц происходит сведение неопределенностей?


Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674