Задачи и проекты

ИКТ – платформа для мегаустановок и междисциплинарных исследований

Информационно-телекоммуникационные технологии из обслуживающей инфраструктуры трансформировались в неотъемлемую часть методов научных исследований, наряду с теоретическими и экспериментальными. Математическое моделирование и проведение вычислительных экспериментов позволяют детально изучать объект исследования в различных, не всегда доступных в реальных экспериментах, условиях. Для сложных экспериментальных установок в дополнение к сбору и анализу экспериментальных данных выполняется моделирование отклика детекторов, а затем обработка, анализ и сравнение полученных данных с экспериментальными. Начавшись с физики высоких энергий и с радиоастрономии со сверхдлинными базами, эта тенденция быстро распространилась на другие научные области – биологию (прежде всего генетику), геофизику, материаловедение и др.

Компьютерное моделирование на высокопроизводительных системах становится важнейшим фактором научно-технического прогресса. Предсказательное моделирование, основанное на численном решении систем алгебро-дифференциальных или интегро-дифференциальных уравнений, описывающих различные физические явления и процессы, позволяет существенно сократить стоимость и сроки разработки сложных технических объектов и систем. К ключевым направлениям, в которых суперкомпьютерные технологии оказывают решающее влияние на развитие отрасли, относятся: авиационно-космическая техника; ядерная и термоядерная энергетика; нано- и биотехнологии; добыча и разведка углеводородного сырья; фундаментальные исследования (астрофизика, теория турбулентности, квантовая химия и другие).

Особую роль предсказательное моделирование и информационные технологии играют в области нанотехнологий, что определяется несколькими основными факторами. Во-первых, размеры наносистем являются промежуточными между размерами молекулярных и протяженных систем. Это крайне затрудняет исследование нанообъектов традиционными экспериментальными методами, результаты которых (как, например, данные, полученные методами атомной туннельной или силовой микроскопии) сами нуждаются в надежной теоретической интерпретации с использованием атомистических методов. Во-вторых, геометрия системы, размеры и структура составляющих ее элементов становятся важнейшими параметрами, определяющими свойства наноматериалов и наносистем. Именно это обстоятельство, определяя во многом интерес к нанотехнологиям, резко увеличивает число возможных вариантов дизайна материала или устройства, делая априорное моделирование совершенно необходимым условием успешного развития. Наконец, в-третьих, сравнительно небольшие размеры нанообъектов позволяют использовать атомистическое моделирование для описания образования, структуры и свойств объекта, что делает этот подход предсказательным и, в известном смысле, независимым от эксперимента источником фундаментальных знаний о структуре, свойствах и функциональности нанообъектов.

Экспериментальная наука и суперкомпьютерное моделирование (включая имитационное) в настоящее время порождают наборы данных мультипетабайтного масштаба. Современные научные мегаустановки – в материаловедении, физике высоких энергий, астрономии, астрофизике, нано- и биотехнологиях, - показывают экспоненциальный рост темпов генерации экспериментальных данных благодаря увеличению масштаба установок, внедрению современных сенсоров и детекторов, а также быстрому развитию информационных технологий. Наборы данных экзабайтного масштаба являются уже сейчас частью процесса планирования для основных перспективных научных проектов, связанных с мегаустановками. Их анализ и визуализация являются ограничивающими факторами в достижении понимания результатов обработки и моделирования в экза-масштабе. Это требует новых подходов к связыванию вычислений, анализу (включая интерактивный) и визуализации сверхбольших наборов данных, а также в создании системы управления потоками заданий для выполнения задач хранения, обработки и анализа больших данных в распределенной гетерогенной компьютерной среде, включающей системы экстрамассивного параллелизма. К 2022 году ожидается появление экзафлопных вычислительных систем. Такие системы будут производить данные крупномасштабного моделирования, соизмеримые по объемам с теми, которые получаются в ходе экспериментов на мега-установках и для их обработки будут нужны аналогичные технологии. В свою очередь объемы больших данных генерируемые мега-установками будут требовать экза-флопую производительность вычислительных систем для их обработки.

“Big Data”, как правило, является связующим звеном, которое объединяет научные разработки в единый мегапроект. Необходимость новых решений для управления, анализа и обработки данных в проектах класса мегасайнс (в первую очередь в области физики высоких энергий (ФВЭ), ядерной физики и биологии) определяет актуальность задачи. Российские исследовательские институты и университеты активно участвуют в таких международных мега-проектах, как Большой адронный коллайдер (БАК), CERN (эксперименты: ATLAS, ALICE, LHCb, CMS), XFEL (проект создания европейского лазера на свободных электронах), DESY, ESRF (европейский синхротронный центр, Гренобль, Франция), FAIR (установка для исследования вещества с помощью антипротонов и ионов, Дармштадт, Германия), ITER (Франция) и в подготовке Российских научных мега-проектов, таких как проект исследовательского ядерного реактора ПИК (ПИЯФ НИЦ "Курчатовский институт", Гатчина) и коллайдерного проекта НИКА (ОИЯИ, Дубна). Важнейшей частью этих проектов является создание и развитие компьютерных систем для обработки, хранения и анализа экспериментальных данных, алгоритмов поиска и доступа к данным. В настоящее время объем данных экспериментов Большого адронного коллайдера превышает 300 ПетаБайт (это больше чем поисковый индекс компании Google), и после ввода 3-ей очереди БАК объем данных возрастет в 100 раз. Таким образом, управление данными ФВЭ потребует новых технологических и программных решений, которые также востребованы в промышленности в первую очередь в ИКТ. Одним из них является потоковая обработка информации. Интересным примером фактически почти идеально потоковой обработки информации может служить Грид для Большого адронного коллайдера: здесь единицами потока являются индивидуальные задачи (моделирования методами Монте-Карло и/или физического анализа), а поток образуется, поскольку событий для анализа очень много.

Продуктивное использование суперкомпьютеров нового поколения в науке и промышленности являлось целью проектов APOS-EU и APOS-RU. Проект APOS-EU финансировался 7-й Рамочной Программой Европейского Союза и проводился совместно с партнёрским проектом APOS-RU, который финансировался Министерством образования и науки Российской Федерации. В рамках проектов решались задачи по разработке и совершенствованию программного обеспечения в таких стратегически важных областях, как сейсмическое моделирование, моделирование залежей нефти и газа, вычислительная гидродинамика, термоядерная энергетика и нано-флюидика. На основе разработанных методов реализованы программы численного моделирования для таких многопроцессорных вычислительных систем, как:

• высокопроизводительные компьютеры - многоядерные компьютеры;

• гетерогенные вычислительные системы – вычислительные системы, использующие как специализированные процессорные узлы, оснащенные графическими ускорителями GPGPU, так и Intel-совместимые процессоры.

В проектах принимали участие: Институт прикладной математики им. М.В.Келдыша РАН, НИЦ «Курчатовский Институт», «Югорский научно-исследовательский институт информационных технологий»; «Московский физико-технический институт», Университет Эдинбурга, Центр высокопроизводительных вычислений университета Штутгарта, Университет Варшавы, Компания CAPS Enterprise, Компания TOTAL S.A. Основными целями проектов были:

- Разработка и исследование моделей и масштабируемых высокоточных вычислительных методов расчета разномасштабных (от наноразмерных до макроскопических) сложных физико-химических процессов в неоднородных средах, направленных на существенное повышение эффективности использования параллельных вычислительных систем и суперкомпьютеров.

- Реализация на основе разработанных методов программ численного моделирования для многопроцессорных вычислительных систем для решения задач механики деформируемых пористых/трещиноватых тел, в том числе обработки сейсмических сигналов и дистанционного зондирования, гидродинамики пористых сред и для моделирования транспортных процессов в наноструктурных материалах.

- Решение задачи оптимизации режимов нефтедобычи в областях не менее 3*3*2 км с применением вычислительных сеток, содержащих от 10 миллионов узлов до 1 миллиарда узлов.

В ходе проекта оптимизировались следующие прикладные системы: LS1 MarDyn – моделирование нано-флюидики методами молекулярной динамики; GENE – моделирование турбулентности в плазме ITER; Fluidity – моделирование процессов гидродинамики в многофазных средах; промышленный код компании Total по моделированию нефтегазовых резервуаров.

В результате оптимизации прикладного пакета компании Total время, затрачиваемое при моделирование резервуара сократилось в два раза. Технологии, разработанные в ходе проектов, и полученный опыт стали основой, позволяющей широкому кругу учёных решать важнейшие задачи, возникающие в эпоху компьютерных вычислений на уровне exascale.

Мультимасштабное моделирование и вычислительное материаловедение

Разработка новых материалов и технологий обычно сопряжена с проведением большого количества циклов по созданию прототипов, экспериментальному исследованию их свойств и соответствующему изменению состава материала и параметров процессов изготовления. Такой подход к разработке приводит к большим затратам на проведение исследовательских работ и к большому времени выведения продукта на коммерческий рынок. Для ускорения процесса разработки новых материалов и технологий в последнее время широко используются методы компьютерного моделирования и проектирования, такие как методы вычислительного материаловедения (computational materials science, CMS) и методы вычислительных инженерных расчетов (computational engineering, CE).

Использование этих методов компьютерного моделирования позволяет существенно уменьшить количество циклов изготовления экспериментальных прототипов и сократить время разработки новых продуктов. Методы вычислительного материаловедения в основном направлены на расчеты физико-химических свойств материалов и определение их взаимосвязи со структурой материала. Методы вычислительных инженерных расчетов используются для расчета свойств приборов и систем на основе информации о свойствах материалов.

Необходимым условием для эффективного использования методов компьютерного моделирования является предсказательность результатов моделирования, то есть их адекватность результатам соответствующего экспериментального исследования. Для методов автоматизации инженерных расчетов предсказательность определяется в основном знанием физико-химических свойств материалов и правильным описанием протекающих процессов. Одной из проблем при разработке новых материалов и технологий на их основе является отсутствие достоверных данных об их физико-химических свойствах, что затрудняет проведение предсказательных инженерных расчетов для таких материалов. Для решения этой проблемы можно применять методы вычислительного материаловедения, позволяющие предсказать свойства новых материалов на основе его структуры.

Следует отметить, что структура большинства промышленных материалов имеет несколько пространственных масштабов (уровней). Например, металлические сплавы на низшем уровне характеризуются кристаллической структурой и заполнением ее узлов различными атомами сплава. На более высоком уровне структура сплава характеризуется морфологией, ориентацией и фазовым составом зерен. Кроме того, отдельные зерна могут соединяться в более крупные зерна, формируя иерархию уровней. Такая иерархическая структура материалов характерна для большинства органических материалов вокруг нас, и специально создается человеком в композиционных материалах, например в металлических суперсплавах, полимерных материалах с твердыми наполнителями и т.п. Таким образом, расчет физических свойств материалов требует корректного учета иерархической структуры материала. Для этого методы моделирования должны включать модели для разных уровней структуры системы (атомистический, мезоскопический и другие уровни), а также методы сопряжения данных моделей. Наиболее общий способ интеграции многоуровневых моделей для иерархических структур - расчет определенного физического свойства для каждого элемента структуры на данном уровне и передача рассчитанных значений на более высокий уровень. Таким образом, на более высоком уровне происходит гомогенизация физических свойств, рассчитанных для отдельных элементов структуры на более низком уровне. Так, для расчета механических свойств композитов вначале рассчитываются механические свойства отдельных фаз, составляющих композит. При этом могут использоваться методы эмпирической и неэмпирической молекулярной динамики, а также более огрубленные методы, такие как метод динамики дислокаций для твердых фаз. При помощи этих методов получаются определяющие отношения для связи деформаций и напряжений в данной фазе. Полученные определяющие отношения передаются на уровень микроструктуры для моделирования свойств многофазной системы методом конечных элементов.

Методы многоуровневого моделирования позволяют предсказательно рассчитать физические свойства иерархических систем на основе информации об их структуре. Однако для большинства таких систем структура зависит сложным образом от процесса получения материала и заранее неизвестна. Поэтому для предсказания свойств таких материалов необходимо в начале предсказать структуру материала, что, в свою очередь, требует использование моделей образования структуры материала для конкретных процессов их производства. При этом модели образования структуры должны описывать формирование структуры на разных пространственных масштабах и поэтому также использовать многоуровневое описание. Предсказание свойств материалов может быть осуществлено при помощи первопринципных методов (также называемых ab initio методов) на основе квантовомеханического описания материала. Данные методы почти не требуют никакой входной информации, кроме атомистической структуры материала. В частности, широкое распространение получил метод на основе теории функционала плотности (density functional theory, DFT). На основе данных квантовохимических методов можно рассчитать структурные, механические, электрические и оптические свойства материалов. Для описания эволюции системы на атомистическом уровне используются методы молекулярной динамики, а на более высоких уровнях - методы теории фазового поля (phase field), решеточные методы для кинетического уравнения (lattice Boltzmann method) и др. Ключевой проблемой для атомистических методов моделирования образования структур является описание активационных процессов, неизбежно присутствующих при протекании химических процессов и образовании новых фаз. Для решения этой проблемы применяются кинетические методы Монте Карло, позволяющие явным образом описывать химические превращения в системе, а также методы ускоренной молекулярной динамики.

Развитие данных подходов моделирования свойств материалов и процессов их получения привело к возникновению методов интегрированной вычислительной разработки материалов, позволяющих предсказать свойства материалов в зависимости от условий процесса их получения. На данный момент такие методы являются наиболее последовательной реализацией предсказательного моделирования в области материаловедения.

На основе этих подходов и методов в Курчатовском комплексе НБИКС-природоподобных технологий, в рамках проекта ITER, проведены исследования сверхпроводников на основе Nb3Sn. Обнаружено, что сверхпроводящие зерна могут иметь разную морфологию, что может быть связано с их стехиометрическим составом. Столбчатые зерна Nb3Sn характеризуются пониженным по сравнению со стехиометрическим содержанием олова и искажением структуры A15: отклонением углов от 90° и анизотропией параметра решетки.  Для определения вероятной структуры искаженных ячеек был применен программный пакет моделирования из первых принципов ABINIT в массивно-параллельной версии, установленный на кластере. С его помощью была проведена полная оптимизация геометрии гипотетических сверхъячеек с дефектами, связанными с недостатком атомов олова: вакансиями и заменами атомов олова на ниобий. Обнаружено, что наиболее вероятный вид дефектов  – упорядоченное линейное расположение вакансий. Эти данные находятся в соответствии с данными электронной микроскопии и указывают на необходимость разработки технологии, позволяющей повысить содержание Sn  в сверхпроводниках.

Таким образом, платформа для высокопроизводительных вычислений и интеллектуального анализа данных в различных научных дисциплинах стала важнейшей составляющей исследовательской инфраструктуры Курчатовского комплекса НБИКС-природоподобных технологий, обеспечивая следующие предметные направления:

• вычислительная биология и генетика, биоинформатика;

• компьютерная разработка лекарственных форм;

• вычислительные нейронауки, нейросетевое моделирование и нейроинформатика;

• обработка, анализ и визуализация экспериментальных данных нейрокогнитивных исследований;

• вычислительная биоинженерия и биоэнергетика;

• вычислительное материаловедение, включая многоуровневое мультифизическое моделирование свойств, структуры и процеcсов обработки новых материалов;

• моделирование физических свойств сложных квантовых сред: от кварк-глюонной плазмы до наноструктур;

• моделирование, обработка, анализ и визуализация данных синхротронно-нейтронных исследований и электронной микроскопии, моделирование на их основе структуры объектов.

Также обеспечиваются направления:

• мультифизическое моделирование, инженерный анализ и проектирование технически сложных объектов для энергетики и судостроения;

• вычислительная геофизика и решение обратных задач;

• вычислительная астрофизика;

• вычислительная физика высоких энергий.