Search

Одна из основных сложностей разработки параллельной программы для кластера — необходимость принятия глобальных решений по распределению данных и вычислений с учетом свойств всей программы, а затем выполнения кропотливой работы по модификации программы и ее отладки. Большой объем программного кода, а также многомодульность, многовариантность и многоязыковость, затрудняют принятие решений по согласованному распределению данных и вычислений. Опыт использования предыдущей системы САПФОР показал, что при распараллеливании на кластер больших программ и программных комплексов необходимо уметь распараллеливать их постепенно, начиная с наиболее времяемких фрагментов и постепенно добавляя новые фрагменты, пока не достигнем желаемого уровня эффективности параллельной программы. С этой целью предыдущая система была полностью переработана, и на ее основе была создана новая система SAPFOR (System FOR Automated Parallelization). В данной статье будет рассмотрен опыт применения метода частичного распараллеливания, идея которого заключается в том, что распараллеливанию подвергается не вся программа целиком, а ее части (области распараллеливания) — в них заводятся дополнительные экземпляры требуемых данных, производится распределение этих данных и соответствующих им вычислений., The main difficulty in developing a parallel program for a cluster is the need to make global decisions on the distribution of data and computations, taking into account the properties of the entire program, and then doing the hard work of modifying the program and debugging it. A large amount of code as well as multimoduling, multivariant and multilanguage, make it difficult to make decisions on a consistent distribution of data and computations. The experience of using the previous SAPFOR system showed that, when parallelizing large programs and software packages for a cluster, one should be able to parallelize them gradually, starting with the most time-intensive fragments and gradually adding new fragments until we reach the desired level of parallel program efficiency. For this purpose, the previous system was completely redesigned and a new system SAPFOR (System FOR Automated Parallelization) was created. To solve this problem, the method of incremental or partial arallelization will be considered in this paper. The idea of this method is that not the entire program is subjected to parallelization, but only its parts (parallelization regions) where additional versions of the required data are created and distributed and the corresponding computations are performed. This paper also discusses the application of automated mapping of programs to a cluster using the proposed incremental parallelization method and using the example of a NPB (NAS Parallel Benchmarks) software package., ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ПРОГРАММИРОВАНИЕ: НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ, Выпуск 4 2020

В работе представлены три итерационных алгоритма быстрого преобразования Фурье с прореживанием по времени, имеющие алгоритмическую сложность O (N·R·log2N), где R — частотное разрешение спектральной характеристики (отношение длины набора частот к длине N набора отсчетов исходного сигнала). Алгоритмы отличаются способами организации вычислений: некоторые используют обратную перестановку битов, другие — дополнительные массивы. Приведены подробные вычислительные графы, а также блок-схемы разработанных алгоритмов. Полученные результаты можно использовать для улучшения отечественной электроники и программного обеспечения, а также включать в учебный процесс при подготовке инженеров в области цифровой обработки сигналов., This paper presents three iterative algorithms for fast Fourier transform with decimation in time; these algorithms have the algorithmic complexity O (N·R·log2N), where R is the frequency resolution of the spectral characteristic (the ratio of the length of the frequency set to the length of the N set of samples of the source signal). The algorithms differ in the way they organize calculations: some use reverse bit permutation, while the others use additional arrays. Detailed computational graphs and flowcharts of the developed algorithms are provided. The results obtained can be used to improve domestic electronics and software as well as may be included in the training process for engineers in the field of digital signal processing., ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ПРОГРАММИРОВАНИЕ: НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ, Выпуск 2 2021

В статье рассматриваются результаты экспериментальной оценки производительности и энергоэффективности многоядерных процессоров MALT в задачах обработки изображений на примере фильтрации изображения с помощью оператора Собеля. Измерения осуществлялись с использованием низкоуровневого эмулятора MALTemu, прототипа процессора в ПЛИС и экспериментальной СБИС модели MALT-Cv2 Rev1. Полученные результаты сравниваются с аналогичными результатами для процессоров общего назначения (последовательная реализация) и графических процессоров с поддержкой технологии CUDA., In this paper we consider the experimental performance and energy efficiency evaluation in image processing tasks for the MALT manycore processors. The image filtering with the Sobel operator is used as an example. Measurements are conducted using the MALTemu low level emulator, an FPGA processor prototype and an experimental ASIC model MALT-Cv2 Rev1. The obtained results are compared with similar results for a general purpose CPU (sequential implementation) and a GPU with the CUDA technology support., ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ПРОГРАММИРОВАНИЕ: НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ, Выпуск 2 2020

Статья посвящена изучению нелинейных эффектов в динамике популяции промысловой рыбы пиленгас Азовского моря при низкой и высокой ее численности с учетом эффекта Олли, конкуренции за ресурсы, таксиса, вылова, пространственного распределения биогенных веществ и детрита на основе многовидовой модели взаимодействия планктона и рыб. Дискретный аналог разработанной модельной задачи водной экологии, входящей в состав программного комплекса, получен на основе схем второго порядка точности с учетом частичной заполненности расчетных ячеек. Возникающая в процессе дискретизации система сеточных уравнений большой размерности была решена на основе модифицированного попеременно-треугольного метода, имеющего наибольшую скорость сходимости при условии асимптотической устойчивости разностных схем для параболических уравнений, эффективность которого была улучшена на основе уточненных спектральных оценок. Разработка эффективных параллельных алгоритмов численной реализации поставленной задачи биологической кинетики, ориентированных на многопроцессорную вычислительную систему (МВС) и графический ускоритель NVIDIA Tesla K80 с модификацией формата хранения данных, позволила анализировать процессы воспроизводства популяций биогидроценоза в режиме реального и ускоренного времени., Paper covers the research of nonlinear effects in population dynamics of the pelengas commercial fish of the Azov Sea taking into account the Allee effect, competition for resources, taxis, catching, spatial distribution of biogenic matter and detritus based on a multi-species model of plankton and fish interaction. Discrete analogue of developed model problem of water ecology, included in a software complex, were calculated using schemes of second order of accuracy taking into account the partial filling of computational cells. The system of grid equations of large dimension, arising at discretization, has been solved on the basis of adaptive modified alternately triangual variational method. Effective parallel algorithms were developed for numerical implementation of biological kinetics problem and oriented on multiprocessor computer system and NVIDIA Tesla K80 graphics accelerator with the data storage format modification. Due to it, the reproduction processes of biogeocenose populations have been analyzed in real and accelerated time., ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ПРОГРАММИРОВАНИЕ: НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ, Выпуск 4 2020

В настоящее время проблема недостаточной эффективности работы суперкомпьютерных комплексов во многом связана с тем, что администраторы таких систем не всегда могут своевременно обнаруживать и устранять причины снижения эффективности. Это в большей степени касается не выхода из строя оборудования (такие случаи можно отслеживать с помощью систем мониторинга), а неявного снижения эффективности работы определенных компонентов суперкомпьютера при условии, что внешне они продолжают работать корректно. Возникновение подобной ситуации связано с тем, что на данный момент нет достаточно гибких и удобных средств для оперативного и комплексного анализа всех характеристик качества работы вычислительных систем. Существующие решения либо позволяют анализировать только небольшую часть таких характеристик, либо представляют собой не универсальные решения, удовлетворяющие только небольшой набор конкретных нужд администраторов определенной системы. В настоящей статье описывается системный подход к решению этого вопроса, который позволит проводить комплексный анализ различных аспектов работы суперкомпьютеров, связанных в первую очередь с выполнением суперкомпьютерных приложений. Разрабатываемый на основе этого подхода программный инструмент предназначен для сбора в рамках единой модели всех наиболее важных данных о свойствах и качестве выполняющихся на суперкомпьютере задач - данные об эффективности их выполнения, размере и длительности, наличии характерных или аномальных сценариев поведения, использовании прикладных пакетов и библиотек и др. С помощью гибких возможностей по агрегации будет задаваться нужная степень детализации, с какой необходимо предоставлять полученную информацию - по отдельным пользователям, проектам, прикладным пакетам, предметным областям, разделам суперкомпьютера, временным диапазонам и др. Это позволит создавать сотни и тысячи различных представлений для анализа состояния суперкомпьютера, что поможет администраторам выбирать наиболее подходящий для них вариант., Currently, the problem of low performance of supercomputer complexes is largely due to the fact that administrators of such complexes cannot always timely detect and eliminate the root causes of reduced efficiency. This largely concerns not the equipment failure (such cases can usually be detected using monitoring systems), but an implicit performance decrease of certain supercomputer components, provided that they seems to continue working correctly. Such a situation arises because there are no sufficiently flexible and convenient software tools for prompt and comprehensive analysis of all the performance quality characteristics of computer systems at the moment. The existing solutions either allow analyzing only a small part of such characteristics or are made as non-universal solutions that satisfy only a small set of specific needs provided by administrators of a particular system. This paper describes a systematic approach to solving this issue, which will allow one to perform a comprehensive analysis of various aspects of supercomputer functioning, primarily related to the execution of supercomputer applications. A software tool developed on the basis of this approach will collect, within a single model, all the most important data on the properties and quality of jobs running on the supercomputer - data on their execution performance, size and duration, presence of specific or abnormal behavior scenarios, the usage of application packages and libraries, etc. Using flexible aggregation capabilities, the required level of detail will be specified - individual users, projects, application packages, subject areas, supercomputer partitions, time ranges, etc. This will allow one to create hundreds and thousands of different views for analyzing the state of the supercomputer, which will help administrators to choose the most suitable option for them., ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ПРОГРАММИРОВАНИЕ: НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ, Выпуск 3 2019

Основной мотивацией для данной статьи послужила растущая популярность реконфигурируемых ПЛИС (программируемых логических интегральных схем) в области высокопроизводительных вычислений, а также необходимость исследовать особенности написания эффективных программ с использованием инструмента Altera SDK for OpenCL, позволяющего писать приложения для ПЛИС с помощью языка программирования Си++ и стандарта OpenCL. В статье рассмотрены особенности программной модели OpenCL и представлено исследование производительности и особенностей различных реализаций фильтра Собеля с использованием указанного инструмента., The main motivation is the growing popularity of reconfigurable FPGAs in the field of high-performance computing as well as the need to study the features of writing efficient software using the Altera SDK for OpenCL tool, which allows one to implement applications for FPGA using the C++ programming language and the OpenCL standard. The paper discusses the features of the OpenCL software model and presents a study of the performance and features of various Sobel filter implementations using the mentioned tool., ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ПРОГРАММИРОВАНИЕ: НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ, Выпуск 4 2018

Применение современных оптико-электронных приборов расширяет возможности исследований в области экспериментальной механики жидкостей. Методы вычислительной фотографии за счет использования основанных на ней устройств постепенно проникают в различные области науки и техники. Камера светового поля может использоваться для регистрации трехмерных распределений скорости в потоках жидкости и газа там, где расположение нескольких панорамных оптических сенсоров затруднено за счет ограничения оптического доступа и вибраций. В работе исследованы возможности пленоптической системы, состоящей из доступной на рынке промышленной камеры светового поля применительно для диагностики течений жидкости и газа. Предложен и протестирован новый программный алгоритм для вычисления карты глубины регистрируемой измерительной области. Согласно полученным результатам, пространственное разрешение метода по глубине при использовании 11 мегапиксельного сенсора достигает 1/40 от глубины резкости оптической системы. Указанный метод был использован для измерения 3D-полей скорости турбулентной струи внутри щелевого канала по всей его глубине. В будущем количество задач, в которых целесообразно использование пленоптических устройств с высоким пространственным разрешением, будет расти., Application of modern optoelectronic devices extends research in the field of experimental fluid mechanics. The methods of computational photography gradually penetrate into the various fields of science and technology due to using devices based on these methods. A light-field camera can be used to register a three-dimensional velocity distribution in fluid flows where the location of several panoramic optical sensors is difficult because of restrictions in an optical access and vibrations. in this paper we study the possibility of using a plenoptic system consisting of an industrial light-field camera to diagnose liquid and gas flows. A new software algorithm for computing a depth field of a measurement area is proposed. According to the obtained results, the spatial resolution of the method by depth reaches 1/40th of the depth of the field of the optical system when using 11 MP sensor. This method was used to measure 3D velocity fields of a turbulent jet inside a slot channel throughout its depth. In the future, the number of applications will grow for the cases where the use of plenoptic devices with high spatial resolution is appropriate., ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ПРОГРАММИРОВАНИЕ: НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ, Выпуск 3 2016

Статья посвящена проблемам построения перспективных реконфигурируемых вычислительных систем c жидкостным охлаждением для программируемых логических интегральных схем семейства Xilinx Virtex UltraScale. Рассматриваются архитектура, компоновка и сравнительные технические характеристики систем погружного жидкостного охлаждения. Приводятся результаты расчетов, макетирования и экспериментальной проверки основных технических решений созданного вычислительного модуля нового поколения для построения высокопроизводительных вычислительных систем с жидкостным охлаждением с производительностью 1 Пфлопс в стандартном вычислительном шкафу высотой 47U при потребляемой мощности 150 кВт. Реконфигурируемая вычислительная система с жидкостным охлаждением обеспечивает существенное преимущество по таким технико-экономическим параметрам, как реальная и удельная производительность, энергоэффективность, массогабаритные характеристики и другим по сравнению с аналогичными системами., The paper deals with problems of design of promising reconfigurable computer systems with liquid cooling for Xilinx Virtex UltraScale FPGAs. Architecture, placement and comparative technical parameters of systems with immersion liquid cooling are considered. Results of design, prototyping and experimental testing of the principal technical solutions of the designed computational module of the next generation are discussed. The computational module is intended for the creation of high-performance computer systems with liquid cooling with performance of 1 PFlops in a standard 47U computer rack with power of 150 kWatt. The reconfigurable computer system with liquid cooling provides considerable advantage in such technical and economical parameters as the real performance and the specific performance, power efficiency, mass and dimension parameters, etc. in comparison with similar systems., ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ПРОГРАММИРОВАНИЕ: НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ, Выпуск 1 2016

Представлены результаты экспериментов по добавлению биграмм в тематические модели и учету сходства между ними и униграммами. Предложен новый алгоритм PLSA-SIM, являющийся модификацией алгоритма построения тематических моделей PLSA (Probabilistic Latent Semantic Analysis). Предложенный алгоритм позволяет добавлять биграммы и учитывать сходство между ними и униграммными компонентами. Исследована возможность применения ассоциативных мер для выбора и последующего включения биграмм в тематические модели. В качестве текстовых коллекций взяты русскоязычная подборка статей из электронных банковских журналов, английские части корпусов параллельных текстов Europarl и JRC-Acquiz и англоязычный архив исследовательских работ по компьютерной лингвистике ACL Anthology. Выполненные эксперименты показывают, что существует подгруппа тестируемых мер, упорядочивающих биграммы таким образом, что при последующем их добавлении в предложенный алгоритм PLSA-SIM качество получающихся тематических моделей значительно повышается. Предложен новый итеративный алгоритм PLSA-ITER без учителя, позволяющий добавлять наиболее подходящие биграммы. Эксперименты показывают дальнейшее улучшение качества тематических моделей по сравнению с исходным алгоритмом PLSA., The results of experimental study of adding bigrams and taking account of the similarity between them and unigrams are discussed. A novel PLSA-SIM algorithm based on a modification of the original PLSA (Probabilistic Latent Semantic Analysis) algorithm is proposed. The proposed algorithm incorporates bigrams and takes into account the similarity between them and unigram components. Various word association measures are analyzed to integrate top-ranked bigrams into topic models. As target text collections, articles from various Russian electronic banking magazines, English parts of parallel corpora Europarl and JRC-Acquiz, and the English digital archive of research papers in computational linguistics (ACL Anthology) are chosen. The computational experiments show that there exists a subgroup of tested measures that produce top-ranked bigrams in such a way that their inclusion into the PLSA-SIM algorithm significantly improves the quality of topic models for all collections. A novel unsupervised iterative algorithm named PLSA-ITER is also proposed for adding the most relevant bigrams. The computational experiments show a further improvement in the quality of topic models compared to the PLSA algorithm., ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ПРОГРАММИРОВАНИЕ: НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ, Выпуск 2 2015