Analysis and optimization of a $k$-chain reduction algorithm for distributed computer systems

В модели параллельных вычислений LogP построено аналитическое выражение времени выполнения алгоритма $k$ параллельных цепочек для реализации корневой редукции на распределенных вычислительных системах (ВС). По построенной функциональной зависимости найдено оптимальное значение числа $k$ параллельных цепочек, при котором алгоритм характеризуется минимальным в модели LogP временем выполнения. На основе этого создан алгоритм с оптимальным числом параллельных цепочек. Для сокращения времени ожидания корневым процессом результатов частичных редукций разработан алгоритм с адаптивным числом параллельных цепочек. Зависимость времени выполнения созданных алгоритмов от числа процессов имеет порядок роста $O(\sqrt{P})$, что эффективнее по сравнению с линейным $\Omega(P)$ временем выполнения исходного алгоритма. Алгоритмы реализованы в стандарте MPI и исследованы на вычислительных кластерах с сетями связи стандарта InfiniBand QDR. In the LogP model of parallel computing, an analytical expression of the $k$-chain algorithm's execution time is derived. The optimal value of $k$ in the LogP model is found. A new algorithm based on the optimal value of $k$ is developed. For the reduction of root process's waiting time, an algorithm with an adaptive number of chains is proposed. The dependence of the execution time of the proposed algorithm on the number of processes has a growth rate of O(sqrt(P)), which is more efficient compared to the linear running time of the original $k$-chain algorithm. The proposed algorithms are implemented in the MPI standard and studied on computer clusters with InfiniBand QDR networks.