Разреженная матрица

редактировать
Пример разреженной матрицы
(11 22 0 0 0 0 0 0 33 44 0 0 0 0 0 0 55 66 77 0 0 0 0 0 0 0 88 0 0 0 0 0 0 0 99) {\ displaystyle \ left ({\ begin {smallmatrix} 11 22 0 0 0 0 0 \\ 0 33 44 0 0 0 0 \\ 0 0 55 66 77 0 0 \\ 0 0 0 0 0\ 0 88 0 0 0 0 0 0 0 \ end 0 0 0 0 0 \ end \ right)}\left({\begin{smallmatrix}112200000\\033440000\\0055667700\\00000880\\00000099\\\end{smallmatrix}}\right)
Вышеупомянутая разреженная матрица содержит только 9 ненулевых элементов с 26 нулевыми элементами. Его разреженность составляет 74%, а плотность - 26%.
Разреженная матрица, полученная при решении задачи конечных элементов в двух измерениях. Ненулевые элементы показаны черным.

В численном анализе и научных вычислениях, разреженная матрица или разреженный массив представляет собой матрицу , в которой большинство элементов равны нулю. Не существует строгого определения того, сколько элементов должно быть нулевым, чтобы матрица считалась разреженной, но общий критерий состоит в том, что количество ненулевых элементов примерно равно количеству строк или столбцов. Напротив, если большинство элементов отличны от нуля, матрица считается плотной . Количество элементов с нулевым знаком, деленное на общее количество элементов (например, m × n для матрицы m × n), иногда называют разреженностью матрицы.

Концептуально разреженность соответствует системам с небольшим количеством парных взаимодействий. Например, рассмотрим линию шаров, соединенных пружинами от одного к другому: это разреженная система, поскольку связаны только соседние шары. Напротив, если бы одна и та же линия шаров имела пружины, соединяющие каждый шар со всеми другими шарами, система соответствовала бы плотной матрице. Концепция разреженности полезна в комбинаторике и таких прикладных областях, как теория сетей и численный анализ, которые обычно имеют низкую плотность важных данных или соединений. Большие разреженные матрицы часто появляются в научных или инженерных приложениях при решении уравнений в частных производных.

. При хранении разреженных матриц и манипулировании ими на компьютере это Полезно и часто необходимо использовать специализированные алгоритмы и структуры данных, которые используют разреженную структуру матрицы. Специализированные компьютеры были созданы для разреженных матриц, поскольку они распространены в области машинного обучения. Операции с использованием стандартных структур и алгоритмов с плотной матрицей медленны и неэффективны при применении к большим разреженным матрицам, поскольку обработка и память тратятся на нули. Разреженные данные по своей природе легче сжимать и, следовательно, требуют значительно меньше памяти. Некоторыми очень большими разреженными матрицами невозможно манипулировать с помощью стандартных алгоритмов плотных матриц.

Содержание
  • 1 Сохранение разреженной матрицы
    • 1.1 Словарь ключей (DOK)
    • 1.2 Список списков (LIL)
    • 1.3 Список координат (COO)
    • 1.4 Сжатая разреженная строка (CSR, Формат CRS или Yale)
    • 1.5 Сжатый разреженный столбец (CSC или CCS)
  • 2 Специальная структура
    • 2.1 С полосами
    • 2.2 Диагональ
    • 2.3 Симметричная
    • 2.4 Диагональ блока
  • 3 Уменьшение fill-in
  • 4 Решение уравнений с разреженными матрицами
  • 5 Программное обеспечение
  • 6 История
  • 7 См. также
  • 8 Примечания
  • 9 Ссылки
  • 10 Дополнительная литература
Сохранение разреженной матрицы

Матрица обычно хранится как двумерный массив. Каждая запись в массиве представляет собой элемент a i, j матрицы, и к нему обращаются два индекса i и j. Обычно i - это индекс строки, пронумерованный сверху вниз, а j - индекс столбца, пронумерованный слева направо. Для матрицы размера m × n объем памяти, необходимый для хранения матрицы в этом формате, пропорционален m × n (без учета того факта, что размеры матрицы также должны быть сохранены).

В случае разреженной матрицы существенное сокращение требований к памяти может быть реализовано путем сохранения только ненулевых элементов. В зависимости от количества и распределения ненулевых записей могут использоваться разные структуры данных, что дает огромную экономию памяти по сравнению с базовым подходом. Компромисс заключается в том, что доступ к отдельным элементам становится более сложным и необходимы дополнительные структуры, чтобы иметь возможность однозначно восстановить исходную матрицу.

Форматы можно разделить на две группы:

  • Форматы, поддерживающие эффективную модификацию, например DOK (Словарь ключей), LIL (Список списков) или COO (Список координат). Обычно они используются для построения матриц.
  • Те, которые поддерживают эффективный доступ и операции с матрицами, такие как CSR (сжатая разреженная строка) или CSC (сжатый разреженный столбец).

Словарь ключей (DOK)

DOK состоит из словаря, который отображает (строка, столбец) - пары на значения элементов. Элементы, отсутствующие в словаре, считаются равными нулю. Формат хорош для пошагового построения разреженной матрицы в случайном порядке, но плохой для итерации ненулевых значений в лексикографическом порядке. Обычно матрица создается в этом формате, а затем преобразуется в другой, более эффективный формат для обработки.

Список списков (LIL)

LIL хранит по одному списку на строку, причем каждая запись содержит столбец индекс и значение. Обычно эти записи отсортированы по индексу столбца для более быстрого поиска. Это еще один формат, подходящий для построения инкрементальной матрицы.

Список координат (COO)

COO хранит список кортежей (строка, столбец, значение). В идеале записи сортируются сначала по индексу строки, а затем по индексу столбца, чтобы сократить время произвольного доступа. Это еще один формат, который подходит для построения инкрементной матрицы.

Сжатая разреженная строка (формат CSR, CRS или Йельского университета)

Сжатая разреженная строка (CSR) или сжатое хранилище строк (CRS) или Йельский формат представляет собой матрицу M тремя (одномерными) массивами, которые соответственно содержат ненулевые значения, экстенты строк и индексы столбцов. Он похож на COO, но сжимает индексы строк, отсюда и название. Этот формат обеспечивает быстрый доступ к строке и умножение матрицы на вектор (M x). Формат CSR используется по крайней мере с середины 1960-х годов, первое полное описание появилось в 1967 году.

Формат CSR хранит разреженную матрицу m × n M в виде строки с использованием трех (одномерных) массивов (V, COL_INDEX, ROW_INDEX). Пусть NNZ обозначает количество ненулевых записей в M . (Обратите внимание, что здесь должны использоваться отсчитываемые от нуля индексы.)

  • Массивы V и COL_INDEX имеют длину NNZ и содержат ненулевые значения и индексы столбцов этих значений соответственно.
  • Массив ROW_INDEX имеет по одному элементу на строку в матрице и кодирует индекс в V, с которого начинается данная строка. (Он может содержать дополнительный конечный элемент, для которого установлено значение NNZ).

Например, матрица

(0 0 0 0 5 8 0 0 0 0 3 0 0 6 0 0) {\ displaystyle {\ begin {pmatrix} 0 0 0 0 \\ 5 8 0 0 \\ 0 0 3 0 \\ 0 6 0 0 \\\ end {pmatrix}}}{ \ begin {pmatrix} 0 0 0 0 \\ 5 8 0 0 \\ 0 0 3 0 \\ 0 6 0 0 \\\ end {pmatrix}}

- это матрица 4 × 4 с 4 ненулевыми элементами, поэтому

V = [5 8 3 6 ] COL_INDEX = [0 1 2 1] ROW_INDEX = [0 0 2 3 4]

при условии, что язык с нулевым индексом.

Чтобы извлечь строку, мы сначала определяем:

row_start = ROW_INDEX [row] row_end = ROW_INDEX [row + 1]

Затем мы берем срезы из V и COL_INDEX, начиная с в row_start и заканчивая row_end.

Чтобы извлечь строку 1 (вторая строка) этой матрицы, мы устанавливаем row_start = 0и row_end = 2. Затем мы делаем срезы V [0: 2] = [5, 8]и COL_INDEX [0: 2] = [0, 1]. Теперь мы знаем, что в строке 1 у нас есть два элемента в столбцах 0 и 1 со значениями 5 и 8.

В этом случае представление CSR содержит 13 элементов по сравнению с 16 в исходной матрице. Формат CSR сохраняет память только тогда, когда NNZ < (m (n − 1) − 1) / 2. Another example, the matrix

(10 20 0 0 0 0 0 30 0 40 0 ​​0 0 0 50 60 70 0 0 0 0 0 0 80) {\ displaystyle {\ begin {pmatrix} 10 20 0 0 0 0 \\ 0 30 0 40 0 0 \\ 0 0 50 60 70 0 \\ 0 0 0 0 0 80 \\\ end {pmatrix}}}{\ begin {pmatrix} 10 20 0 0 0 0 \\ 0 30 0 0 amp; pmatrix}}

- это матрица 4 × 6 (24 элемента) с 8 ненулевыми элементами, поэтому

V = [10 20 30 40 50 60 70 80] COL_INDEX = [0 1 1 3 2 3 4 5] ROW_INDEX = [0 2 4 7 8]

. Всего сохраняется как 21 запись.

  • ROW_INDEX разбивает массив V на строки: (10, 20) (30, 40) (50, 60, 70) (80);
  • COL_INDEX выравнивает значения в столбцах: (10, 20,...) (0, 30, 0, 40,...) (0, 0, 50, 60, 70, 0) (0, 0, 0, 0, 0, 80).

Обратите внимание, что в В этом формате первое значение ROW_INDEX всегда равно нулю, а последнее - всегда NNZ, поэтому они в некотором смысле избыточны (хотя в языках программирования, где длина массива должна быть явно сохранена, NNZ не будет избыточным). Тем не менее, это позволяет избежать необходимости обрабатывать исключительный случай при вычислении длины каждой строки, поскольку это гарантирует, что формула ROW_INDEX [i + 1] - ROW_INDEX [i] работает для любой строки i. Более того, стоимость памяти этого избыточного хранилища, вероятно, незначительна для достаточно большой матрицы.

(старый и новый) форматы разреженных матриц Йельского университета являются экземплярами схемы CSR. Старый формат Йельского университета работает точно так же, как описано выше, с тремя массивами; новый формат объединяет ROW_INDEX и COL_INDEX в один массив и обрабатывает диагональ матрицы отдельно.

Для логических матриц смежности массив данных можно опустить, поскольку наличие записи в массиве строк достаточно для моделирования двоичного отношения смежности.

Вероятно, он известен как формат Йельского университета, потому что он был предложен в отчете о пакете разреженных матриц Йельского университета 1977 г., подготовленном факультетом компьютерных наук Йельского университета.

Сжатый разреженный столбец (CSC или CCS)

CSC аналогичен CSR, за исключением того, что значения считываются сначала по столбцу, индекс строки сохраняется для каждого значения, а указатели столбцов сохраняются. Например, CSC - это (val, row_ind, col_ptr), где val - это массив ненулевых значений матрицы (сверху вниз, затем слева направо); row_ind - это индексы строк, соответствующие значениям; и col_ptr - это список индексов val, с которых начинается каждый столбец. Название основано на том факте, что информация индекса столбца сжимается относительно формата COO. Обычно для построения используется другой формат (LIL, DOK, COO). Этот формат эффективен для арифметических операций, разделения столбцов и произведений матрица-вектор. См. scipy.sparse.csc_matrix. Это традиционный формат для указания разреженной матрицы в MATLAB (через функцию sparse ).

Специальная структура

с полосами

Важным специальным типом разреженных матриц является матрица с полосами, определяемая следующим образом. Нижняя полоса матрицы A- это наименьшее число p, такое что запись a i, j исчезает всякий раз, когда i>j + p. Аналогично, верхняя полоса пропускания - это наименьшее число p, такое что a i, j = 0 всякий раз, когда i < j − p (Golub Van Loan 1996, §1.2.1). Например, трехдиагональная матрица имеет нижнюю полосу пропускания 1 и верхнюю полосу пропускания 1. В качестве другого примера следующая разреженная матрица имеет нижнюю и верхнюю полосы пропускания, равные 3. Обратите внимание, что для ясности нули представлены точками.

(XXX ⋅ ⋅ ⋅ ⋅ XX ⋅ XX ⋅ ⋅ X ⋅ X ⋅ X ⋅ ⋅ ⋅ X ⋅ X ⋅ X ⋅ ⋅ XX ⋅ XXX ⋅ ⋅ ⋅ XXX ⋅ ⋅ ⋅ X ⋅ X) {\ displaystyle \ left ({\ begin {smallmatrix} X X X \ cdot \ cdot \ cdot \ cdot \\ X X \ cdot X X \ cdot \ cdot \\ X \ cdot X \ cdot X \ cdot \ cdot \\\ cdot X \ cdot X \ cdot X \ cdot \\\ cdot X X \ cdot X X X \\\ cdot \ cdot \ cdot X X X \ cdot \\\ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \\\ end {smallmatrix}} \ right)}\left({\begin{smallmatrix}XXX\cdot \cdot \cdot \cdot \\XX\cdot XX\cdot \cdot \\X\cdot X\cdot X\cdot \cdot \\\cdot X\cdot X\cdot X\cdot \\\cdot XX\cdot XXX\\\cdot \cdot \cdot XXX\cdot \\\cdot \cdot \cdot \cdot X\cdot X\\\end{smallmatrix}}\right)

Матрицы с достаточно малой верхней и нижней полосой пропускания известны как матрицы каналов и часто поддаются более простым алгоритмам, чем обычные разреженные матрицы; или иногда можно применить алгоритмы плотной матрицы и повысить эффективность, просто перебирая уменьшенное количество индексов.

Посредством переупорядочивания строк и столбцов матрицы A можно получить матрицу A 'с меньшей полосой пропускания. Для минимизации полосы пропускания разработан ряд алгоритмов.

Диагональ

Очень эффективная структура для крайнего случая полосовых матриц, диагональная матрица, заключается в хранении только записей в главной диагонали как одномерный массив, поэтому для диагональной матрицы размера n × n требуется только n элементов.

Симметричная

Симметричная разреженная матрица возникает как матрица смежности неориентированного графа ; его можно эффективно сохранить как список смежности.

Диагональ блока

A , блочно-диагональная матрица состоит из подматриц вдоль своих диагональных блоков. Блочно-диагональная матрица A имеет вид

A = [A 1 0 ⋯ 0 0 A 2 ⋯ 0 ⋮ ⋮ ⋮ 0 0 ⋯ A n], {\ displaystyle \ mathbf {A} = {\ begin {bmatrix} \ mathbf {A} _ {1} 0 \ cdots 0 \\ 0 \ mathbf {A} _ {2} \ cdots 0 \\\ vdots \ vdots \ ddots \ vdots \ \ 0 0 \ cdots \ mathbf {A} _ {n} \ end {bmatrix}},}{\ displaystyle \ mathbf {A} = {\ begin {bmatrix} \ mathbf {A} _ {1} 0 \ cdots 0 \\ 0 \ mathbf {A} _ {2} \ cdots 0 \\\ vdots \ vdots \ ddots \ vdots \\ 0 0 \ cdots \ mathbf {A} _ {n} \ end {bmatrix}},}

где Ak- квадратная матрица для всех k = 1,..., n.

Уменьшение заполнения

Заполнение матрицы - это те элементы, которые изменяются с начального нуля на ненулевое значение во время выполнения алгоритма. Чтобы уменьшить требования к памяти и количество арифметических операций, используемых во время алгоритма, полезно минимизировать заполнение путем переключения строк и столбцов в матрице. символическое разложение Холецкого можно использовать для вычисления наихудшего возможного заполнения перед выполнением фактического разложения Холецкого.

. Существуют и другие методы, кроме разложения Холецкого. Методы ортогонализации (такие как QR-факторизация) распространены, например, при решении задач методом наименьших квадратов. Хотя теоретическая подстановка остается прежней, с практической точки зрения «ложные ненулевые значения» могут быть разными для разных методов. И символические версии этих алгоритмов могут использоваться таким же образом, как и символические версии Холецкого, для вычисления заполнения наихудшего случая.

Решение уравнений с разреженными матрицами

Для решения разреженных матриц существуют как итерационные, так и прямые методы.

Итерационные методы, такие как метод сопряженного градиента и GMRES, используют быстрые вычисления произведений матрица-вектор A xi {\ displaystyle Ax_ {i}}Ax_ {i} , где матрица A {\ displaystyle A}A является разреженной. Использование предобуславливателей может значительно ускорить сходимость таких итерационных методов.

Программное обеспечение

Многие программные библиотеки поддерживают разреженные матрицы и предоставляют средства решения для разреженных матричных уравнений. Следующие компоненты имеют открытый исходный код:

  • SuiteSparse, набор алгоритмов разреженных матриц, ориентированных на прямое решение разреженных линейных систем.
  • PETSc, большая библиотека C, содержащая множество различных решателей матриц для различных форматов хранения матриц.
  • Trilinos, большая библиотека C ++ с подбиблиотеками, предназначенными для хранения плотных и разреженных матриц и решения соответствующих линейных систем.
  • Eigen3 - это Библиотека C ++, содержащая несколько решателей разреженных матриц. Однако ни один из них не является параллельным.
  • MUMPS (MUltifrontal M в целом P параллельным разреженным прямым S olver), написанным на Fortran90, - это фронтальный решатель.
  • DUNE, библиотека конечных элементов, которая также имеет подбиблиотеку для разреженных линейных систем и их решения.
  • PaStix.
  • SuperLU.
  • Armadillo предоставляет удобная оболочка C ++ для BLAS и LAPACK.
  • SciPy обеспечивает поддержку нескольких форматов разреженных матриц, линейной алгебры и решателей.
  • SPArse Matrix (спам) Пакет R для разреженных матриц. 302>Wolfram Language Обработка разреженных массивов с буквально астрономическим числом элементов.
  • ALGLIB - это библиотека C ++ и C # с поддержкой разреженной линейной алгебры
  • ARPACK Библиотека Fortran 77 для диагонализации разреженных матриц и манипуляции с использованием алгоритма Арнольди
  • SPARSE Справочный (старый) Пакет NIST для диагонализации (реальной или сложной) разреженной матрицы
  • SLEPc Библиотека для решения крупномасштабных линейных s системы и разреженные матрицы
  • Sympiler, генератор кода для конкретной предметной области и библиотека для решения линейных систем и задач квадратичного программирования.
История

Термин разреженная матрица, возможно, был придуман Гарри Марковиц, который инициировал некоторые новаторские работы, но затем покинул поле.

См. Также
Примечания
Ссылки
  • Голуб, Джин Х. ; Ван Лоан, Чарльз Ф. (1996). Матричные вычисления (3-е изд.). Балтимор: Джонс Хопкинс. ISBN 978-0-8018-5414-9. CS1 maint: ref = harv (ссылка )
  • Stoer, Josef; Bulirsch, Roland (2002). Введение в численный анализ (3-е изд.). Берлин, Нью-Йорк: Springer-Verlag. ISBN 978-0-387-95452-3.
  • Тьюарсон, Реджинальд П. (май 1973 г.). Разреженные матрицы (часть серии «Математика в науке и технике»). Academic Press Inc. (Эта книга, написанная профессором Государственного университета Нью-Йорка в Stony Book, была первой книгой, посвященной исключительно разреженным матрицам. В начале 1980-х в этом университете были предложены курсы для аспирантов, использующие эту книгу в качестве учебника. (PDF).
  • Писсанецки, Серджио (1984). Технология разреженных матриц. Academic Press.
  • Сней, Ричард А. (1976). «Уменьшение профиля разреженных симметричных матрицы ». Bulletin Géodésique. 50 (4): 341. doi : 10.1007 / BF02521587. hdl : 2027 / uc1.3121002 4848523.Также Технический меморандум NOAA NOS NGS-4, Национальная геодезическая служба, Роквилл, Мэриленд.
Дополнительная литература
Последняя правка сделана 2021-06-09 01:46:52
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте