Войти
В компьютерной памяти, фрагментация - это явление, при котором пространство для хранения используется неэффективно, что снижает емкость или производительность, а часто и то и другое. Точные последствия фрагментации зависят от конкретной системы распределения памяти при использовании и конкретной формы фрагментации. Во многих случаях фрагментация приводит к «потере» дискового пространства, и в этом случае термин также относится к самому потраченному впустую пространству. Для других систем (например, файловой системы FAT ) пространство, используемое для хранения заданных данных (например, файлов), одинаково независимо от степени фрагментации (от нулевой до крайней).
Существует три различных, но связанных формы фрагментации: внешняя фрагментация, внутренняя фрагментация и фрагментация данных, которые могут присутствовать изолированно или вместе. Фрагментация часто принимается в обмен на повышение скорости или простоты. Аналогичные явления происходят и с другими ресурсами, такими как процессоры; увидеть ниже.
Когда компьютерная программа запрашивает блоки памяти у компьютерной системы, блоки распределяются по кускам. Когда компьютерная программа завершает работу с фрагментом, она может освободить его обратно в систему, сделав его доступным для последующего повторного выделения другой или той же программе. Размер и время, в течение которого фрагмент удерживается программой, различаются. В течение своей жизни компьютерная программа может запрашивать и освобождать множество фрагментов памяти.
Когда программа запускается, области свободной памяти длинные и непрерывные. Со временем и по мере использования длинные смежные области становятся фрагментированными на все меньшие и меньшие смежные области. В конце концов, для программы может стать невозможным получение больших непрерывных участков памяти.
Из-за правил, регулирующих выделение памяти, иногда выделяется больше компьютерной памяти, чем требуется. Например, память может быть предоставлена программам только частями (кратными 4), и в результате, если программа запрашивает, возможно, 29 байтов, она фактически получит фрагмент размером 32 байта. Когда это происходит, лишняя память тратится зря. В этом случае неиспользуемая память содержится в выделенной области. Такая организация, называемая фиксированными разделами, страдает неэффективным использованием памяти - любой процесс, независимо от его размера, занимает целый раздел. Эти отходы называются внутренней фрагментацией .
В отличие от других типов фрагментации, внутреннюю фрагментацию трудно восстановить; обычно лучший способ удалить это изменение дизайна. Например, в распределении динамической памяти, пулы памяти резко сокращают внутреннюю фрагментацию, распределяя накладные расходы на пространство между большим количеством объектов.
Внешняя фрагментация возникает, когда свободная память разделяется на небольшие блоки и перемежается выделенной памятью. Это слабое место некоторых алгоритмов распределения памяти, когда они не могут эффективно упорядочить память, используемую программами. В результате, хотя доступно бесплатное хранилище, оно фактически непригодно для использования, потому что оно разделено на части, которые по отдельности слишком малы, чтобы удовлетворить потребности приложения. Термин «внешний» относится к тому факту, что неиспользуемое хранилище находится за пределами выделенных регионов.
Например, рассмотрим ситуацию, когда программа выделяет три непрерывных блока памяти, а затем освобождает средний блок. Распределитель памяти может использовать этот свободный блок памяти для будущих распределений. Однако он не может использовать этот блок, если размер выделяемой памяти превышает размер этого свободного блока.
Внешняя фрагментация также происходит в файловых системах, поскольку создается много файлов разного размера, изменяется размер и удаляется. Эффект еще хуже, если файл, который разделен на множество мелких частей, будет удален, потому что при этом остаются такие же небольшие области свободного пространства.
| 0x0000 | 0x1000 | 0x2000 | 0x3000 | 0x4000 | 0x5000 | Комментарии |
|---|---|---|---|---|---|---|
| Старт со всей доступной памятью для хранения. | ||||||
| A | B | C | Выделено три блока A, B и C размером 0x1000. | |||
| A | C | Освобожденный блок B. Обратите внимание, что память, которую использовала B, не может быть включена для блока, размер которого превышает размер B. | ||||
| A | C | Блок C перемещен в пустой слот блока B, что позволяет использовать оставшееся пространство для более крупного блока размером 0x4000. |
Фрагментация данных происходит, когда набор данных в памяти разбивается на множество частей, которые не расположены близко друг к другу. Обычно это результат попытки вставить в хранилище большой объект, который уже подвергся внешней фрагментации.
Например, файлы в файловой системе обычно управляются в единицах, называемых блоками или кластерами. При создании файловой системы появляется свободное место для хранения файловых блоков вместе непрерывно. Это обеспечивает быстрое последовательное чтение и запись файлов. Однако по мере добавления, удаления и изменения размера файлов свободное пространство становится фрагментированным извне, оставляя только небольшие дыры для размещения новых данных. Когда записывается новый файл или когда существующий файл расширяется, операционная система помещает новые данные в новые несмежные блоки данных, чтобы они помещались в доступные дыры. Новые блоки данных обязательно разбросаны, что замедляет доступ из-за времени поиска и задержки вращения головки чтения / записи и вызывает дополнительные накладные расходы для управления дополнительными местоположениями. Это называется фрагментацией файловой системы.
. При записи нового файла известного размера, если есть какие-либо пустые дыры, которые больше, чем этот файл, операционная система может избежать фрагментации данных, поместив файл в любой из эти дыры. Существует множество алгоритмов выбора, в какую из этих потенциальных дыр поместить файл; каждый из них является эвристическим приближенным решением проблемы упаковки контейнеров. Алгоритм «наилучшего соответствия» выбирает наименьшее отверстие достаточно большого размера. Алгоритм «наихудшего соответствия» выбирает самую большую дыру. Алгоритм «первого соответствия » выбирает первое достаточно большое отверстие. Алгоритм "следующего соответствия" отслеживает, где был записан каждый файл. Алгоритм «следующего соответствия» быстрее, чем «первый подбор», который, в свою очередь, быстрее, чем «наилучший подбор», который соответствует скорости «наихудшего соответствия».
Так же, как уплотнение может устранить внешнюю фрагментацию, фрагментацию данных можно устранить, переставив хранилище данных таким образом, чтобы связанные части располагались близко друг к другу. Например, основная задача инструмента дефрагментации - переупорядочить блоки на диске так, чтобы блоки каждого файла были смежными. Большинство утилит дефрагментации также пытаются уменьшить или устранить фрагментацию свободного пространства. Некоторые перемещаемые сборщики мусора, утилиты, выполняющие автоматическое управление памятью, также перемещают связанные объекты близко друг к другу (это называется сжатием) для повышения производительности кеша.
Существует четыре типа систем, в которых никогда не происходит фрагментация данных - они всегда хранят все файлы непрерывно. Все четыре типа имеют существенные недостатки по сравнению с системами, допускающими хотя бы некоторую временную фрагментацию данных:
По сравнению с внешней фрагментацией, накладные расходы и внутренняя фрагментация приводят к незначительным потерям с точки зрения потери памяти и снижения производительности. Он определяется как:
Фрагментация 0% означает, что вся свободная память находится в одном большом блоке; фрагментация составляет 90% (например), когда имеется 100 МБ свободной памяти, но самый большой свободный блок памяти для хранения составляет всего 10 МБ.
Внешняя фрагментация, как правило, представляет меньшую проблему в файловых системах, чем в системах хранения первичной памяти (ОЗУ), потому что программы обычно требуют, чтобы их запросы к хранению ОЗУ выполнялись с помощью смежных блоков, но файловые системы обычно предназначены для иметь возможность использовать любую коллекцию доступных блоков (фрагментов) для сборки файла, который логически выглядит непрерывным. Следовательно, если сильно фрагментированный файл или много небольших файлов удаляются из полного тома, а затем создается новый файл с размером, равным только что освобожденному пространству, новый файл просто повторно использует те же фрагменты, которые были освобождены в результате удаления. Если был удален один файл, новый файл будет таким же фрагментированным, как и старый, но в любом случае не будет препятствий для использования всего (сильно фрагментированного) свободного пространства для создания нового файла. В ОЗУ, с другой стороны, используемые системы хранения часто не могут собрать большой блок для удовлетворения запроса из небольших несмежных свободных блоков, и поэтому запрос не может быть выполнен, и программа не может продолжить выполнение того, для чего требуется эта память (если он может повторно отправить запрос как несколько небольших отдельных запросов).
Наиболее серьезная проблема, вызванная фрагментацией, вызывает сбой процесса или системы из-за преждевременного исчерпания ресурсов: если необходимо сохранить непрерывный блок и не может быть сохранен, происходит сбой. Фрагментация вызывает это, даже если ресурса достаточно, но не непрерывно. Например, если компьютер имеет 4 ГиБ памяти и 2 ГиБ свободно, но память фрагментирована в чередующейся последовательности: 1 МиБ используется, 1 МиБ свободно, то запрос на 1 непрерывный ГиБ памяти не может быть удовлетворен, даже если 2 Всего ГиБ бесплатно.
Чтобы избежать этого, распределитель может вместо сбоя запустить дефрагментацию (или цикл уплотнения памяти) или другое восстановление ресурсов, например, основной цикл сборки мусора, в надежде, что это будет в состоянии удовлетворить запрос. Это позволяет процессу продолжаться, но может серьезно повлиять на производительность.
Фрагментация вызывает снижение производительности по ряду причин. По сути, фрагментация увеличивает объем работы, необходимой для выделения ресурса и доступа к нему. Например, на жестком диске или ленточном накопителе последовательное чтение данных происходит очень быстро, но поиск другого адреса происходит медленно, поэтому чтение или запись фрагментированного файла требует многочисленных поисков и, следовательно, намного медленнее, в дополнение к большему износу. Устройство. Кроме того, если ресурс не фрагментирован, запросы на выделение могут быть просто удовлетворены путем возврата одного блока из начала свободной области. Несмотря на то, что он фрагментирован, запрос требует либо поиска достаточно большого свободного блока, что может занять много времени, либо выполнения запроса несколькими меньшими блоками (если это возможно), что приводит к фрагментации этого распределения и требует дополнительных накладные расходы на управление несколькими частями.
Более тонкая проблема заключается в том, что фрагментация может преждевременно исчерпать кэш, вызывая перегрузку из-за кеширования блоков, а не отдельных данных. Например, предположим, что программа имеет рабочий набор размером 256 КиБ и работает на компьютере с кеш-памятью 256 КБ (скажем, инструкция L2 + кэш данных), поэтому весь рабочий набор помещается в кэш и, следовательно, выполняется быстро, по крайней мере, с точки зрения попаданий в кеш. Предположим далее, что у него есть 64 записи резервного буфера (TLB) трансляции, каждая для страницы 4 KiB : каждый доступ к памяти требует преобразования из виртуального в физический, что быстро, если страница находится в кеше (здесь TLB). Если рабочий набор не фрагментирован, то он уместится ровно на 64 страницы (рабочий набор страниц будет составлять 64 страницы), и все операции поиска в памяти могут выполняться из кеша. Однако, если рабочий набор фрагментирован, он не уместится на 64 страницы, и выполнение будет замедляться из-за перебоев: страницы будут повторно добавляться и удаляться из TLB во время работы. Таким образом, при определении размера кэша при проектировании системы необходимо учитывать запас для учета фрагментации.
Фрагментация памяти - одна из самых серьезных проблем, с которыми сталкиваются системные менеджеры . Со временем это приводит к снижению производительности системы. В конечном итоге фрагментация памяти может привести к полной потере (доступной для использования приложением) свободной памяти.
Фрагментация памяти - это проблема уровня ядра программирования. Во время вычислений в реальном времени приложений уровень фрагментации может достигать 99% и может приводить к сбоям системы или другой нестабильности. Такого типа системного сбоя может быть трудно избежать, так как невозможно предвидеть критический рост уровней фрагментации памяти. Однако, хотя в случае чрезмерной фрагментации памяти для системы может быть невозможно продолжить выполнение всех программ, хорошо спроектированная система должна иметь возможность восстанавливаться из критического состояния фрагментации путем перемещения некоторых блоков памяти, используемых самой системой. чтобы обеспечить возможность объединения свободной памяти в меньшее количество блоков большего размера или, в худшем случае, путем завершения некоторых программ для освобождения их памяти и последующей дефрагментации итоговой общей суммы свободной памяти. Это, по крайней мере, предотвратит настоящий сбой в смысле сбоя системы и позволит системе продолжить выполнение некоторых программ, сохранить данные программ и т. Д. Также важно отметить, что фрагментация - это феномен проектирования системного программного обеспечения; различное программное обеспечение будет подвержено фрагментации в разной степени, и можно спроектировать систему, которая никогда не будет принудительно завершать или прекращать процессы в результате фрагментации памяти.
В то время как фрагментация наиболее известна как проблема выделения памяти, аналогичные явления происходят для других ресурсов, особенно процессоров. Например, в системе, которая использует разделение времени для вытесняющей многозадачности, но не проверяет, заблокирован ли процесс, процесс, который выполняется в течение части своего времени slice, но затем блокируется и не может продолжаться до конца своего временного интервала, тратит время из-за возникающей внутренней фрагментации временных интервалов. Более того, разделение времени само по себе вызывает внешнюю фрагментацию процессов из-за их выполнения во фрагментированных временных срезах, а не в одном непрерывном запуске. Итоговая стоимость переключения процессов и увеличение из-за нескольких процессов, использующих одни и те же кеши, могут привести к снижению производительности.
В параллельных системах, в частности распределенных системах, когда группа процессов должна взаимодействовать для выполнения, если процессы запланированы в разное время или на разных машинах (фрагментированные по времени или машинам) время, затрачиваемое на ожидание друг друга или на общение друг с другом, может серьезно снизить производительность. Вместо этого высокопроизводительные системы требуют планирования группы.
Некоторые файловые системы на флэш-памяти имеют несколько различных видов внутренней фрагментации, включая «мертвое пространство» и «темное пространство»..
