ext4 - ext4

ext4

Разработчик (и)	Мингмин Цао, Андреас Дилгер, Алекс Журавлев (Томас), Дэйв Клейкамп, Теодор Ц'о, Эрик Сандин, Сэм Нагшинех и другие
Полное имя	Четвертая расширенная файловая система
Представлена ​​	Стабильная: 21 октября 2008 г. Нестабильная : 10 октября 2006 г. с Linux 2.6.28, 2.6.19
Идентификатор раздела	0x83: MBR / EBR.. EBD0A0A2-B9E5-4433-87C0-68B6B72699C7: GPT Windows BDP.. 0FC63DAF-8483-4772-8E79-3D69D8477DE4: GPT Данные файловой системы Linux.. 933AC7E1-2EB4-4F13-B844-0E14E2AEF915: GPT / домашний раздел.. 3B8F8425-20E0-4F3B-907F-1A25A76F98E8: GPT / srv (данные сервера) раздел.
Структуры
Содержимое каталога	Связанный список, хешированный B-дерево
Размещение файлов	Экстенты / Bitmap
Плохие блоки	Таблица
Пределы
Макс. размер тома	1 EiB (для блока размером 4 КиБ)
Макс. размер файла	16 ТиБ (для размера блока 4 КиБ)
Макс. количество файлов	4 миллиарда (указывается при создании файловой системы)
Макс. длина имени файла	255 байтов
Допустимые символы в именах файлов	Все байты, кроме NUL ('\ 0') и '/' и специальных имен файлов ". " и "..", которые не запрещены, но всегда используются для соответствующей специальной цели.
Характеристики
Записанные даты	изменение (mtime), изменение атрибута (ctime), доступ (atime), delete (dtime), create (crtime)
Диапазон дат	14 декабря 1901 г. - 10 мая 2446 г.
Разрешение даты	Наносекунда
Вилки	No
Атрибуты	acl, bh, bsddf, commit = nrsec, data = journal, data = orders, data = writeback, delalloc, extents, journal_dev, mballoc, minixdf, noacl, nobh, nodelalloc, noextents, nomballoc, nombcache, nouser_xattr, oldalloc, orlov, user_xattr
Разрешения файловой системы	POSIX, ACL POSIX
Прозрачное сжатие	No
Прозрачное шифрование	Да
Дедупликация данных	No
Другое
Поддерживаемые операционные системы	Linux FreeBSD (полная поддержка чтения / записи с версии 12.0) macOS (только чтение с ext4fuse, полная с ExtFS) Windows (чтение – запись без журналирования с ext2fsd) KolibriOS (только чтение)

журналируемая файловая система ext4 или четвертая расширенная файловая система - это журналируемая файловая система для Linux, разработанная как преемник ext3.

ext4 изначально была серией обратно-совместимых расширений для ext3, многие из которых изначально были разработаны Cluster File Systems для файловой системы Lustre в период с 2003 по 2006 год., предназначенный для расширения пределов хранилища и добавления других улучшений производительности. Однако другие разработчики ядра Linux выступили против принятия расширений ext3 по соображениям стабильности и предложили разветвить исходный код ext3, переименовать его в ext4 и выполнить всю разработку без затрагивает существующих пользователей ext3. Это предложение было принято, и 28 июня 2006 г. Теодор Ц'о, сопровождающий ext3, объявил о новом плане развития ext4.

Предварительная разрабатываемая версия ext4 была включена в версия 2.6.19 ядра Linux. 11 октября 2008 г. патчи, помечающие ext4 как стабильный код, были объединены в репозитории исходного кода Linux 2.6.28, обозначая конец фазы разработки и рекомендуя внедрение ext4. Ядро 2.6.28, содержащее файловую систему ext4, было наконец выпущено 25 декабря 2008 года. 15 января 2010 года Google объявил, что он обновит свою инфраструктуру хранения с ext2 до ext4. 14 декабря 2010 года Google также объявил, что будет использовать ext4 вместо YAFFS на Android 2.3.

• 1 Принятие
• 2 Функции
• 3 Ограничения
• 4 Задержка выделения и потенциальная потеря данных
• 5 Реализация
  • 5.1 Совместимость с Windows и Macintosh
• 6 См. Также
• 7 Ссылки
• 8 Внешние ссылки

ext4 является файловой системой по умолчанию для многих дистрибутивов Linux, включая Debian и Ubuntu.

Большая файловая система

Файловая система ext4 может поддерживать тома размером до 1 exbibyte (EiB) и отдельные файлы размером до 16 тебибайт (TiB) со стандартным размером блока 4 KiB . Максимальный размер файла, каталога и файловой системы увеличивается, по крайней мере, пропорционально размеру блока файловой системы до максимального размера блока в 64 КиБ, доступного на ARM и PowerPC / Power ISA CPUs.

Extents

Extents заменяют традиционную схему блочного отображения, используемую ext2 и ext3. Экстент - это диапазон смежных физических блоков, повышающий производительность при работе с большими файлами и уменьшающий фрагментацию. Один экстент в ext4 может отображать до 128 MiB непрерывного пространства с размером блока 4 KiB. Непосредственно в индексном дескрипторе может храниться четыре экстента. Когда в файле более четырех экстентов, остальные экстенты индексируются в дереве .

Обратная совместимость

ext4 обратно совместима с ext3 и ext2, что позволяет монтировать ext3 и ext2 как ext4. Это немного повысит производительность, потому что некоторые новые функции реализации ext4 также могут использоваться с ext3 и ext2, например, новый алгоритм распределения блоков, не влияя на формат на диске.

ext3 частично прямая совместимость с ext4. На практике ext4 не будет монтироваться как файловая система ext3 из коробки, если при ее создании не будут отключены определенные новые функции, такие как ^ extension, ^ flex_bg, ^ huge_file, ^ uninit_bg, ^ dir_nlinkи ^ extra_isize.

Постоянное предварительное выделение

ext4 может предварительно выделить место на диске для файла. Для этого в большинстве файловых систем при создании файла в файл записываются нули. В ext4 (и некоторых других файловых системах, таких как XFS ) fallocate (), можно использовать новый системный вызов в ядре Linux. Выделенное пространство будет гарантированным и, вероятно, непрерывным. В этой ситуации есть приложения для потоковой передачи мультимедиа и баз данных.

Отложенное выделение

ext4 использует метод повышения производительности, называемый allocate-on-flush, также известный как отложенное выделение. То есть ext4 задерживает выделение блоков до тех пор, пока данные не будут сброшены на диск. (Напротив, некоторые файловые системы выделяют блоки немедленно, даже когда данные попадают в кэш записи.) Отложенное выделение повышает производительность и снижает фрагментацию за счет эффективного распределения больших объемов данных за раз.

Неограниченное количество подкаталогов

ext4 не ограничивает количество подкаталогов в одном каталоге, за исключением внутреннего ограничения размера самого каталога. (В ext3 каталог может иметь не более 32000 подкаталогов.) Чтобы обеспечить более крупные каталоги и обеспечить непрерывную производительность, ext4 в Linux 2.6.23 и более поздних версиях включает HTree индексы (специализированная версия B-дерева ) по умолчанию, что позволяет хранить каталоги примерно до 10–12 миллионов записей в двухуровневом индексе HTree и ограничивать размер каталога 2 ГБ для размера блока 4 КиБ, в зависимости от длина имени файла. В Linux 4.12 и более поздних версиях функция largedirактивировала трехуровневое дерево HTree и размер каталогов более 2 ГБ, что позволяет разместить около 6 миллиардов записей в одном каталоге.

Контрольные суммы журнала

ext4 использует контрольные суммы в журнале для повышения надежности, поскольку журнал является одним из наиболее часто используемых файлов на диске. У этой функции есть побочное преимущество: она позволяет безопасно избежать ожидания дискового ввода-вывода во время ведения журнала, немного улучшая производительность. Контрольная сумма журнала была основана на исследовательской статье из Университета Висконсина под названием «Файловые системы IRON» (в частности, раздел 6, называемый «контрольные суммы транзакций»), с изменениями в реализации составных транзакций, выполняемых файлом IRON. система (первоначально предложенная Сэмом Нагшинехом на саммите RedHat).

Контрольная сумма метаданных

Начиная с ядра Linux 3.5, выпущенного в 2012 году

Более быстрая проверка файловой системы

В ext4 нераспределенные группы блоков и разделы таблицы inode отмечены как таковые. Это позволяет e2fsck полностью их пропускать и значительно сокращает время, необходимое для проверки файловой системы. В Linux 2.6.24 реализована эта функция.

fsck зависимость от времени от количества inode (ext3 vs. ext4)

Multiblock allocator

Когда ext3 добавляется к файлу, он вызывает распределитель блоков один раз для каждого блока. Следовательно, если существует несколько одновременных записывающих устройств, файлы могут легко стать фрагментированными на диске. Однако ext4 использует отложенное выделение, что позволяет буферизовать данные и выделять группы блоков. Следовательно, многоблочный распределитель может сделать лучший выбор в отношении размещения файлов непрерывно на диске. Многоблочный распределитель также может использоваться, когда файлы открываются в режиме O_DIRECT. Эта функция не влияет на формат диска.

Улучшенные временные метки

По мере того, как компьютеры в целом становятся быстрее, а Linux все больше используется для критически важных приложений, степень детализации временных меток, основанных на секундах, становится недостаточно. Чтобы решить эту проблему, ext4 предоставляет метки времени, измеряемые в наносекундах. Кроме того, 2 бита расширенного поля временной метки добавляются к наиболее значимым битам поля секунд временных меток, чтобы отложить проблему года 2038 еще на 408 лет.

ext4 также добавляет поддержку отметок времени создания. Но, как указывает Теодор Ц'о, хотя легко добавить дополнительное поле даты создания в индексный дескриптор (таким образом, технически обеспечивая поддержку этих временных меток в ext4), он сложнее изменить или добавить необходимые системные вызовы, такие как stat () (для которых, вероятно, потребуется новая версия) и различные библиотеки, которые зависят от их (например, glibc ). Эти изменения потребуют согласования многих проектов. Следовательно, дата создания, хранящаяся в ext4, в настоящее время доступна только для пользовательских программ в Linux через statx()API.

Квоты проекта

Добавлена ​​поддержка квот проекта в ядре Linux 4.4 от 8 января 2016 г. Эта функция позволяет назначать ограничения дисковой квоты для конкретного идентификатора проекта. Идентификатор проекта файла - это 32-битное число, хранящееся в каждом файле, и наследуется всеми файлами и подкаталогами, созданными под родительским каталогом с назначенным идентификатором проекта. Это позволяет назначать ограничения квот для определенного дерева подкаталогов независимо от прав доступа к файлу, таких как квоты пользователей и проектов, которые зависят от UID и GID. Хотя это похоже на квоту каталога, основное отличие заключается в том, что один и тот же идентификатор проекта может быть назначен нескольким каталогам верхнего уровня и не является строго иерархическим.

Прозрачное шифрование

Поддержка прозрачного шифрование было добавлено в ядро ​​Linux 4.1 в июне 2015 года.

Ленивая инициализация

Функция lazyinit позволяет очищать таблицы inode в фоновом режиме, ускоряя инициализацию при создании новой файловой системы ext4. Он доступен с 2010 года в версии ядра Linux 2.6.37.

Барьеры записи

ext4 по умолчанию включает барьеры записи. Это гарантирует, что метаданные файловой системы правильно записаны и упорядочены на диске, даже когда кеши записи теряют мощность. Это связано со снижением производительности, особенно для приложений, которые интенсивно используют fsync или создают и удаляют множество небольших файлов. Для дисков с кэшем записи с резервным питанием от батареи отключение барьеров (параметр 'барьер = 0') может безопасно повысить производительность.

В 2008 году основной разработчик файловых систем ext3 и ext4, Теодор Ц'О заявил, что, хотя ext4 имеет улучшенные функции, это не является большим достижением, в нем используются старые технологии, и это временный барьер. Ц'о считает, что Btrfs - лучшее направление, потому что «оно предлагает улучшения в масштабируемости, надежности и простоте управления». Btrfs также имеет "ряд тех же дизайнерских идей, что и reiser3 /4 ". Однако ext4 продолжает получать новые функции, такие как шифрование файлов и контрольные суммы метаданных.

Файловая система ext4 не поддерживает "безопасное удаление" атрибут файла, который должен вызывать перезапись файлов при удалении. Патч для реализации безопасного удаления был предложен в 2011 году, но не решил проблему попадания конфиденциальных данных в журнал файловой системы.

Из-за отложенного выделения изменяет поведение, на которое программисты полагались с ext3, эта функция создает дополнительный риск потери данных в случаях, когда система выходит из строя или теряет питание до того, как все данные будут записаны на диск. По этой причине ext4 в версиях ядра 2.6.30 и выше автоматически обрабатывает эти случаи, как и ext3.

Типичный сценарий, в котором это может произойти, - программа, заменяющая содержимое файла без принудительной записи на диск с помощью fsync. Существует два распространенных способа замены содержимого файла в системах Unix:

• fd = open ("файл", O_TRUNC); запись (fd, data); close (fd);

В этом случае существующий файл обрезается во время открытия (из-за флага O_TRUNC), затем записываются новые данные. Поскольку запись может занять некоторое время, есть вероятность потери содержимого даже с ext3, но обычно очень небольшая. Однако, поскольку ext4 может задерживать запись файловых данных на длительное время, эта возможность намного больше.

Может возникнуть несколько проблем:

1. Если запись не удалась (что может быть из-за условий ошибки в программе записи или из-за внешних условий, таких как полный диск), тогда как исходная версия, так и новая версия файла будут потеряны, и файл может быть поврежден, потому что только его часть был записан.
2. Если другие процессы обращаются к файлу во время его записи, они видят поврежденную версию.
3. Если другие процессы открывают файл и не ожидают изменения его содержимого, эти процессы могут аварийно завершить работу. Одним из примечательных примеров является файл общей библиотеки, который отображается в запущенные программы.

Из-за этих проблем часто предпочтительнее использовать следующую идиому, чем указанную выше:

• fd = open ("file.new"); запись (fd, data); закрыть (fd); rename ("file.new", "file");

Создается новый временный файл ("file.new"), который изначально содержит новое содержимое. Затем новый файл переименовывается поверх старого. Замена файлов вызовом rename ()гарантированно атомарна по стандартам POSIX - т.е. либо старый файл остается, либо он перезаписывается новым. Поскольку режим «упорядоченного» журналирования ext3 по умолчанию гарантирует, что данные файла записываются на диск раньше метаданных, этот метод гарантирует, что на диске будет сохраняться либо старое, либо новое содержимое файла. Отложенное выделение памяти ext4 нарушает это ожидание, поскольку запись в файл может быть отложена на долгое время, а переименование обычно выполняется до того, как новое содержимое файла достигнет диска.

Использование fsync ()чаще для снижение риска для ext4 может привести к снижению производительности файловых систем ext3, смонтированных с флагом data = orders(по умолчанию в большинстве дистрибутивов Linux). Учитывая, что обе файловые системы будут использоваться в течение некоторого времени, это усложняет задачу для разработчиков приложений конечных пользователей. В ответ ext4 в ядрах Linux 2.6.30 и новее обнаруживает возникновение этих общих случаев и принудительно выделяет файлы немедленно. За небольшую плату в производительности это обеспечивает семантику, аналогичную упорядоченному режиму ext3, и увеличивает вероятность того, что любая версия файла переживет сбой. Это новое поведение включено по умолчанию, но может быть отключено с помощью параметра монтирования «noauto_da_alloc».

Новые исправления стали частью основной ветки ядра 2.6.30, но различные дистрибутивы решили перенести их на версию 2.6. 28 или 2.6.29.

Эти исправления не полностью предотвращают потенциальную потерю данных или вообще не помогают с новыми файлами. Единственный способ обезопасить себя - это написать и использовать программное обеспечение, которое выполняет fsync (), когда это необходимо. Проблемы с производительностью можно свести к минимуму, ограничив критическую запись на диск, при которой fsync ()должна выполняться реже.

Упрощенная структура ядра Linux: ext4 реализована между ядром Linux Виртуальная файловая система и общий уровень блоков.

Ядро Linux Виртуальная файловая система - это подсистема или уровень внутри ядра Linux. Это результат очень серьезной попытки объединить несколько файловых систем в единую упорядоченную структуру. Ключевая идея, восходящая к новаторской работе, проделанной сотрудниками Sun Microsystems в 1986 году, состоит в том, чтобы абстрагироваться от той части файловой системы, которая является общей для всех файловых систем, и поместить этот код на отдельный уровень, который вызывает лежащий в основе конкретный файл. системы для фактического управления данными.

Все системные вызовы, относящиеся к файлам (или псевдофайлам), направляются в виртуальную файловую систему ядра Linux для начальной обработки. Эти вызовы, поступающие от пользовательских процессов, являются стандартными вызовами POSIX, такими как open , read , write , и т. Д.

Совместимость с Windows и Macintosh

По состоянию на 2012 год ext4 не имеет такой поддержки, как ext2 и ext3 в операционных системах, отличных от Linux. ext2 и ext3 имеют стабильные драйверы, такие как Ext2IFS, которые еще не доступны для ext4. Можно создать совместимые файловые системы ext4, отключив функцию экстентов и иногда указав размер inode. Другой вариант использования ext4 в Windows - использование Ext2Fsd, драйвера с открытым исходным кодом, который поддерживает запись в разделы ext4 с ограниченным ведением журнала. Просмотр и копирование файлов из ext4 в Windows, даже с включенными экстентами, также возможны с помощью программного обеспечения. Совсем недавно Paragon выпустила свой коммерческий продукт ExtFS для Windows, который позволяет читать / писать для ext2 / 3/4.

macOS имеет полную возможность чтения-записи ext2 / 3/4 с помощью программного обеспечения Paragon ExtFS, которое является коммерческим продуктом. Бесплатное программное обеспечение, такое как ext4fuse, поддерживает только чтение с ограниченной функциональностью.

• Btrfs
• Сравнение файловых систем
• Расширенные атрибуты файлов
• e2fsprogs
• Ext2Fsd
• JFS
• Список файловых систем
• Reiser4
• XFS
• ZFS

• документация ext4 в исходном коде ядра Linux
• Обсуждение ext4 Теодором Ц'о, 29 июня 2006 г.
• "ext4 online дефрагментация » (материалы с симпозиума Linux в Оттаве 2007 г.)
• « Новая файловая система ext4: текущее состояние и планы на будущее » (материалы симпозиума Linux в Оттаве 2007 г.)
• Журнал ядра: Ext4 завершает фазу разработки промежуточный шаг к btrfs, 17 октября 2008 г.
• «Улучшения в распределителе блоков и inode в Ext4» (материалы Оттавского симпозиума Linux 2008 г.)
• «Ext4: следующее поколение файловой системы Ext2 / 3»
• Ext4 (и Ext2 / Ext3) Wiki
• Ext4 wiki на kernelnewbies.org
• Собственный порт Windows для Ext4 и других FS в CROSSMETA
• Ext2read Приложение для Windows для чтения / копирования файлов ext2 / ext3 / ext4 с поддержкой экстентов и LVM2.
• E xt2Fsd Драйвер файловой системы ext2 / ext3 / ext4 с открытым исходным кодом для чтения / записи для Windows. ext4 поддерживается начиная с версии 0.50
• Ext4fuse Драйвер ext4 с открытым исходным кодом только для чтения для FUSE. (Поддерживает Mac OS X 10.5 и новее, используя MacFuse )