Войти
A формат файла - это стандартный способ кодирования информации для хранения в компьютерном файле. Он определяет, как биты используются для кодирования информации на цифровом носителе. Форматы файлов могут быть проприетарными или бесплатными и могут быть неопубликованными или открытыми.
Некоторые форматы файлов предназначены для очень определенных типов данных: файлы PNG, например, для хранения битовых изображений изображений с использованием без потерь сжатие данных. Однако другие форматы файлов предназначены для хранения нескольких различных типов данных: формат Ogg может действовать как контейнер для различных типов мультимедиа, включая любые комбинация аудио и видео с текстом или без текста (например, субтитры ) и метаданных. Текстовый файл может содержать любой поток символов, включая возможные управляющие символы, и кодируется в одной из различных схем кодирования символов . Некоторые форматы файлов, такие как HTML, масштабируемая векторная графика и исходный код из компьютерного программного обеспечения, представляют собой текстовые файлы с определенным синтаксисы, которые позволяют использовать их для определенных целей.
Форматы файлов часто имеют опубликованную спецификацию, описывающую метод кодирования и позволяющую тестировать предполагаемую функциональность программы. Не все форматы имеют свободно доступные документы спецификаций, отчасти потому, что некоторые разработчики рассматривают свои документы со спецификациями как коммерческую тайну, а отчасти потому, что другие разработчики никогда не создают формальный документ спецификации, позволяя создавать прецеденты другим уже существующим программам, которые format определяет формат через то, как эти существующие программы его используют.
Если разработчик формата не публикует бесплатные спецификации, другой разработчик, желающий использовать этот тип файла, должен либо перепроектировать файл, чтобы узнать, как его читать, либо получить документ спецификации от разработчиков формата за плату и путем подписания соглашения о неразглашении. Последний подход возможен только при наличии официального документа спецификации. Обе стратегии требуют значительного времени, денег или того и другого; поэтому форматы файлов с общедоступными спецификациями, как правило, поддерживаются большим количеством программ.
Патентный закон, а не авторское право, чаще используется для защиты формата файла. Хотя патенты на форматы файлов прямо не разрешены законодательством США, некоторые форматы кодируют данные с использованием запатентованных алгоритмов. Например, использование сжатия с форматом файла GIF требует использования запатентованного алгоритма, и, хотя патентообладатель изначально не обеспечивал соблюдение своего патента, позже он начал собирать роялти. Это привело к значительному сокращению использования GIF-файлов и частично отвечает за разработку альтернативного формата PNG. Однако патент GIF истек в США в середине 2003 года, а во всем мире - в середине 2004 года.
В различных операционных системах традиционно использовались разные подходы к определению формата конкретного файла, причем каждый подход имел свои преимущества и недостатки. Большинство современных операционных систем и отдельных приложений должны использовать все следующие подходы для чтения «чужих» форматов файлов, если не работают с ними полностью.
Один популярный метод, используемый многими операционными системами, включая Windows, macOS, CP / M, DOS, VMS и VM / CMS предназначены для определения формата файла на основе конца его имени, а точнее букв, следующих за последней точкой. Эта часть имени файла известна как расширение имени файла. Например, документы HTML идентифицируются по именам, которые заканчиваются на.html (или.htm), а изображения GIF - по.gif. В исходной файловой системе FAT имена файлов были ограничены восьмизначным идентификатором и трехсимвольным расширением, известным как 8.3 имя файла. Существует не так много трехбуквенных расширений, поэтому часто любое данное расширение может быть связано с более чем одной программой. Многие форматы по-прежнему используют трехсимвольные расширения, хотя современные операционные системы и прикладные программы больше не имеют этого ограничения. Поскольку стандартного списка расширений не существует, более одного формата могут использовать одно и то же расширение, что может запутать как операционную систему, так и пользователей.
Одним из артефактов этого подхода является то, что систему можно легко обманом заставить трактовать файл как другой формат, просто переименовав его - например, файл HTML можно легко рассматривать как обычный текст, переименовав его с filename.html в filename.txt. Хотя эта стратегия была полезна для опытных пользователей, которые могли легко понять эту информацию и манипулировать ею, она часто сбивала с толку менее технических пользователей, которые могли случайно сделать файл непригодным для использования (или «потерять» его), неправильно переименовав его.
Это привело к тому, что более свежие оболочки операционной системы, такие как Windows 95 и Mac OS X, скрывали расширение при перечислении файлов. Это предотвращает случайное изменение пользователем типа файла и позволяет опытным пользователям отключать эту функцию и отображать расширения.
Скрытие расширения, однако, может создать видимость двух или более одинаковых имен файлов в одной папке. Например, может потребоваться логотип компании как в формате .eps (для публикации), так и в формате.png (для веб-сайтов). Когда расширения будут видны, они будут выглядеть как уникальные имена файлов: «CompanyLogo.eps» и «CompanyLogo.png». С другой стороны, при сокрытии расширений оба будут отображаться как «CompanyLogo», что может привести к путанице.
Скрытие расширений также может представлять угрозу безопасности. Например, злоумышленник может создать исполняемую программу с невинным именем, например «Holiday photo.jpg.exe». «.exe» будет скрыт, и ничего не подозревающий пользователь увидит «Holiday photo.jpg», который будет выглядеть как изображение в формате JPEG, которое обычно не может нанести вред машине. Однако операционная система все равно увидит расширение «.exe» и запустит программу, которая затем сможет нанести вред компьютеру. То же самое и с файлами с одним расширением: поскольку оно не отображается пользователю, никакая информация о файле не может быть получена без явного исследования файла. Чтобы еще больше обмануть пользователей, можно сохранить значок внутри программы, и в этом случае назначение значка некоторых операционных систем для исполняемого файла (.exe) будет заменено значком, обычно используемым для представления изображений JPEG, что делает программа выглядит как изображение. Расширения также можно подделывать: некоторые макровирусы Microsoft Word создают файл Word в формате шаблона и сохраняют его с расширением.doc. Поскольку Word обычно игнорирует расширения и смотрит на формат файла, они открываются как шаблоны, выполняются и распространяют вирус. Эти проблемы требуют, чтобы пользователи со скрытыми расширениями были бдительны и никогда не позволяли операционной системе выбирать, с помощью какой программы открывать файл, не заслуживающий доверия (что противоречит идее упрощения работы для пользователя). Это представляет собой практическую проблему для систем Windows, в которых скрытие расширений включено по умолчанию.
Второй способ определить формат файла - использовать информацию о формате, хранящемся внутри самого файла, либо информацию, предназначенную для этой цели, либо двоичные строки которые всегда находятся в определенных местах в файлах некоторых форматов. Так как их легче всего найти в начале, такая область обычно называется заголовком файла, если она превышает несколько байт, или магическим числом, если она составляет всего несколько байтов.
Метаданные, содержащиеся в заголовке файла, обычно хранятся в начале файла, но могут присутствовать и в других областях, часто включая конец в зависимости от формата файла или типа содержащихся данных. Символьные (текстовые) файлы обычно имеют символьные заголовки, тогда как двоичные форматы обычно имеют двоичные заголовки, хотя это не является правилом. Текстовые заголовки файлов обычно занимают больше места, но, поскольку они удобочитаемы, их можно легко изучить с помощью простого программного обеспечения, такого как текстовый редактор или шестнадцатеричный редактор.
Помимо определения формата файла, заголовки файлов могут содержать метаданные о файле и его содержимом. Например, в большинстве файлов изображений хранится информация о формате изображения, размере, разрешении и цветовом пространстве, и, необязательно, информация об авторинге, например, кто создал изображение, когда и где это было сделано, какая модель камеры и какие фотографические настройки использовались (Exif ) и т. д. Такие метаданные могут использоваться программным обеспечением для чтения или интерпретации файла во время процесса загрузки и после него.
Заголовки файлов могут использоваться операционной системой для быстрого сбора информации о файле без загрузки всей ее в память, но при этом используются больше ресурсов компьютера, чем при чтении непосредственно из каталога Информация. Например, когда графический файловый менеджер должен отображать содержимое папки, он должен прочитать заголовки многих файлов, прежде чем сможет отобразить соответствующие значки, но они будут расположены в разных местах на носителе, что требует больше времени для доступа. Папка, содержащая множество файлов со сложными метаданными, такими как информация эскиза, может потребовать значительного времени, прежде чем ее можно будет отобразить.
Если заголовок жестко запрограммирован в двоичном коде, так что сам заголовок требует сложной интерпретации для распознавания, особенно для защиты содержимого метаданных, существует риск того, что формат файла может быть неверно истолкованным. Возможно, это даже было плохо написано в источнике. Это может привести к повреждению метаданных, что в крайне плохих случаях может даже сделать файл нечитаемым.
Более сложным примером заголовков файлов являются те, которые используются для форматов файлов оболочки (или контейнера).
Один из способов включения метаданных типа файла, часто связанных с Unix и его производными, - это просто сохранить «магическое число» внутри самого файла. Первоначально этот термин использовался для определенного набора 2-байтовых идентификаторов в начале файлов, но поскольку любую двоичную последовательность можно рассматривать как число, для идентификации можно использовать любую особенность формата файла, которая однозначно ее отличает. Например, изображения GIF всегда начинаются с представления ASCII либо GIF87a, либо GIF89a, в зависимости от стандарта, которого они придерживаются. Многие типы файлов, особенно текстовые, труднее обнаружить с помощью этого метода. HTML-файлы, например, могут начинаться со строки (которая не чувствительна к регистру) или соответствующего определения типа документа , которое начинается с , или, для XHTML, идентификатор XML, который начинается с
. Подход с использованием магического числа предлагает лучшие гарантии того, что формат будет правильно идентифицирован, и часто может определять более точную информацию о файле. Поскольку достаточно надежные тесты «магического числа» могут быть довольно сложными, и каждый файл должен быть эффективно протестирован на соответствие всем возможностям в волшебной базе данных, этот подход относительно неэффективен, особенно для отображения больших списков файлов (в отличие от имени файла и метаданных - методы на основе должны проверять только один фрагмент данных и сопоставлять его с отсортированным индексом). Кроме того, данные должны быть прочитаны из самого файла, что увеличивает задержку по сравнению с метаданными, хранящимися в каталоге. Если типы файлов не поддаются распознаванию таким образом, система должна вернуться к метаданным. Однако это лучший способ для программы проверить, имеет ли файл, который ей было приказано обрабатывать, правильный формат: в то время как имя файла или метаданные могут быть изменены независимо от его содержимого, не пройдя хорошо продуманный тест магического числа. - верный признак того, что файл поврежден или имеет неправильный тип. С другой стороны, действительное магическое число не гарантирует, что файл не поврежден или имеет правильный тип.
Так называемые строки shebang в файлах сценария являются частным случаем магических чисел. Здесь магический номер - это читаемый человеком текст, который идентифицирует конкретный интерпретатор команд и параметры, которые необходимо передать интерпретатору команд.
Другая операционная система, использующая магические числа, - это AmigaOS, где магические числа назывались «Волшебные файлы cookie» и были приняты в качестве стандартной системы для распознавания исполняемых файлов в исполняемом файле Hunk. формат, а также позволить отдельным программам, инструментам и утилитам автоматически обрабатывать свои сохраненные файлы данных или любые другие типы файлов при сохранении и загрузке данных. Затем эта система была усовершенствована стандартной системой распознавания типов данных Amiga . Другим методом был метод FourCC, возникший в OSType на Macintosh, позже адаптированный Interchange File Format (IFF) и производными.
Последний способ сохранения формата файла - это явное сохранение информации о формате в файловой системе, а не в самом файле.
Этот подход хранит метаданные отдельно как от основных данных, так и от имени, но также является менее переносимым, чем расширения имени файла или «магические числа», поскольку формат должен быть преобразован из файловую систему в файловую систему. Хотя это также верно в некоторой степени для расширений файлов - например, для совместимости с трехсимвольным ограничением MS-DOS - большинство форм хранения имеют примерно эквивалентное определение данных и имени файла, но другие метаданные могут отличаться или не отображаться.
Обратите внимание, что zip-файлы или архивные файлы решают проблему обработки метаданных. Служебная программа собирает несколько файлов вместе с метаданными о каждом файле и папках / каталогах, из которых они были получены, в одном новом файле (например, файл zip с расширением.zip). Новый файл также сжат и, возможно, зашифрован, но теперь его можно передавать в виде одного файла между операционными системами с помощью систем FTP или прикреплять к электронной почте. В месте назначения он должен быть распакован совместимой утилитой, чтобы быть полезным, но таким образом решаются проблемы передачи.
В Mac OS 'Иерархическая файловая система хранит коды для создателя и введите как часть записи каталога для каждого файла. Эти коды называются OSTypes. Эти коды могли быть любой 4-байтовой последовательностью, но часто выбирались так, чтобы представление ASCII образовывало последовательность значимых символов, таких как аббревиатура имени приложения или инициалы разработчика. Например, файл «стека» HyperCard имеет создателя WILD (от предыдущего имени HyperCard, «WildCard») и тип STAK. Текстовый редактор BBEdit имеет код создания R * ch, относящийся к исходному программисту. Код типа указывает формат файла, а код создателя указывает программу по умолчанию, с помощью которой он открывается при двойном щелчке пользователем. Например, у пользователя может быть несколько текстовых файлов с кодом типа TEXT, но каждый из которых открывается в другой программе из-за различных кодов создателя. Эта функция была предназначена для того, чтобы, например, читаемые человеком файлы с открытым текстом можно было открывать в текстовом редакторе общего назначения, а файлы программирования или HTML-кода открывались в специализированном редакторе или IDE. Однако эта функция часто вызывала путаницу у пользователей, так как то, какая программа запускалась при двойном щелчке файлов, часто было непредсказуемо. RISC OS использует аналогичную систему, состоящую из 12-битного числа, которое можно найти в таблице описаний, например. шестнадцатеричный номер FF5является «псевдонимом» для PoScript, представляющего файл PostScript.
Унифицированный идентификатор типа (UTI) - это метод, используемый в macOS для однозначной идентификации «типизированных» классов сущностей, например, форматы файлов. Он был разработан Apple в качестве замены OSType (коды типа и создателя).
UTI - это строка Core Foundation , в которой используется строка обратного DNS. Некоторые общие и стандартные типы используют домен под названием public (например, public.png для изображения Portable Network Graphics ), в то время как другие домены могут использоваться для сторонних типов (например, com.adobe.pdf для Portable Document Format ). UTI могут быть определены в иерархической структуре, известной как иерархия соответствия. Таким образом, public.png соответствует супертипу public.image, который сам соответствует супертипу public.data. UTI может существовать в нескольких иерархиях, что обеспечивает большую гибкость.
Помимо форматов файлов, UTI также могут использоваться для других сущностей, которые могут существовать в macOS, включая:
Файловые системы HPFS, FAT12 и FAT16 (но не FAT32) позволяют хранить «расширенные атрибуты» с файлами. Они включают произвольный набор триплетов с именем, закодированным типом значения и значением, причем имена уникальны, а значения могут иметь длину до 64 КБ. Существуют стандартизированные значения для определенных типов и имен (в OS / 2 ). Одна из них заключается в том, что расширенный атрибут «.TYPE» используется для определения типа файла. Его значение содержит список из одного или нескольких типов файлов, связанных с файлом, каждый из которых является строкой, например «Обычный текст» или «HTML-документ». Таким образом, файл может иметь несколько типов.
Файловая система NTFS также позволяет хранить расширенные атрибуты OS / 2 в качестве одной из вилок файлов, но эта функция просто присутствует для поддержки подсистемы OS / 2 (отсутствует в XP), поэтому подсистема Win32 обрабатывает эту информацию как непрозрачный блок данных и не использует ее. Вместо этого он полагается на другие вилки файлов для хранения метаинформации в специфичных для Win32 форматах. Расширенные атрибуты OS / 2 могут по-прежнему считываться и записываться программами Win32, но данные должны полностью анализироваться приложениями.
В Unix и Unix-подобных системах: ext2, ext3, ReiserFS Файловые системы версии 3, XFS, JFS, FFS и HFS + позволяют хранить расширенные атрибуты с файлами. Они включают произвольный список строк «name = value», где имена уникальны, а к значению можно получить доступ через связанное с ним имя.
Постоянный уникальный идентификатор PRONOM (PUID) - это расширяемая схема постоянных, уникальных и однозначных идентификаторов для форматов файлов, которая была разработан Национальным архивом Великобритании как часть службы технического реестра PRONOM. PUID могут быть выражены как унифицированные идентификаторы ресурсов с использованием info: pronom / namespace. Хотя схема PUID еще не широко используется за пределами правительства Великобритании и некоторых программ цифрового сохранения, она обеспечивает большую степень детализации, чем большинство альтернативных схем.
Типы MIME широко используются во многих приложениях, связанных с Интернетом, и все чаще в других местах, хотя их использование для информации о типах на диске редко. Они состоят из стандартизированной системы идентификаторов (управляемых IANA ), состоящей из типа и подтипа, разделенных косой чертой, например, text / html или изображение / gif. Первоначально они предназначались для определения типа файла, вложенного в электронное письмо, независимо от исходной и целевой операционных систем. Типы MIME идентифицируют файлы в BeOS, AmigaOS 4.0 и MorphOS, а также хранят уникальные подписи приложений для запуска приложений. В AmigaOS и MorphOS система типов Mime работает параллельно с системой типов данных Amiga.
Однако есть проблемы с типами MIME; несколько организаций и людей создали свои собственные типы MIME, не зарегистрировав их должным образом в IANA, что в некоторых случаях делает использование этого стандарта неудобным.
Идентификаторы формата файла - еще один, не широко используемый способ идентификации форматов файлов в соответствии с их происхождением и их категорией. Он был создан для пакета программного обеспечения Description Explorer. Он состоит из нескольких цифр вида NNNNNNNNN-XX-YYYYYYY. Первая часть указывает на происхождение / обслуживающего лица организации (это число представляет собой значение в базе данных компании / организации по стандартизации), две следующие цифры обозначают тип файла в шестнадцатеричном формате. Последняя часть состоит из обычного расширения имени файла или международного стандартного номера файла, дополненного нулями слева. Например, спецификация файла PNG имеет FFID 000000001-31-0015948, где 31указывает файл изображения, 0015948- стандартный номер, а 000000001обозначает Международную организацию по стандартизации (ISO).
Другим, но менее популярным способом определения формата файла является исследование содержимого файла на наличие различимых шаблонов среди типов файлов. Содержимое файла представляет собой последовательность байтов, а байт имеет 256 уникальных перестановок (0–255). Таким образом, подсчет появления байтовых шаблонов, который часто называют частотным распределением байтов, дает различимые шаблоны для идентификации типов файлов. Существует множество схем идентификации типов файлов на основе содержимого, которые используют частотное распределение байтов для построения репрезентативных моделей для типов файлов и используют любые статистические методы и методы интеллектуального анализа данных для определения типов файлов
Там Есть несколько типов способов структурировать данные в файле. Самые обычные описаны ниже.
В более ранних форматах файлов использовались необработанные форматы данных, которые состояли из прямого сброса образов памяти одной или нескольких структур в файл.
У этого есть несколько недостатков. Если образы памяти также не имеют зарезервированных мест для будущих расширений, расширение и улучшение этого типа структурированного файла очень сложно. Он также создает файлы, которые могут быть специфичными для одной платформы или языка программирования (например, структура, содержащая строку Pascal, не распознается как таковая в C ). С другой стороны, разработать инструменты для чтения и записи файлов такого типа очень просто.
Ограничения неструктурированных форматов привели к развитию других типов форматов файлов, которые можно было легко расширять и в то же время быть обратно совместимыми.
В такой файловой структуре каждый фрагмент данных встроен в контейнер, который каким-то образом идентифицирует данные. Область действия контейнера может быть идентифицирована с помощью каких-либо маркеров начала и конца, определенного где-нибудь явного поля длины или фиксированных требований к определению формата файла.
На протяжении 1970-х годов многие программы использовали форматы такого общего типа. Например, текстовые процессоры, такие как troff, Script и Scribe, и файлы экспорта базы данных, такие как CSV. Electronic Arts и Commodore - Amiga также использовали этот тип файлового формата в 1985 году с их форматом файлов IFF (Interchange File Format).
Контейнер иногда называют «чанком», хотя «чанк» также может означать, что каждый кусок небольшой и / или что чанки не содержат других чанков; многие форматы не предъявляют этих требований.
Информация, которая идентифицирует конкретный «блок», может называться множеством разных терминов, часто включая термины «имя поля», «идентификатор», «метка» или «тег». Идентификаторы часто удобочитаемы и классифицируют части данных: например, как «фамилия», «адрес», «прямоугольник», «название шрифта» и т. Д. Это не то же самое, что идентификаторы в смысле ключа базы данных или серийного номера (хотя идентификатор вполне может идентифицировать свои связанные данные как такой ключ).
При таком типе файловой структуры инструменты, которым неизвестны определенные идентификаторы блоков, просто пропускают те, которые им неизвестны. В зависимости от фактического значения пропущенных данных, это может быть полезно или бесполезно (CSS явно определяет такое поведение).
Эта концепция использовалась снова и снова в потоках, закодированных с помощью RIFF (эквивалент Microsoft-IBM IFF), PNG, хранилище JPEG, DER (Distinguished Encoding Rules ). и файлы (которые были первоначально описаны в CCITT X.409: 1984 и, следовательно, предшествовали IFF), и Формат обмена структурированными данными (SDXF).
Действительно, любой формат данных должен как-то определять значимость его составных частей, и встроенные маркеры границ - очевидный способ сделать это:
Это еще один расширяемый формат, который очень похож на файловую систему (OLE Документы - это фактические файловые системы), где файл состоит из «записей каталога», которые содержат расположение данные в самом файле, а также его подписи (и в некоторых случаях его тип). Хорошими примерами этих типов файловых структур являются образы дисков, документы OLE TIFF, библиотеки. ODT и DOCX, основанные на PKZIP, разбиты на блоки и также несут каталог.
 | Поиск формат файла в Wiktionary, бесплатном словаре. |
.
