Web ARChive

Web ARChive (WARC) формат архива определяет метод объединения нескольких цифровых ресурсов в совокупный архивный файл вместе со связанной информацией. Формат WARC - это версия формата файлов ARC Internet Archive, который традиционно использовался для хранения «веб-обходов » в виде последовательностей блоков контента, собранных из мира. Широкая паутина. Формат WARC обобщает старый формат, чтобы лучше поддерживать потребности архивных организаций в сборе, доступе и обмене. Помимо записанного в настоящее время основного содержимого, ревизия включает связанный вторичный контент, такой как назначенные метаданные, сокращенные события обнаружения дубликатов и более поздние преобразования. Формат WARC основан на потоках HTTP / 1.0 с аналогичным заголовком и использованием CRLF в качестве разделителей, что делает его очень удобным для реализации поискового робота.

WARC теперь признан большинством систем национальных библиотек в качестве стандарта для веб-архивирования.

• веб-архиватор Heritrix в Java
• wget (начиная с версии 1.14)
• Webrecorder
• StormCrawler
• Apache Nutch
• libarchive

• http: // archive -access.sourceforge.net/warc/
• http://bibnum.bnf.fr/WARC/
• http://www.digitalpreservation.gov/formats/fdd/fdd000236.shtml
• https:/ /netpreserve.org/resources/WARC_Guidelines_v1.pdf
• https://iipc.github.io/warc-specifications/