Войти
Повреждение данных фотографии; в этом случае результат неудачного восстановления данных с жесткого диска Повреждение данных относится к ошибкам в компьютере данных, которые возникают во время записи, чтения, хранения, передача или обработка, которые вносят непреднамеренные изменения в исходные данные. Компьютеры, системы передачи и хранения данных используют ряд мер для обеспечения сквозной целостности данных или отсутствия ошибок.
Как правило, при повреждении данных файл , содержащий эти данные, дает неожиданные результаты при доступе системы или связанного приложения. Результаты могут варьироваться от незначительной потери данных до сбоя системы. Например, если файл документа поврежден, когда человек пытается открыть этот файл с помощью редактора документов, он может получить сообщение об ошибке , поэтому файл может не быть открыт или может открыть с повреждением некоторых данных (или в некоторых случаях полностью поврежденным, в результате чего документ остается неразборчивым). Соседнее изображение - это поврежденный файл изображения, в котором потеряна большая часть информации.
Некоторые типы вредоносных программ могут намеренно повредить файлы как часть своих полезных данных, обычно путем перезаписи их неработающим или мусорным кодом, в то время как неопасный вирус также может непреднамеренно поврежденные файлы при доступе к ним. Если вирусу или трояну с этим методом полезной нагрузки удастся изменить файлы, важные для работы программного обеспечения операционной системы компьютера или физического оборудования, вся система может стать непригодной для использования.
Некоторые программы могут предлагать восстановить файл автоматически (после ошибки), а некоторые программы не могут его исправить. Это зависит от уровня повреждения и встроенных функций приложения для обработки ошибки. Есть разные причины порчи.
Воспроизвести медиа Видео это было испорчено. Предупреждение: Это видео содержит яркие мигающие изображения. Существует два типа повреждения данных, связанных с компьютерными системами: необнаруженное и обнаруженное. Необнаруженное повреждение данных, также известное как скрытое повреждение данных, приводит к наиболее опасным ошибкам, поскольку нет никаких признаков того, что данные неверны. Обнаруженное повреждение данных может быть необратимым с потерей данных или может быть временным, когда какая-то часть системы способна обнаружить и исправить ошибку; в последнем случае нет повреждения данных.
Повреждение данных может произойти на любом уровне системы, от хоста до носителя. Современные системы пытаются обнаружить повреждение на многих уровнях, а затем восстановить или исправить повреждение; это почти всегда успешно, но очень редко информация, поступающая в системную память, оказывается поврежденной и может привести к непредсказуемым результатам.
Повреждение данных во время передачи имеет множество причин. Прерывание передачи данных вызывает потерю информации. Условия окружающей среды могут мешать передаче данных, особенно при использовании методов беспроводной передачи. Сильные облака могут блокировать спутниковую передачу. Беспроводные сети чувствительны к помехам от таких устройств, как микроволновые печи.
Отказ оборудования и программного обеспечения - две основные причины потери данных. Фоновое излучение, сбои головы и старение или износ запоминающего устройства относятся к первой категории, в то время как программный сбой обычно происходит из-за ошибок в коде. Космические лучи вызывают большинство программных ошибок в DRAM.
Некоторые ошибки остаются незамеченными, не будучи обнаруженными микропрограммой диска или операционным хостом. система; эти ошибки известны как скрытое повреждение данных.
Существует множество источников ошибок, выходящих за рамки самой подсистемы дискового хранения. Например, кабели могут быть немного ослаблены, источник питания может быть ненадежным, внешние вибрации, такие как громкий звук, сеть может вызвать необнаруженное повреждение, космическое излучение и многие другие причины программных ошибок памяти и т. Д. В 39 000 проанализированных систем хранения ошибки микропрограммного обеспечения составляли 5–10% отказов систем хранения. В целом, частота ошибок, наблюдаемая в исследовании CERN о скрытом повреждении, намного выше, чем одна на каждые 10 бит. Интернет-магазин Amazon.com подтвердил аналогичный высокий уровень повреждения данных в своих системах.
Одна из проблем заключается в том, что емкость жестких дисков существенно увеличилась, но их количество ошибок осталось неизменным. Скорость повреждения данных всегда была примерно постоянной во времени, а это означает, что современные диски ненамного безопаснее старых. В старых дисках вероятность повреждения данных была очень мала, поскольку на них хранились крошечные объемы данных. В современных дисках вероятность намного выше, потому что на них хранится гораздо больше данных, но при этом не безопаснее. Таким образом, скрытое повреждение данных не было серьезной проблемой, в то время как устройства хранения оставались относительно небольшими и медленными. В наше время, с появлением более крупных дисков и очень быстрой настройки RAID, пользователи могут передавать 10 бит за достаточно короткое время, что позволяет легко достичь пороговых значений повреждения данных.
В качестве примера, Создатель ZFS Джефф Бонвик заявил, что быстрая база данных в Greenplum, компании, производящей программное обеспечение баз данных, специализирующейся на крупномасштабных хранилищах данных и аналитике, сталкивается с незаметным повреждением каждые 15 минут. В качестве другого примера, реальное исследование, проведенное NetApp на более чем 1,5 миллионах жестких дисков за 41 месяц, обнаружило более 400 000 скрытых повреждений данных, из которых более 30 000 не были обнаружены аппаратным RAID-контроллером. Другое исследование, проведенное ЦЕРН в течение шести месяцев и охватившее около 97 петабайт данных, показало, что около 128 мегабайт данных были безвозвратно повреждены.
Незаметное повреждение данных может привести к каскадным сбоям, при которых система может работать в течение определенного периода времени с необнаруженной начальной ошибкой, вызывая все больше проблем, пока она не будет обнаружена в конечном итоге. Например, сбой файловой системы метаданных может привести к частичному повреждению нескольких файлов или их полной недоступности, поскольку файловая система используется в поврежденном состоянии.
Когда повреждение данных ведет себя как пуассоновский процесс, где каждый бит данных имеет независимо низкую вероятность изменения, повреждение данных обычно могут быть обнаружены с помощью контрольных сумм и часто могут быть исправлены с помощью кодов исправления ошибок .
Если обнаружено неисправимое повреждение данных, такие процедуры может применяться автоматическая повторная передача или восстановление из резервных копий. Определенные уровни дисковых массивов RAID имеют возможность хранить и оценивать биты четности для данных на наборе жестких дисков и могут восстанавливать поврежденные данные при выходе из строя одного или нескольких дисков, в зависимости от уровня реализованного RAID. Некоторые архитектуры ЦП используют различные прозрачные проверки для обнаружения и уменьшения повреждения данных в кэшах ЦП, буферах ЦП и конвейерах команд ; Примером может служить технология Intel Instruction Replay, которая доступна на процессорах Intel Itanium.
Многие ошибки обнаруживаются и исправляются жесткими дисками с помощью кодов ECC / CRC, которые хранятся на диске для каждого сектора. Если дисковый накопитель обнаруживает несколько ошибок чтения в секторе, он может сделать копию отказавшего сектора на другой части диска, переназначив отказавший сектор диска на резервный сектор без участия операционной системы (хотя это может быть отложено до следующей записи в сектор). Это «тихое исправление» можно отслеживать с помощью S.M.A.R.T. и инструментов, доступных для большинства операционных систем, для автоматической проверки диска на предмет надвигающихся сбоев, наблюдая за ухудшением параметров SMART.
Некоторые файловые системы, например Btrfs, HAMMER, ReFS и ZFS используйте внутренние данные и метаданные контрольную сумму для обнаружения скрытого повреждения данных. Кроме того, если обнаружено повреждение и файловая система использует интегрированные механизмы RAID, которые обеспечивают избыточность данных, такие файловые системы также могут прозрачным образом восстанавливать поврежденные данные. Этот подход позволяет улучшить защиту целостности данных, охватывающую все пути к данным, которая обычно известна как сквозная защита данных, по сравнению с другими подходами к целостности данных, которые не охватывают разные уровни в стеке хранения и допускают повреждение данных, пока данные проходят границы между различными уровнями.
Очистка данных - это еще один метод снижения вероятности повреждения данных, поскольку дисковые ошибки выявляются и восстанавливаются до того, как накопятся многочисленные ошибки и превысят количество битов четности. Вместо проверки четности при каждом чтении, четность проверяется во время регулярного сканирования диска, часто выполняемого как фоновый процесс с низким приоритетом. Обратите внимание, что операция «очистки данных» активирует проверку четности. Если пользователь просто запускает обычную программу, которая считывает данные с диска, то четность не будет проверяться, если проверка четности при чтении не поддерживается и не включена в дисковой подсистеме.
Если используются соответствующие механизмы для обнаружения и устранения повреждения данных, целостность данных может быть сохранена. Это особенно важно в коммерческих приложениях (например, банковское дело ), где необнаруженная ошибка может либо повредить индекс базы данных, либо изменить данные, что существенно повлияет на баланс счета, а также при использовании зашифрованного или сжатые данные, где небольшая ошибка может сделать большой набор данных непригодным для использования.
