Войти
Темные данные - это данные, которые получены с помощью различных операций компьютерной сети, но не используются в любым способом для получения информации или принятия решений. Способность организации собирать данные может превышать пропускную способность, при которой она может анализировать данные. В некоторых случаях организация может даже не знать, что данные собираются. По оценке IBM, примерно 90 процентов данных генерируются датчиками и аналого-цифровыми преобразованиями никогда не используются.
В промышленном контексте скрытые данные могут включать информацию, собранную датчиками и телематикой.
Организации сохраняют скрытые данные по множеству причин, и, по оценкам, большинство компании анализируют только 1% своих данных. Часто его хранят для соблюдения нормативных требований и ведения учета. Некоторые организации считают, что скрытые данные могут быть им полезны в будущем, когда они приобретут более совершенные аналитические и технологии бизнес-аналитики для обработки информации. Поскольку хранение стоит недорого, хранить данные легко. Однако хранение и защита данных обычно влечет за собой большие расходы (или даже риск), чем потенциальный возврат прибыли.
Многие темные данные неструктурированы, что означает, что информация представлена в форматах, которые могут быть трудно классифицировать, прочитать компьютер и, таким образом, проанализировать. Часто причина того, что бизнес не анализирует свои темные данные, заключается в том, сколько ресурсов ему потребуется, и в сложности анализа этих данных. По данным Computer Weekly, 60% организаций считают, что их собственные возможности бизнес-аналитики для составления отчетов «неадекватны», а 65% говорят, что у них «несколько неорганизованные подходы к управлению контентом».
Полезные данные могут стать темными после того, как станут неактуальными, так как они обрабатываются недостаточно быстро. В «текущих текущих данных» это называется «скоропортящейся информацией». Например, если геолокация клиента известна бизнесу, компания может сделать предложение на основе местоположения, однако, если эти данные не обрабатываются немедленно, они могут быть неактуальными в будущем. По данным IBM, около 60 процентов данных сразу теряют свою ценность.
Согласно New York Times, 90% энергии, используемой центрами обработки данных, тратится впустую.. Если данные не хранились, затраты на электроэнергию можно было сэкономить. Кроме того, существуют затраты, связанные с недоиспользованием информации и, как следствие, упущенными возможностями. Согласно Datamation, «среды хранения в организациях EMEA состоят из 54 процентов темных данных, 32 процентов избыточных, устаревших и тривиальных данных и 14 процентов критически важных для бизнеса данных. К 2020 году это может добавить до 891 миллиарда долларов на хранение и расходы на управление, которые в противном случае можно избежать ».
Постоянное хранение темных данных может подвергнуть организацию риску, особенно если эти данные являются конфиденциальными. В случае нарушения это может привести к серьезным последствиям. Они могут быть финансовыми, юридическими и могут серьезно повредить репутации организации. Например, нарушение личных данных клиентов может привести к краже конфиденциальной информации, что может привести к краже личных данных. Другим примером может быть утечка конфиденциальной информации компании, например, касающейся исследований и разработок. Эти риски можно уменьшить, оценив и проверив, полезны ли эти данные для организации, используя надежное шифрование и безопасность, и, наконец, если они определены как подлежащие удалению, их следует отбросить таким образом, чтобы их невозможно было восстановить.
Обычно считается, что по мере создания более совершенных компьютерных систем для анализа данных, тем выше будет ценность темных данных. Было отмечено, что «данные и аналитика станут основой современной промышленной революции». Конечно, это включает данные, которые в настоящее время считаются «темными данными», поскольку для их обработки недостаточно ресурсов. Все эти данные, которые собираются, могут быть использованы в будущем для обеспечения максимальной производительности и способности организаций удовлетворять запросы потребителей. Технологические достижения помогают использовать эти темные данные по доступной цене благодаря молодым и инновационным компаниям, таким как Datumize, Veritas или Lucidworks. Более того, многие организации не осознают ценность скрытых данных прямо сейчас, например, организации здравоохранения и образования имеют дело с большими объемами данных, которые могут создать значительный «потенциал для обслуживания студентов и пациентов так, как это делают потребительские и финансовые услуги. преследовать свою целевую аудиторию ".
