Войти
NCSA Brown Dog - это исследовательский проект по разработке метода легкого доступа к архивным данным исследований, хранящимся в целях поддержания долгосрочная жизнеспособность больших массивов научных исследований. Он поддерживается Национальным центром суперкомпьютерных приложений (NCSA), который финансируется Национальным научным фондом (NSF).
Brown Dog является частью партнерской программы DataNet, финансируемой NSF в 2008 году. DataNet была задумана для решения проблемы все более цифрового и интенсивного использования данных в науке, технике и образовании. Brown Dog является частью последующей работы под названием Строительные блоки инфраструктуры данных (DIBB), направленной на создание программного обеспечения для поддержки DataNet. Проект был предложен исследователями из NCSA и Университета Иллинойса Урбана-Шампейн, а также исследователями из Бостонского университета и Университета Северной Каролины в Чапел-Хилл.
Многие научные данные меньше, неструктурированы и не контролируются, поэтому их нелегко передать. Такие данные иногда называют данными «длинного хвоста». Этот термин заимствован из статистики и относится к хвосту распределения размеров проектов. Большинству небольших проектов не хватает ресурсов для надлежащего управления производимыми ими данными. Эти так называемые данные «длинного хвоста», как прошлые, так и настоящие, могут дать информацию для будущих исследований во многих областях исследований. Большая часть этих данных стала недоступной из-за устаревшего программного обеспечения и форматов файлов. Возникающая в результате невозможность просмотра данных более старых исследований нарушает общий научный исследовательский проект.
Brown Dog описывает себя как «супер-дворнягу» программного обеспечения (отсюда и название «Brown Dog»), служащая низкоуровневой инфраструктурой данных для интерфейса цифрового контента данных через Интернет. Его подход заключается в использовании всех возможных источников автоматизированной помощи (например, программного обеспечения) в надежном и сохраняющем их происхождении способом для создания службы, которая может обрабатывать как можно больше этих данных. Проект видит более широкое воздействие своей работы в ее потенциале служить широкой публике как своего рода «DNS для данных», с целью сделать все данные и все форматы файлов такими же доступными, как сегодня веб-страницы.
Brown Dog стремится решать проблемы, связанные с использованием неконтролируемых и неструктурированных коллекций данных, путем разработки двух сервисов: прокси-сервера доступа к данным (DAP) для помощи в преобразовании форматов файлов. и службы обработки данных (DTS) для автоматического извлечения метаданных из содержимого файлов. После разработки исследователи и общественные пользователи смогут загружать плагины для браузера и другие инструменты из каталога инструментов Brown Dog.
Служба обработки данных (DTS) позволит пользователям поиск в коллекциях данных с использованием существующего файла для обнаружения других похожих файлов в коллекции. Поле поиска DTS будет добавлено к настроенным браузерам, где можно будет удалить файлы примеров. Это указывает DTS искать во всех файлах по заданному URL файлы, похожие на отброшенный файл. Например, при просмотре онлайн-коллекции изображений пользователь может поместить изображение трех человек в поле поиска, и DTS вернет все изображения в коллекции, в которой также есть три человека. Если DTS обнаруживает формат стороннего файла, он будет использовать DAP, чтобы сделать файл доступным. DTS также индексирует данные, извлекает и добавляет метаданные к файлам и коллекциям, позволяя пользователям получить некоторое представление о типе данных, с которыми они сталкиваются.
Эта служба работает на порту 9443.
Прокси доступа к данным (DAP) позволяет пользователям получать доступ к файлам данных, которые в противном случае были бы нечитаемыми. Подобно интернет-шлюзу или службе доменных имен, конфигурация DAP вводится в настройки компьютера и браузера пользователя. Запросы данных по HTTP сначала будут проверены DAP, чтобы определить, доступен ли собственный формат файла для чтения на клиентском устройстве. В противном случае DAP преобразует файл в наилучший доступный формат, читаемый клиентской машиной. Как вариант, пользователь может сам указать желаемый формат.
Эта служба работает на порту 8184.
Brown Dog нацелены на три сценария использования, предложенных группами внутри EarthCube исследовательские сообщества. Разработчики и исследователи из этих сообществ будут работать вместе над сценариями использования, которые охватывают геонауку, инженерию, биологию и социальные науки.
Этот пример использования возглавляет Майкл Дитце, Бостонский университет
Данные о численности, видовом составе и размерной структуре растительности критически важны по широкому кругу дисциплин в области экологии, охраны природы, управления природными ресурсами и биологии глобальных изменений. Однако решение многих насущных вопросов в этих дисциплинах потребует, чтобы земная биосфера и гидрологические модели были способны ассимилировать большой объем данных с длинным хвостом, которые существуют, но в основном недоступны. Команда Brown Dog в сотрудничестве с исследователями из лаборатории Дитце будет способствовать сбору огромного количества небольших наборов данных о растительности, ориентированных на исследования, собранных за многие десятилетия, и исторических данных о растительности, включенных в данные Public Land Survey, начиная с 1785 года. Эти данные будут используется в качестве начальных условий для моделей, чтобы понять другие большие наборы данных, а также для калибровки и проверки модели.
Этот вариант использования возглавляет Барбара Минскер, Университет Иллинойса в Урбане-Шампейн ; Уильям Салливан, Иллинойский университет в Урбане-Шампейне; Артур Шмидт, Университет Иллинойса в Урбана-Шампейн
Это тематическое исследование включает разработку новых критериев и моделей зеленой инфраструктуры, которые объединяют требования к управлению ливневыми водами, экосистемам и здоровью человека и благополучие. Для решения научных и социальных проблем, связанных с проектированием зеленых насаждений, доступность и доступность данных является серьезной проблемой. Это исследование будет сосредоточено на выявленных областях области планирования зеленого здорового соседства в городе Чикаго, где существующие местные канализационные системы являются наиболее низкими и где изменения в водонепроницаемой зоне с помощью зеленой инфраструктуры будут полезны для недостаточно обслуживаемых районов. Brown Dog будет использоваться для извлечения экспериментальных данных о предпочтениях человека в ландшафте и его влиянии на здоровье. Эти данные будут использоваться для разработки модели воздействия на здоровье человека, которая затем будет связана с моделью земной биосферы и моделью ливневых вод с использованием технологии Brown Dog.
Это пример использования возглавляет Правин Кумар, Университет Иллинойса в Урбана-Шампейн
Критическая зона (CZ) - это «кожа» земли, которая простирается от верхушек деревьев до коренных пород создается жизненными процессами, работающими в масштабах от микробов до биомов. Критическая зона поддерживает все земные живые системы. Его верхняя часть - биомантия. Здесь земная биота живет, воспроизводится, использует и расходует энергию, а ее отходы и остатки накапливаются и разлагаются. Он включает в себя почву, которая действует как геомембрана, через которую вода и растворенные вещества, энергия, газы, твердые вещества и организмы взаимодействуют с атмосферой, биосферой, гидросферой и литосферой. На эту биодинамическую зону влияют самые разные факторы, от климата и обезлесения до сельского хозяйства, выпаса скота и человеческого развития. Понимание и прогнозирование этих эффектов имеет ключевое значение для управления и поддержания жизненно важных экосистемных услуг, таких как плодородие почвы, очистка воды и производство пищевых ресурсов, а в более крупных масштабах - глобальный круговорот углерода и связывание углерода. CZ обеспечивает объединяющую основу для интеграции земной поверхности и приповерхностной среды и отражает сложную сеть биологических и химических процессов и антропогенных воздействий, происходящих в совершенно разных временных и пространственных масштабах. Природа этих данных создает серьезные проблемы для междисциплинарных исследований Чешской Республики, поскольку интеграция разнообразия и количества продуктов и моделей данных была препятствием. С другой стороны, данные CZ предоставляют прекрасную возможность для определения, тестирования и внедрения технологий Brown Dog. В этом контексте «неструктурированные» данные в широком смысле рассматриваются как состоящие из набора разнородных данных с форматами, отражающими временное и дисциплинарное наследие, данных от появляющихся недорогих датчиков на основе открытого оборудования и встроенных сетей датчиков, в которых отсутствуют четко определенные метаданные и характеристики датчиков, поскольку а также данные в виде карт, изображений и текста.
DIBB CIF21: Brown Dog была присуждена зимой 2013 года с датой начала 1 октября 2013 года. Предполагаемый срок действия 30 сентября 2018 г.
Сумма вознаграждения составила 10 519 716,00 долларов США, что является крупнейшей наградой DIBB. Главный исследователь - Кентон МакГенри из NCSA Университета штата Иллинойс в Урбане-Шампейн. Соруководители - Джонг Ли NCSA / UIUC; Барбара Минскер, инженер по строительству и охране окружающей среды, Иллинойский университет в Урбана-Шампейн; Правин Кумар, инженер по строительству и охране окружающей среды, Иллинойсский университет в Урбана-Шампейн; Майкл Дитце, факультет Земли и окружающей среды, Бостонский университет.
