Войти
Сбор данных - это процесс использования разработанных вычислительных экспериментов для «увеличения» данных, которые затем можно анализировать с помощью статистических и методы визуализации для понимания сложных систем. Эти методы можно применить к любой вычислительной модели.
Сбор данных отличается от интеллектуального анализа данных, о чем свидетельствуют следующие метафоры:
Шахтеры ищут ценные самородки руды, закопанные в земле, но не контролируют, что там находится и как Трудно извлечь самородки из окружающей их среды.... Точно так же майнеры данных стремятся раскрыть ценные фрагменты информации, скрытые в огромных объемах данных. Методы интеллектуального анализа данных используют статистические и графические показатели, чтобы попытаться выявить интересные корреляции или кластеры в наборе данных.
Фермеры обрабатывают землю, чтобы получить максимальный урожай. Они манипулируют окружающей средой в своих интересах, используя орошение, борьбу с вредителями, севооборот, удобрения и многое другое. Мелкомасштабные эксперименты позволяют им определить, эффективны ли эти методы лечения. Точно так же фермеры, занимающиеся обработкой данных, манипулируют имитационными моделями в своих интересах, используя крупномасштабные эксперименты для получения данных из своих моделей таким образом, чтобы они могли легко извлекать полезную информацию.... результаты могут выявить коренные причинно-следственные связи между входными факторами модели и реакциями модели, в дополнение к богатому графическому и статистическому представлению этих взаимосвязей.
Целевая группа НАТО по моделированию и имитационному моделированию задокументировала данные процесса ведения сельского хозяйства в Заключительном отчете MSG-088. Здесь для сбора данных используются совместные процессы, объединяющие быстрое прототипирование сценариев, имитационное моделирование, планирование экспериментов, высокопроизводительные вычисления, а также анализ и визуализацию в итеративном цикле циклов.
Наука Планирование экспериментов (DOE) существует уже более века, первооткрыватель - РА Фишер для сельскохозяйственных исследований. Многие из классических планов экспериментов можно использовать в имитационных исследованиях. Однако вычислительные эксперименты имеют гораздо меньше ограничений, чем эксперименты в реальном мире, с точки зрения затрат, количества факторов, необходимого времени, способности воспроизводить, возможности автоматизации и т. Д. Следовательно, структура, специально ориентированная на крупномасштабные эксперименты с моделированием, является оправдано.
Люди проводят вычислительные эксперименты с тех пор, как появились компьютеры. Термин «обработка данных» появился совсем недавно, он был придуман в 1998 году в связи с Проектом Альберта Корпорации морской пехоты, в рамках которого были созданы небольшие модели дистилляции на основе агентов (тип стохастического моделирования) для определения конкретных военных задач.. Эти модели запускались тысячи или миллионы раз в Maui High Performance Computer Center и других объектах. Аналитики Project Albert будут работать с экспертами в военной области, чтобы уточнить модели и интерпретировать результаты.
Первоначально использование грубых полных факториальных (с координатной сеткой) схем означало, что моделирование нужно было запускать очень быстро, а исследования требовали высокопроизводительных вычислений. Тем не менее, только небольшое количество факторов (на ограниченном количестве уровней) могло быть исследовано из-за проклятия размерности.
Центр обработки данных SEED на Военно-морская аспирантура также тесно сотрудничала с Project Albert в области создания моделей, анализа результатов и создания новых экспериментальных проектов, чтобы лучше использовать вычислительные возможности на Мауи и других объектах. Недавние прорывы в проектах, специально разработанных для обработки данных, можно найти, среди прочего, в.
С 1998 года Центр обработки данных SEED проводит серию международных семинаров по обработке данных. Международный семинар по обработке данных 1 прошел в 1991 году, и с тех пор было проведено еще 16 семинаров. На семинарах были представлены самые разные страны-участницы, такие как Канада, Сингапур, Мексика, Турция и США.
Международные семинары по обработке данных проводятся в сотрудничестве между различными группами экспертов. В последнем семинаре, проведенном в 2008 году, приняли участие более 100 команд. Группам специалистов по обработке данных назначается конкретная область исследования, например робототехника, национальная безопасность и помощь при стихийных бедствиях. Каждая группа экспериментирует и использует различные формы сбора данных, такие как Pythagoras ABM, модель боевого командования логистики и модель эффекторных датчиков на основе агентов (ABSEM).
