Войти
Грид-вычисления - это использование широко распространенных компьютер ресурсы для достижения общей цели. Вычислительную сетку можно представить как распределенную систему с неинтерактивными рабочими нагрузками, включающими множество файлов. Грид-вычисления отличаются от традиционных высокопроизводительных вычислительных систем, таких как кластерные вычисления, в которых в сетевых компьютерах каждый узел установлен для выполнения разных задач / приложений. Грид-компьютеры также имеют тенденцию быть более разнородными и географически рассредоточенными (таким образом, физически не связанными), чем кластерные компьютеры. Хотя отдельная сетка может быть выделена для конкретного приложения, обычно сетка используется для различных целей. Сетки часто создаются с помощью программных библиотек общего назначения промежуточного программного обеспечения. Размеры грид могут быть довольно большими.
Грид - это форма распределенных вычислений, при которой «супер виртуальный компьютер» состоит из множества сетевых слабосвязанных компьютеров, действующих вместе для выполнять большие задачи. Для некоторых приложений распределенные или грид-вычисления можно рассматривать как особый тип параллельных вычислений, который полагается на полные компьютеры (со встроенными процессорами, хранилищем, источниками питания, сетевыми интерфейсами и т. Д.), Подключенными к компьютерная сеть (частная или общедоступная) с помощью обычного сетевого интерфейса, такого как Ethernet. Это контрастирует с традиционным представлением о суперкомпьютере, в котором множество процессоров соединены локальной высокоскоростной компьютерной шиной.
Грид-вычисления объединяют компьютеры из нескольких административных доменов в достичь общей цели, решить единственную задачу, а потом так же быстро может исчезнуть.
Размер сети может варьироваться от небольшого (например, ограниченного сетью компьютерных рабочих станций внутри корпорации) до крупных общественных коллективов во многих компаниях и сетях. «Понятие ограниченной сетки также может быть известно как взаимодействие внутри узлов, тогда как понятие более широкой и широкой сетки может, таким образом, относиться к взаимодействию между узлами».
Сетки представляют собой форму распределенные вычисления, в соответствии с которыми «супервиртуальный компьютер» состоит из множества сетевых слабосвязанных компьютеров, действующих вместе для выполнения очень больших задач. Эта технология применялась к ресурсоемким научным, математическим и академическим задачам с помощью добровольных вычислений, и она используется на коммерческих предприятиях для таких разнообразных приложений, как открытие лекарств, экономика прогнозирование, сейсмический анализ и бэк-офис обработка данных в поддержку электронной коммерции и веб-сервисов.
Координационные приложения в гридах может быть сложной задачей, особенно при координации потока информации через распределенные вычислительные ресурсы. Системы рабочих процессов сетки были разработаны как специализированная форма системы управления рабочими процессами, разработанная специально для составления и выполнения серии этапов вычислений или обработки данных или рабочего процесса в контексте сетки.
«Распределенные» или «сеточные» вычисления в целом - это особый тип параллельных вычислений, которые основаны на полных компьютерах (со встроенными ЦП, хранилище, источники питания, сетевые интерфейсы и т. д.), подключенные к сети (частной, общедоступной или Интернет ) с помощью обычного сетевого интерфейса, производящего серийное оборудование, по сравнению с более низкой эффективностью проектирования и изготовления небольшого числа специализированных суперкомпьютеров. Основной недостаток производительности заключается в том, что различные процессоры и локальные хранилища не имеют высокоскоростных соединений. Таким образом, такая компоновка хорошо подходит для приложений, в которых несколько параллельных вычислений могут выполняться независимо, без необходимости передавать промежуточные результаты между процессорами. Высококачественная масштабируемость географически распределенных сетей в целом благоприятна из-за низкой потребности в подключении между узлами по сравнению с пропускной способностью общедоступного Интернета.
Там Также есть некоторые отличия в программировании и MC. Написание программ, которые могут работать в среде суперкомпьютера, который может иметь настраиваемую операционную систему, или требовать, чтобы программа решала проблемы параллелизма, может быть дорогостоящим и трудным. Если проблема может быть адекватно распараллелена, «тонкий» слой «грид-инфраструктуры» может позволить обычным автономным программам, учитывая разные части одной и той же проблемы, работать на нескольких машинах. Это дает возможность писать и отлаживать на одном обычном компьютере и устраняет сложности из-за того, что несколько экземпляров одной и той же программы одновременно работают в одной и той же общей памяти и пространстве хранения.
Одной из особенностей распределенных гридов является то, что они могут быть сформированы из вычислительных ресурсов, принадлежащих одному или нескольким частным лицам или организациям (известным как несколько административных доменов ). Это может облегчить коммерческие транзакции, как в служебных вычислениях, или упростить сборку сетей добровольных вычислений.
Одним из недостатков этой функции является то, что компьютеры, которые фактически выполняют вычисления, могут быть не совсем надежными. Таким образом, разработчики системы должны принять меры для предотвращения сбоев в работе или получения злонамеренных участников ложных, вводящих в заблуждение или ошибочных результатов и использования системы в качестве вектора атаки. Это часто включает случайное распределение работы по разным узлам (предположительно с разными владельцами) и проверку того, что как минимум два разных узла сообщают одинаковый ответ для данной единицы работы. Несоответствия могут идентифицировать неисправные и вредоносные узлы. Однако из-за отсутствия централизованного управления оборудованием невозможно гарантировать, что узлы не выпадут из сети в случайное время. Некоторые узлы (например, ноутбуки или коммутируемые интернет-клиенты) также могут быть доступны для вычислений, но не для сетевых коммуникаций в течение непредсказуемых периодов. Эти вариации можно учесть, назначив большие рабочие единицы (таким образом, уменьшив потребность в непрерывном сетевом подключении) и переназначив рабочие единицы, когда данный узел не может сообщить о своих результатах в ожидаемое время.
Еще один набор проблем, которые можно было бы назвать проблемами социальной совместимости на заре грид-вычислений, связанных с целями разработчиков грид-технологий по вывозу своих инноваций за пределы исходной области высокопроизводительных вычислений и через дисциплинарные границы в новые области, например, в физике высоких энергий.
Влияние доверия и доступности на производительность и сложность разработки может повлиять на выбор развертывания в выделенном кластере, простаивающих машин внутри развивающейся организации или открытая внешняя сеть волонтеров или подрядчиков. Во многих случаях участвующие узлы должны доверять центральной системе, чтобы она не злоупотребляла предоставленным доступом, вмешиваясь в работу других программ, искажая хранимую информацию, передавая личные данные или создавая новые дыры в безопасности. В других системах используются меры по уменьшению степени доверия «клиентским» узлам к центральной системе, например, размещение приложений на виртуальных машинах.
Общедоступные системы или системы, пересекающие административные области (включая разные отделы в одной организации), часто приводят к необходимости работать на гетерогенных системах с использованием разных операционных систем и аппаратные архитектуры. Для многих языков существует компромисс между инвестициями в разработку программного обеспечения и количеством поддерживаемых платформ (и, следовательно, размером результирующей сети). Межплатформенные языки могут уменьшить необходимость идти на этот компромисс, хотя потенциально за счет высокой производительности на любом заданном узле (из-за интерпретации во время выполнения или отсутствия оптимизации для конкретная платформа). В различных проектах промежуточного программного обеспечения была создана общая инфраструктура, позволяющая различным научным и коммерческим проектам использовать конкретную связанную сетку или с целью создания новых гридов. BOINC часто используется для различных академических проектов, ищущих общественных волонтеров; другие перечислены в конце статьи.
Фактически, промежуточное ПО можно рассматривать как слой между аппаратным и программным обеспечением. Помимо промежуточного программного обеспечения, необходимо учитывать ряд технических областей, которые могут быть или не быть независимыми от промежуточного программного обеспечения. Примеры областей включают SLA управление, доверие и безопасность, управление виртуальной организацией, управление лицензиями, порталы и управление данными. Об этих технических областях можно позаботиться в коммерческом решении, хотя передовая часть каждой области часто находится в рамках конкретных исследовательских проектов, посвященных данной области.
Для сегментации рынка распределенных вычислений необходимо учитывать две точки зрения: со стороны поставщика и со стороны пользователя:
Общий рынок электросетей включает несколько специфических рынков. Это рынок промежуточного программного обеспечения для сетей, рынок сетевых приложений, рынок служебных вычислений и рынок программного обеспечения как услуги (SaaS).
Grid промежуточное ПО - это особый программный продукт, который обеспечивает совместное использование гетерогенных ресурсов и виртуальных организаций. Он устанавливается и интегрируется в существующую инфраструктуру вовлеченной компании или компаний и обеспечивает специальный уровень, расположенный между разнородной инфраструктурой и конкретными пользовательскими приложениями. Основное промежуточное программное обеспечение grid: Globus Toolkit, gLite и UNICORE.
Коммунальные вычисления упоминаются как предоставление grid-вычислений и приложений как услуги либо как открытая сеточная утилита. или как хостинговое решение для одной организации или VO. Основными игроками на рынке коммунальных вычислений являются Sun Microsystems, IBM и HP.
Grid-приложения - это специальные программные приложения, которые могут использовать грид-инфраструктуру. Это стало возможным благодаря использованию промежуточного программного обеспечения grid, как указано выше.
Программное обеспечение как услуга (SaaS) - это «программное обеспечение, которое принадлежит, доставляется и управляется удаленно одним или несколькими поставщиками». (Gartner 2007) Кроме того, приложения SaaS основаны на едином наборе общих кодов и определений данных. Они используются по модели «один ко многим», а SaaS использует модель Pay As You Go (PAYG) или модель подписки, основанную на использовании. Провайдеры SaaS не обязательно сами владеют вычислительными ресурсами, которые необходимы для работы их SaaS. Поэтому поставщики SaaS могут использовать рынок коммунальных услуг. Рынок коммунальных услуг предоставляет вычислительные ресурсы поставщикам SaaS.
Для компаний, занимающихся спросом или пользователем на рынке распределенных вычислений, различные сегменты имеют существенное значение для их стратегии развертывания ИТ. Стратегия развертывания ИТ, а также тип инвестиций в ИТ являются важными аспектами для потенциальных пользователей сети и играют важную роль для внедрения сети.
очистка ЦП, очистка цикла или общие вычисления создает «сетку» из простаивающих ресурсов в сети участники (как во всем мире, так и внутри организации). Как правило, этот метод использует «запасные» командные циклы, возникающие из-за периодического бездействия, которое обычно происходит ночью, во время обеденных перерывов или даже во время (сравнительно незначительных, хотя и многочисленных) моментов ожидания, что современный рабочий стол Работа ЦП в течение дня (, когда компьютер ожидает ввода-вывода от пользователя, сети или хранилища ). На практике участвующие компьютеры также предоставляют некоторый поддерживаемый объем дискового пространства для хранения, ОЗУ и пропускную способность сети в дополнение к чистой мощности ЦП.
Многие проекты добровольных вычислений, такие как BOINC, используйте модель очистки ЦП. Поскольку узлы могут время от времени отключаться, так как их владельцы используют свои ресурсы для своей основной цели, эта модель должна быть разработана для обработки таких непредвиденных обстоятельств.
Создание оппортунистической среды - это еще одна реализация очистки ЦП, при которой специальная система управления рабочими нагрузками собирает простаивающие настольные компьютеры для выполнения ресурсоемких задач, она также называется Enterprise Desktop Grid (EDG). Например, HTCondor программный фреймворк с открытым исходным кодом для высокопроизводительных вычислений для крупномасштабной распределенной рационализации вычислительно-ресурсоемких задач можно настроить для использования только настольных компьютеров, на которых клавиатура и мышь простаивают, для эффективного использования израсходованного ЦП. питание от простаивающих настольных рабочих станций. Как и другие полнофункциональные пакетные системы, HTCondor предоставляет механизм очередей заданий, политику планирования, схему приоритетов, мониторинг ресурсов и управление ресурсами. Он также может использоваться для управления рабочей нагрузкой на выделенном кластере компьютеров или может легко интегрировать как выделенные ресурсы (монтируемые в стойку кластеры), так и невыделенные настольные машины (циклическая очистка) в одной вычислительной среде.
Термин «сетевые вычисления» возник в начале 1990-х годов как метафора для упрощения доступа к компьютерной энергии, как к электросети . Метафора энергосистемы для доступных вычислений быстро стала канонической, когда Ян Фостер и Карл Кессельман опубликовали свою основополагающую работу «Grid: Blueprint для новой вычислительной инфраструктуры» (1999). Этому десятилетиями предшествовала метафора служебных вычислений (1961): вычисления как общественная полезность, аналогичная телефонной системе.
очистка ЦП и добровольные вычисления были популяризированы, начиная с 1997 г. distribution.net, а затем в 1999 г. SETI @ home, чтобы использовать возможности сетевых ПК по всему миру для решения исследовательских задач, требующих интенсивного использования ЦП.
Идеи грида (в том числе идеи распределенных вычислений, объектно-ориентированного программирования и веб-сервисов) были объединены Яном Фостером и из Чикагского университета, и Карл Кессельман из Института информационных наук Университета Южной Калифорнии . Трио, возглавлявшее усилия по созданию Globus Toolkit, широко известно как «отцов сети». Этот инструментарий включает не только управление вычислениями, но также управление хранилищем, обеспечение безопасности, перемещение данных, мониторинг и набор инструментов для разработки дополнительных услуг на основе той же инфраструктуры, включая согласование соглашений, механизмы уведомления, триггерные службы и агрегирование информации. Хотя Globus Toolkit остается фактическим стандартом для построения грид-решений, был создан ряд других инструментов, отвечающих определенному подмножеству сервисов, необходимых для создания корпоративной или глобальной грид-сети.
В 2007 году термин приобрели популярность облачные вычисления, которые концептуально аналогичны каноническому определению Фостера грид-вычислений (с точки зрения потребляемых вычислительных ресурсов, поскольку электроэнергия поступает из энергосистемы ) и более ранних коммунальных вычислений. Действительно, грид-вычисления часто (но не всегда) связаны с поставкой систем облачных вычислений, как это продемонстрировано системой AppLogic из 3tera.
В ноябре 2006 года Зайдель получил Премия Сидни Фернбаха на конференции по суперкомпьютерам в Тампе, Флорида. «За выдающийся вклад в разработку программного обеспечения для высокопроизводительных вычислений и грид-вычислений, позволяющего проводить совместные численные исследования сложных проблем физики, в частности, моделирования столкновений черных дыр». Эта награда, которая является одной из высших наград в области вычислений, была присуждена за его достижения в области числовой теории относительности.
Кроме того, по состоянию на март 2019 года Биткойн-сеть имела измеренную вычислительную мощность, эквивалентную более 80000 exaFLOPS (операций с плавающей запятой в секунду). Это измерение отражает количество FLOPS, необходимое для равного хэш-вывода сети Биткойн, а не ее пропускную способность для общих арифметических операций с плавающей запятой, поскольку элементы сети Биткойн (майнинг биткойнов ASIC ) выполняют только конкретное криптографическое вычисление хэша, требуемое протоколом Биткойн.
Грид-вычисления предлагают способ решения проблем Grand Challenge, таких как сворачивание белков, финансовое моделирование, Моделирование землетрясений, и климата, / погоды,, и было неотъемлемой частью создания Большого адронного коллайдера в ЦЕРНе. Гриды предлагают способ оптимального использования ресурсов информационных технологий внутри организации. Они также предоставляют средства для предложения информационных технологий в качестве полезности для коммерческих и некоммерческих клиентов, причем эти клиенты платят только за то, что они используют, например, за электричество или воду.
По состоянию на октябрь 2016 года более 4 миллионов машин, на которых работает платформа Открытая инфраструктура Berkeley для сетевых вычислений (BOINC) с открытым исходным кодом, являются членами World Community Grid. Одним из проектов, использующих BOINC, является SETI @ home, который использовал более 400 000 компьютеров для достижения 0,828 TFLOPS по состоянию на октябрь 2016 г. По состоянию на октябрь 2016 г. Folding @ home, которая не является частью BOINC, достигла более 101 петафлопс в эквиваленте x86 на более чем 110 000 машин.
Европейский Союз финансировал проекты через рамочные программы Европейской комиссии. (Бизнес-эксперименты в сети) - это исследовательский проект, финансируемый Европейской комиссией как интегрированный проект в рамках спонсорской программы Шестой рамочной программы (FP6). Начатый 1 июня 2006 года, проект длился 42 месяца, до ноября 2009 года. Проект координировал Atos Origin. Согласно информационному бюллетеню проекта, их миссия состоит в том, чтобы «установить эффективные маршруты для содействия внедрению грид-вычислений в ЕС и стимулировать исследования инновационных бизнес-моделей с использованием грид-технологий». Чтобы извлечь передовой опыт и общие темы из экспериментальных реализаций, две группы консультантов анализируют серию пилотных проектов: одну техническую, другую - бизнес. Проект важен не только своей длительностью, но и своим бюджетом, который составляет 24,8 миллиона евро, что является крупнейшим из всех интегрированных проектов FP6. Из них 15,7 миллиона предоставлены Европейской комиссией, а оставшаяся часть - 98 компаниями-партнерами. С момента окончания проекта результаты BEinGRID были приняты и реализованы.
Проект «Обеспечивающие сети для E-sciencE», основанный в Европейском Союзе и включающий сайты в Азии и США, был продолжением проекта European DataGrid (EDG) и превратилась в Европейскую сетевую инфраструктуру. Это, наряду с LHC Computing Grid (LCG), было разработано для поддержки экспериментов с использованием CERN большого адронного коллайдера. Список активных сайтов, участвующих в LCG, можно найти в Интернете, как и мониторинг инфраструктуры EGEE в реальном времени. Соответствующее программное обеспечение и документация также общедоступны. Есть предположение, что выделенные оптоволоконные каналы, такие как те, которые установлены ЦЕРНом для удовлетворения потребностей LCG в обработке данных, могут однажды стать доступными для домашних пользователей, тем самым предоставляя интернет-услуги со скоростью до 10 000 раз быстрее, чем традиционное широкополосное соединение. Европейская грид-инфраструктура также использовалась для других исследовательских работ и экспериментов, таких как моделирование онкологических клинических испытаний.
Проект distribution.net был начат в 1997 году..180>Усовершенствованный суперкомпьютерный центр NASA (NAS) запускал генетические алгоритмы с использованием мусорщика цикла Condor, работающего примерно на 350 Sun Microsystems и SGI рабочие станции.
В 2001 году United Devices руководила Проектом исследования рака United Devices на основе своего продукта Grid MP, который циклически очищает компьютеры добровольцев. подключен к Интернету. Перед закрытием в 2007 году проект выполнялся примерно на 3,1 миллионах компьютеров.
Сегодня существует множество определений grid-вычислений:
| Имя | Регион | Начало | Конец |
|---|---|---|---|
| Европейская грид-инфраструктура (EGI) | Европа | май 2010 г. | декабрь 2014 г. |
| Открытая инфраструктура промежуточного программного обеспечения Институт Европы (OMII-Europe) | Европа | май 2006 г. | май 2008 г. |
| Включение гридов для E-sciencE (EGEE, EGEE II и EGEE III) | Европа | март 2004 г. | апрель 2010 г. |
| Grid-enabled Remote Instrumentation with Distributed Control and Computing (GridCC) | Европа | сентябрь 2005 г. | сентябрь 2008 г. |
| Европейская инициатива по промежуточному программному обеспечению (EMI) | Европа | май 2010 г. | активный |
| KnowARC | Европа | июнь 2006 г. | ноябрь 2009 г. |
| Nordic Data Grid Facility | Скандинавия и Финляндия | июнь 2006 г. | декабрь 2012 г. |
| World Community Grid | Global | 20 ноября 04 | активный |
| XtreemOS | Европа | июнь 2006 г. | (май 2010 г.) доб. по сентябрь 2010 г. |
| OurGrid | Бразилия | декабрь 2004 г. | активны |
