Разработчик (и) | |
---|---|
Первоначальный выпуск | 24 октября 2008 г. (2008-10-24) |
Репозиторий | |
Написано на | C ++, Python |
Лицензия | Лицензия Apache 2.0 |
Веб-сайт | Домашняя страница Scribe (Github) |
Scribe был сервером для агрегирования данных журнала, передаваемых в реальном времени со многих серверов. Он был разработан таким образом, чтобы быть масштабируемым, расширяемым без модификации на стороне клиента и устойчивым к сбоям в сети или любой конкретной машине.
Scribe был разработан в Facebook и выпущен в 2008 году как с открытым исходным кодом.
Серверы Scribe организованы в ориентированный граф, причем каждый сервер знает только о следующем сервере в график. Эта сетевая топология позволяет добавлять дополнительные уровни fan-in по мере роста системы и пакетировать сообщения перед их отправкой между центрами обработки данных, без какого-либо кода, который явно должен понимать топологию центра обработки данных, только простая конфигурация.
Scribe был разработан с учетом надежности, но не требует использования тяжелых протоколов и чрезмерного использования диска. Scribe буферизует данные на диск на любом узле для обработки периодического сбоя узла подключения, но не синхронизирует файл журнала для каждого сообщения. Это создает возможность небольшой потери данных в случае сбоя или катастрофического отказа оборудования. Однако такая степень надежности часто подходит для большинства случаев использования Facebook .
.