Войти
Представления двунаправленного кодера от Transformers (BERT ) - это метод предварительного обучения обработке естественного языка (НЛП), разработанный Google. BERT был создан и опубликован в 2018 году Якобом Девлином и его коллегами из Google. Google использует BERT, чтобы лучше понимать поисковые запросы пользователей.
Исходная англоязычная модель BERT включает два предварительно обученных общих типа: (1) модель BERT BASE, 12-уровневая, 768-скрытых, 12-головок, архитектура нейронной сети с параметрами 110M и (2) модель BERT LARGE, 24-слойная, 1024-скрытая, 16-головная, архитектура нейронной сети с параметрами 340M; оба были обучены использованию 800 млн слов и версии английской Википедии с 2500 млн слов.
Когда BERT был опубликован, он обеспечил самую современную производительность по ряду задач понимания естественного языка :
Причины нестандартного состояния BERT искусство выполнения этих задач понимания естественного языка еще недостаточно изучено. Текущее исследование сосредоточено на изучении взаимосвязи, лежащей в основе результатов BERT в результате тщательно подобранных входных последовательностей, анализа внутренних векторных представлений с помощью зондирующих классификаторов и взаимосвязей, представленных весами внимания.
BERT берет свое начало из предтренировочных контекстных представлений, включая ELMo и. В отличие от предыдущих моделей, BERT - это глубоко двунаправленное неконтролируемое языковое представление, предварительно обученное с использованием только корпуса обычного текста. Бесконтекстные модели, такие как word2vec или GloVe, создают представление встраивания одного слова для каждого слова в словаре, где BERT учитывает контекст для каждого вхождения данного слова. Например, в то время как вектор для "бега" будет иметь одно и то же векторное представление word2vec для обоих его вхождений в предложениях "Он управляет компанией" и "Он бежит марафон", BERT предоставит контекстуализированное вложение, которое будет разные в зависимости от предложения.
25 октября 2019 года Google Search объявил, что они начали применять модели BERT для поисковых запросов на английском языке в США. 9 декабря 2019 г. было сообщено, что BERT был принят поиском Google для более чем 70 языков.
BERT получил награду за лучший объемный труд на Ежегодной конференции Севера 2019 г. Американское отделение Ассоциации компьютерной лингвистики (NAACL).
