Войти
Стандартный корпус современного американского английского Университета Брауна (или просто Brown Corpus ) - это электронная коллекция текстовых образцов o f Американский английский, первый крупный структурированный корпус различных жанров. Этот корпус впервые установил планку для научного изучения частоты и распределения категорий слов в повседневном использовании языка. Составлено Генри Кучера и У. Нельсон Фрэнсис в Брауновском университете в Род-Айленде, это общий языковой корпус, содержащий 500 образцов английского языка, в общей сложности около миллиона слов, составленный из работ, опубликованных в США. Штаты в 1961 году.
В 1967 году Кучера и Фрэнсис опубликовали свою классическую работу «Вычислительный анализ современного американского английского языка», в которой были представлены основные статистические данные о том, что сегодня известно просто как Коричневый корпус.
Коричневый корпус. представлял собой тщательно подобранную подборку современного американского английского языка, насчитывающую около миллиона слов, взятых из самых разных источников. Кучера и Фрэнсис подвергли ее множеству компьютерных анализов, на основе которых они составили богатый и разнообразный труд, сочетающий элементы лингвистики, психологии, статистики и социологии. Он очень широко использовался в компьютерной лингвистике и в течение многих лет был одним из наиболее цитируемых ресурсов в этой области.
Вскоре после публикации первого лексикостатистического анализ, Бостон издатель Houghton-Mifflin обратился к Кучере с просьбой предоставить трехстрочную базу цитирования из миллиона слов для своего нового Словаря американского наследия. Этот новаторский словарь, впервые появившийся в 1969 году, был первым словарем, составленным с использованием корпусной лингвистики для определения частоты слов и другой информации.
В первоначальном Коричневом Корпусе были только сами слова плюс идентификатор местоположения для каждого. В течение следующих нескольких лет были применены теги части речи. Программа создания тегов Greene and Rubin (см. Раздел тегов речи ) значительно помогла в этом, но высокий уровень ошибок означал, что требовалась обширная ручная корректура.
Маркированный Коричневый Корпус использовал выборку из примерно 80 частей речи, а также специальные индикаторы для сложных форм, сокращений, иностранных слов и некоторых других явлений и сформировал модель для многих более поздних корпусов, таких как Lancaster-Oslo-Bergen Corpus (британский английский с начала 1990-х) и Freiburg-Brown Corpus американского английского языка (FROWN) (американский английский с начала 1990-х). Добавление тегов к корпусу позволило провести более сложный статистический анализ, такой как работа, запрограммированная Эндрю Маки и описанная в книгах по грамматике английского языка.
Один интересный результат заключается в том, что даже для довольно больших выборок отображение слов в порядке убывания частота появления показывает гиперболу : частота n-го наиболее часто встречающегося слова примерно пропорциональна 1 / n. Таким образом, «the» составляет почти 7% Brown Corpus, «к» и «из» - более чем еще по 3% каждое; в то время как около половины всего словарного запаса, составляющего около 50 000 слов, составляют hapax legomen : слова, которые встречаются в корпусе только один раз. Эта простая зависимость ранга от частоты была отмечена для необычайного разнообразия явлений Джорджем Кингсли Зипфом (например, см. Его Психобиология языка) и известна как закон Ципфа.
Хотя Brown Corpus был пионером в области корпусной лингвистики, к настоящему времени типичные корпуса (такие как Corpus of Contemporary American English, British National Corpus или International Corpus of English ), как правило, намного больше, порядка 100 миллионов слов.
Корпус состоит из 500 семплов, распределенных по 15 жанрам, примерно пропорционально количеству, опубликованному в 1961 году в каждом из этих жанров. Все отобранные работы были опубликованы в 1961 году; насколько можно было определить, они были впервые опубликованы тогда и были написаны носителями американского английского языка.
Каждая выборка начинается со случайной границы предложения в статье или другой выбранной единице и продолжается до границы первого предложения после 2000 слов. В очень немногих случаях неправильный подсчет приводил к тому, что образцы составляли чуть менее 2000 слов.
Исходные данные вводились только на машинах с вводом верхнего регистра keypunch ; заглавные буквы были обозначены предшествующей звездочкой, и различные специальные элементы, такие как формулы, также имели специальные коды.
Первоначально (1961 г.) корпус содержал 1014312 слов, взятых из 15 категорий текстов:
| Тег | Определение |
|---|---|
| . | предложение (.; ? *) |
| ( | левая скобка |
| ) | правая скобка |
| * | нет, n't |
| -- | тире |
| , | запятая |
| : | двоеточие |
| ABL | предварительный квалификатор (вполне, скорее) |
| ABN | пре-квантификатор (половина, все) |
| ABX | пре-квантификатор (оба) |
| AP | пост-определитель (много, несколько, следующий) |
| AT | статья (a, the, no) |
| BE | be |
| BED | была |
| BEDZ | была |
| BEG | была |
| BEM | am |
| BEN | был |
| BER | ар, статья |
| BBB | является |
| CC | координационным соединением (и, или) |
| CD | кардинальное число (один, два, 2 и т. д.) |
| CS | подчиненное соединение (если, хотя) |
| DO | do |
| DOD | did |
| DOZ | выполняет |
| DT | определитель / квантификатор единственного числа (это, то) |
| DTI | определитель / квантор единственного или множественного числа (некоторые, любые) |
| DTS | определитель множественного числа (эти, те) |
| DTX | определитель / двойное соединение (либо) |
| EX | экзистенциальное там |
| FW | иностранное слово (hy перед обычным тегом) |
| HL | слово в заголовке (переносится после обычного тега) |
| HV | имеет |
| HVD | имеет (прошедшее время) |
| HVG | имеет |
| HVN | имело (причастие прошедшего времени) |
| HVZ | имеет |
| IN | предлог |
| JJ | прилагательное |
| JJR | сравнительное прилагательное |
| JJS | прилагательное в семантической превосходной степени (главный, верхний) |
| JJT | морфологически превосходное прилагательное (наибольшее) |
| MD | модальное вспомогательное (может, должно, будет) |
| NC | процитированное слово (через дефис после обычного tag) |
| NN | единственное или неисчисляемое существительное |
| NN$ | притяжательное существительное единственного числа |
| NNS | существительное множественного числа |
| NNS$ | притяжательное множественное число существительное |
| NP | имя собственное или часть именной фразы |
| NP$ | притяжательное имя собственное |
| NPS | существительное множественное число |
| NPS$ | притяжательное множественное число собственное существительное |
| NR | наречие существительное (дом, сегодня, запад) |
| NRS | множественное число наречий существительное |
| OD | порядковое числительное (первое, второе) |
| PN | именное местоимение (все, ничего) |
| PN $ | притяжательное именное местоимение |
| P P $ | притяжательное личное местоимение (мое, наше) |
| PP$$ | второе (номинальное) притяжательное местоимение (мое, наше) |
| PPL | единственное число возвратное / интенсивное личное местоимение (я) |
| PPLS | рефлексивное / интенсивное личное местоимение множественного числа (мы) |
| PPO | объективное личное местоимение (я, он, он, они) |
| PPS | 3-й. местоимение именительного падежа единственного числа (he, she, it, one) |
| PPSS | другое именительное падежное местоимение (I, we, they, you) |
| QL | квалификатор (очень, справедливо) |
| QLP | пост-квалификатор (действительно, достаточно) |
| RB | наречие |
| RBR | сравнительное наречие |
| RBT | превосходное наречие |
| RN | именное наречие (здесь, тогда, в помещении) |
| RP | наречие / частица (about, off, up) |
| TL | слово, встречающееся в заголовке (через дефис после обычного тега) |
| TO | маркер инфинитива на |
| UH | междометие, восклицательный знак |
| VB | глагол, основная форма |
| VBD | глагол, прошедшее время |
| VBG | глагол, причастие настоящего / герундий |
| VBN | глагол, причастие прошедшего времени |
| VBP | глагол, не 3-е лицо, единственное число, настоящее |
| VBZ | глагол, 3-е. настоящее |
| WDT | wh- определитель (что, какой) |
| WP$ | притяжательное wh- местоимение (чье) |
| WPO | цель wh - местоимение (who, which, that) |
| WPS | именительный падеж wh- местоимение (who, which, that) |
| WQL | wh- квалификатор (как) |
| WRB | wh- наречие (как, где, когда) |
Обратите внимание, что некоторые версии помеченного корпуса Brown содержат комбинированные теги. Например, слово «хочу» помечено как VB + TO, поскольку это сокращенная форма двух слов: want / VB и to / TO. Также некоторые теги могут быть инвертированы, например, «не» будет помечено как «BER *», где * означает отрицание. Кроме того, теги могут иметь перенос: тег -HL переносится к обычным тегам слов в заголовках. Тег -TL переносится через дефис к обычным тегам слов в заголовках. Перенос -NC означает выделенное слово. Иногда тег имеет префикс FW-, что означает иностранное слово.
