Войти
| Язык (и) | Традиционный китайский |
|---|---|
| Классификация | Расширенный ASCII, Кодировка переменной ширины, DBCS, Кодировка CJK |
| Расширяет | ASCII |
| Расширения | Windows-950, Big5-HKSCS, многие другие |
| Другая связанная кодировка | CNS 11643 |
| |
Big-5 или Big5 - это метод кодировки китайских символов, используемый в Тайване, Гонконге и Макао для традиционные китайские иероглифы.
Китайская Народная Республика (КНР), в которой используются упрощенные китайские символы, вместо этого используется набор символов GB 18030.
Big5 получил свое название от консорциума пяти компаний на Тайване, которые разработали его.
Исходный набор символов Big5 сортируется сначала по частоте использования, затем по количеству штрихов, наконец, по Радикал Канси.
В исходном наборе символов Big5 не хватало многих часто используемых символов. Для решения этой проблемы каждый производитель разработал собственное расширение. Расширение ETen стало частью текущего стандарта Big5 благодаря своей популярности.
Структура Big5 не соответствует стандарту ISO 2022, но имеет определенное сходство с кодировкой Shift JIS. Это двухбайтовый набор символов (DBCS) со следующей структурой:
| Первый байт («ведущий байт») | от 0x81 до 0xfe (или от 0xa1 до 0xf9 для не- определяемые пользователем символы) |
| Второй байт | от 0x40 до 0x7e, от 0xa1 до 0xfe |
(префикс 0x обозначает шестнадцатеричные числа).
Стандартные назначения (за исключением расширений, определяемых поставщиком или пользователем) не используют байты от 0x7F до 0xA0 или 0xFF как ведущие (первые) или конечные (вторые) байты. Байты с 0xA1 по 0xFE используются как для начальных, так и для конечных байтов для двухбайтовых (Big5) кодов. Байты с 0x40 по 0x7E используются как конечные байты, следующие за старшим байтом, или для однобайтовых кодов в противном случае. Если второй байт не входит ни в один из диапазонов, поведение не указано (т. Е. Варьируется от системы к системе). Кроме того, некоторые варианты набора символов Big5, например HKSCS, используют расширенный диапазон для ведущего байта, включая значения в диапазоне от 0x81 до 0xA0 (аналогично Shift JIS), тогда как другие используют сокращенный диапазон диапазоны байтов (например, вариант Apple Macintosh использует коды от 0xFD до 0xFF в качестве однобайтовых кодов, ограничивая диапазон ведущих байтов от 0xA1 до 0xFC).
Числовое значение отдельных кодов Big5 часто указывается как 4 -цифровое шестнадцатеричное число, которое описывает два байта, которые составляют код Big5, как если бы эти два байта были big endian представлением 16-битного числа. Например, код Big5 для полноразмерного пространства, которым являются байты 0xa1 0x40, обычно записывается как 0xa140 или просто A140.
Строго говоря, кодировка Big5 содержит только символы DBCS. Однако на практике коды Big5 всегда используются вместе с неопределенным, системно-зависимым однобайтовым набором символов (ASCII или 8-битным набором символов, таким как кодовая страница 437 ), так что вы найдете смесь символов DBCS и однобайтовых символов в тексте, закодированном в Big5. Байты в диапазоне от 0x00 до 0x7f, которые не являются частью двухбайтового символа, считаются однобайтовыми символами. (Более подробное описание этой проблемы см. Ниже в разделе «Соответствие SBCS».)
Значение однобайтов, отличных от ASCII, за пределами разрешенных значений, которые не являются частью двухбайтовых характер меняется от системы к системе. В старых системах на основе MSDOS они, вероятно, будут отображаться как 8-битные символы; в современных системах они могут дать непредсказуемые результаты или сгенерировать ошибку.
В исходной Big5 кодировка разделена на разные зоны:
| от 0x8140 до 0xa0fe | Зарезервировано для определяемых пользователем символов造字 |
| от 0xa140 до 0xa3bf | «Графические символы» 圖形 碼 |
| 0xa3c0 до 0xa3fe | Зарезервировано, не для определяемых пользователем символов |
| от 0xa440 до 0xc67e | Часто используемые символы 常用 字 |
| от 0xc6a1 до 0xc8fe | Зарезервировано для определяемых пользователем символов |
| от 0xc940 до 0xf9d5 | Менее часто используемые символы 次 常用 字 |
| 0xf9d6 to 0xfefe | Зарезервировано для определяемых пользователем символов |
«Графические символы» фактически включают знаки препинания, частичные знаки препинания (например, половина тире, половина многоточия; см. Ниже), дингбаты, иностранные символы и другие специальные символы (например, презентационные «полноширинные» формы, цифры для чисел Сучжоу, zhuyin fuhao и т. Д.)
In в большинстве расширений поставщиков расширенные символы помещаются в различные зоны, зарезервированные для определяемых пользователем символов, каждая из которых обычно считается связанной с предыдущей зоной. Например, ожидается, что дополнительные «графические символы» (например, знаки препинания) будут помещены в диапазон 0xa3c0–0xa3fe, а дополнительные логограммы будут размещены либо в диапазоне 0xc6a1–0xc8fe, либо в диапазоне 0xf9d6–0xfefe. Иногда это невозможно из-за добавления большого количества расширенных символов; например, буквы кириллицы и японские кана были помещены в зону, связанную с «часто используемыми символами».
Отдельный код Big5 не всегда представляет собой полную семантическую единицу. Коды Big5 логограмм всегда являются логограммами, но коды в разделе «графические символы» не всегда являются полными «графическими символами». Big5 кодирует конкретные графические представления символов или части символов, которые помещаются в пространство, занимаемое двумя моноширинными символами ASCII. Это свойство наборов двухбайтовых символов, обычно используемых в вычислениях CJK (китайский, японский и корейский), и не является уникальной проблемой Big5.
(Вышеупомянутое может потребовать некоторого объяснения, представив его в исторической перспективе, поскольку это теоретически неверно: в те времена, когда персональные вычисления в текстовом режиме еще были нормой, символы обычно представлялись как отдельные байты, и каждый символ занимал одну позицию на экране. Таким образом, существовала практическая причина настаивать на том, чтобы двухбайтовые символы занимали две позиции на экране, а именно, что стандартное программное обеспечение американского производства можно было бы использовать без модификации в системе на основе DBCS.. Если символ может занимать произвольное количество позиций на экране, программное обеспечение, которое предполагает, что один байт текста занимает одну позицию на экране, произведет неправильный вывод. Конечно, если бы компьютеру никогда не приходилось иметь дело с текстовым экраном, производитель не стал бы применять это искусственное ограничение; Apple Macintosh является примером. Тем не менее, сама кодировка должна быть спроектирована так, чтобы она корректно работала в системах с текстовым экраном.)
Чтобы проиллюстрировать этот момент, рассмотрим код Big5 0xa14b (…). Для англоговорящих это выглядит как многоточие, и стандарт Unicode определяет его как таковой; однако в китайском языке многоточие состоит из шести точек, которые помещаются в пространство двух китайских иероглифов (……), поэтому на самом деле нет кода Big5 для китайского многоточия, а код Big5 0xa14b представляет собой лишь половину китайского многоточия. Он представляет собой только половину многоточия, потому что весь многоточие должен занимать пространство двух китайских символов, а во многих системах DBCS один символ DBCS должен занимать ровно пространство одного китайского символа.
Символы, закодированные в Big5, не всегда представляют вещи, которые можно легко использовать в текстовых файлах; Примером может служить «знак цитирования» (0xa1ca, ﹋), который, если он используется, должен быть набран под названием литературного произведения. Другой пример - цифры Сучжоу, которые представляют собой форму научной записи, которая требует, чтобы число было представлено в двумерной форме, состоящей как минимум из двух строк.
На практике Big5 не может использоваться без соответствующего однобайтового набора символов (SBCS) ; в основном это связано с соображениями совместимости. Однако, как и в случае с другими наборами символов CJK DBCS, используемый SBCS никогда не указывался. Big5 всегда определялся как DBCS, хотя при использовании он должен сочетаться с подходящим, неопределенным SBCS и, следовательно, использоваться как то, что некоторые люди называют MBCS ; тем не менее, Big5, по определению, является строго DBCS.
Неуказанный SBCS для использования означает, что используемый SBCS теоретически может варьироваться от системы к системе. В настоящее время ASCII - единственный возможный SBCS, который можно использовать. Однако в старых системах на основе DOS кодовая страница с его дополнительными специальными символами в области управляющего кода, включая позицию 127, была гораздо более распространена. Тем не менее, в системе Macintosh с комплектом китайского языка или в системе Unix с эмулятором терминала cxterm, SBCS в паре с Big5 не будет кодовой страницей 437.
Вне допустимого диапазона Big5, старый Системы на основе DOS обычно интерпретируют вещи в соответствии с SBCS, который связан с Big5 в этой системе. В таких системах, например, символы с 127 по 160, скорее всего, не избегались, потому что они приводили к недопустимому Big5, но использовались, потому что они были бы допустимыми символами на кодовой странице 437.
Современная характеристика Big5 как Следовательно, MBCS, состоящий из DBCS Big5 и SBCS ASCII, исторически неверен и потенциально ошибочен, поскольку выбор подходящего SBCS был и теоретически остается совершенно независимым от используемого варианта Big5.
Неспособность ASCII поддерживать большие наборы символов, такие как используемые для китайского, японского и корейского языков, побудила правительства и промышленность искать творческие решения для поддержки своих языков. для визуализации на компьютерах. Разнообразие специальных и обычно закрытых методов ввода привело к попыткам разработать стандартную систему. В результате кодирование Big5 было определено Институтом информационной индустрии Тайваня в 1984 году. Название «Big5» означает признание того, что стандарт появился в результате сотрудничества пяти крупнейших тайваньских ИТ-компаний: Acer (宏碁 ); MiTAC (神通); JiaJia (佳佳), ZERO ONE Technology (零 壹 или 01tech ); и First International Computer (FIC) (大眾).
Big5 стал быстро популяризироваться на Тайване и во всем мире среди китайцев, которые использовали традиционный китайский набор символов благодаря его принятию в нескольких коммерческих программных пакетах, в частности, E-TEN Chinese DOS система ввода (ETen китайская система ). Правительство Китайской Республики объявило Big5 своим стандартом в середине 1980-х, так как к тому времени это был стандарт де-факто использования традиционного китайского языка на компьютерах.
Исходная «Большая пятерка» включает только логограммы CJK из двух списков «常用 國 字 標準 字體 表 ; cháng yòng gúo zì bīao zhǔn zì tĭ bǐao» ( 4808 символов) и «次 常用 國 字 標準 字體 表 ; cì cháng yòng gúo zì bīao zhǔn zì tĭ bǐao» (6343 символа), но не буквы из имен людей, географических названий, диалектов, химия, биология, японский кана. В результате, многие программы поддержки Большой пятерки включают расширения для решения проблем.
Множество вариантов делают UTF-8 или UTF-16 более согласованной кодовой страницей для современного использования.
В китайской операционной системе ETEN (倚天) добавлены следующие кодовые точки, чтобы сделать ее совместимой с IBM5550 кодовая страница:
В некоторых версиях Eten есть дополнительные графические символы и упрощенный китайский персонажей.
Microsoft (微軟) создали свою собственную версию расширения Big5 как Кодовую страницу 950 для использования с Microsoft Windows, которая поддерживает Расширения ETEN, но только кодовые точки F9D6-F9FE. В Windows ME символ валюты евро был сопоставлен с кодовой точкой большой пятерки A3E1, но не в более поздних версиях операционной системы.
После установки патча Microsoft HKSCS поверх традиционной китайской Windows (или любой версии Windows 2000 и выше с соответствующим языковым пакетом) приложения, использующие кодовую страницу 950, автоматически используют скрытую кодовую страницу 951 Таблица. Таблица поддерживает все кодовые точки в HKSCS-2001, за исключением кодовых точек совместимости, указанных в стандарте.
Кодовая страница 950, используемая Windows 2000 и Windows XP, сопоставляет символы хираганы и катаканы с блоком области частного использования Unicode, когда экспорт в Unicode, но в соответствующие блоки Unicode хирагана и катакана в Windows Vista.
шрифты (中國 海 字 集) - это традиционные китайские шрифты, созданные ChinaSea. Шрифты редко продаются отдельно, но поставляются в комплекте с другими продуктами, такими как китайская версия Microsoft Office 97. Шрифты поддерживают японские символы kana, kokuji и другие символы, отсутствующие в Big-5. В результате расширения ChinaSea стали более популярными, чем расширения, поддерживаемые государством. Некоторые Гонконгские BBS использовали кодировки шрифтов ChinaSea до появления HKSCS.
Шрифт «Sakura» (日和 字 集 Sakura Version) разработана в Гонконге и предназначена для совместимости с HKSCS. Он добавляет поддержку кокудзи и проприетарных дингбатов (включая Doraemon ), которых нет в HKSCS.
Unicode-at-on (Unicode 補 完 計畫 ), ранее называвшееся расширением BIG5, расширяет BIG-5, изменяя таблицы кодовых страниц, но использует расширения ChinaSea, начиная с версии 2. Однако с банкротством ChinaSea, поздним развитием и растущей популярностью HKSCS и Unicode (проект несовместим с HKSCS), успех этого расширения в лучшем случае ограничен.
Несмотря на проблемы, символы, ранее сопоставленные с областью частного использования Unicode, повторно отображаются на стандартизованные эквиваленты при экспорте символов в формат Unicode.
Веб-сайты Oriental Daily News и Sun Daily, принадлежащих Oriental Press Group Limited (東方 報業 集團 有限公司) в Гонконге использовался загружаемый шрифт с кодировкой расширения Big-5, отличной от HKSCS.
Министерство образования Тайваня предоставило свой собственный шрифт, шрифт Министерства образования Тайваня (臺灣 教育部 造字 檔) для внутреннего использования.
Тайвань представил специальный 133-символьный шрифт Тайваньского совета по сельскому хозяйству (臺灣 農委會 常用 中文 外 字), который включает 84 символа из 'рыбы радикал и 7 от радикала птицы.
(中文 數 位 化 技術 推廣 委員會) представил Big5 + в 1997 году, который использовал более 20000 кодовых точек для включения всех логограмм CJK в Unicode 1.1. Однако дополнительные кодовые точки превышают исходное определение Big-5 (Big5 + использует старшие байтовые значения 81-FE и младшие байтовые значения 40-7E и 80-FE), что не позволяет установить его в Microsoft Windows без новых файлов кодовых страниц.
Чтобы позволить пользователям Windows использовать пользовательские шрифты, представленный Big-5E, который добавил 3954 символа (в трех блоках кодовых точек: 8E40-A0FE, 8140-86DF, 86E0-875C) и удалил японскую кана из расширения ETEN. В отличие от Big-5 +, Big5E расширяет Big-5 в пределах своего первоначального определения. Mac OS X 10.3 и более поздние версии поддерживают Big-5E в шрифтах LiHei Pro (儷 黑 Pro.ttf) и LiSong Pro (儷 宋 Pro.ttf).
Они сделали определение Big5 и поместили его в CNS 11643 в форме примечания, сделав его частью официального стандарта Тайваня.
Big5-2003 включает все символы Big-5, представленные в расширениях ETEN 1984 года (кодовые точки A3C0-A3E0, C6A1-C7F2 и F9D6-F9FE) и символ евро. Кириллические символы не были включены, поскольку, по утверждениям официальных органов, CNS 11643 не включает такие символы.
Academia Sinica создала китайский шрифт обработки данных (漢字 構 形 資料 庫) в конце 1990-х годов, последний выпуск версии 2.5 включал 112 533 символа, некоторые меньше, чем шрифты Mojikyo.
Гонконг также принял Big5 для кодировки символов. Однако в письменном кантонском диалекте есть свои символы, недоступные в обычном наборе символов Big5. Чтобы решить эту проблему, Правительство Гонконга создало расширения Big5 Government Chinese Character Set (GCCS) в 1995 году и Гонконгский дополнительный набор символов в 1999 году. Расширения Гонконга обычно распространялись в виде патча. Он все еще распространяется как патч Microsoft, но полный шрифт Unicode также доступен на веб-сайте правительства Гонконга.
Существует две схемы кодирования HKSCS: одна схема кодирования предназначена для стандарта кодирования Big-5, а другая - для стандарта ISO 10646. После первоначального выпуска существуют также HKSCS-2001 и HKSCS-2004. HKSCS-2004 технически согласован с ISO / IEC 10646: 2003 и поправкой 1 к нему, опубликованной в апреле 2004 года Международной организацией по стандартизации (ISO).
HKSCS включает все символы из общего расширения ETEN, а также некоторые символы из упрощенного китайского, географические названия, имена людей и кантонские фразы (включая ненормативную лексику ).
По состоянию на 2020 год последней версией HKSCS является HKSCS-2016; однако последней версией HKSCS, кодирующей все свои символы в Big5, была HKSCS-2008, в то время как символы, добавленные в более поздних редакциях, отображаются только в ISO 10646 / Unicode (как CJK Unified Иероглифы горизонтальное расширение глифа там, где это необходимо). Кроме того, аналогично ситуации в Гонконге, существуют также символы, которые необходимы Макао, но не включены ни в Big5, ни в HKSCS, поэтому был разработан дополнительный набор символов Макао, включающий символы, которых нет в Big5 или HKSCS; это, однако, также не закодировано в Big5. Первая партия из 121 символа MSCS была представлена для включения в отображение в Unicode в 2009 году, а первая финальная версия MSCS была создана в 2020 году.
Есть два основных Макеты расширения Big5 для кодирования кана, русской кириллицы и маркеров списка в диапазоне от 0xC6A1 до 0xC875. Они несовместимы друг с другом. Они сравниваются в таблице ниже.
Макет каны и кириллицы ETEN также используется HKSCS (включая HTML5 ) и вариантами Unicode-At-On, а также макетом ETEN каны (без кириллицы) также используется в варианте Big5-2003. Опубликованные файлы сопоставления для Windows-950 не содержат ни одного, и этот диапазон Big5 сопоставлен с областью частного использования реализацией Windows-950 из международных компонентов для Unicode. Кодек Python cp950использует макет BIG5.TXT.
| коды Big5 от 0xC6A1 до 0xC875 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
