CHARSETS

名前

説明

ここで扱う標準としては ASCII, GB 2312, ISO 8859, JIS, KOI8-R, KS, Unicode がある。

主な対象はロケール文字集合で実際に使用されていた文字集合についてであり、他のシステムで作成されたデータで使われていた無数の他の文字集合についてではない。  

ASCII

ドイツ語、フランス語、スペイン語などに 7 ビットで対応するため、 ASCII のドル記号を他の通貨記号に置き換え、 句読点を非英語文字のものに置き換えた様々な変種が登場した。 これらはすべて非推奨である。 glibc は ASCII の完全なスーパーセットでない文字セットのロケールに対応していない。

UTF-8 を使う場合、Unicode は ASCII と互換性があるので、 通常の ASCII テキストは新しい UTF-8 を使ったシステムでもそのまま正しく表示することができる。  

ISO 8859

これらのうち、最も重要なのは ISO 8859-1 ("Latin Alphabet No .1" / Latin-1) である。 ISO 8859-1 は広く採用され、様々なシステムでサポートされていたが、 徐々に Unicode で置き換えれている。 ISO 8859-1 文字集合は Unicode の最初の 256 文字でもある。

コンソールにおける、その他の 8859 文字集合のサポートは (setfont(8)) のようなユーザーモードユーティリティを利用する事で可能になる。 このようなユーティリティを利用することにより、コンソールドライバにおけ るキーボードと EGA グラフィックテーブルの割り当てを変更し、 "ユーザー割り当て(user mapping)"フォントテーブルを使用することができる。

以下は、それぞれの集合の簡単な説明である。

8859-1 (Latin-1)

Latin-1 は アルバニア語 (Albanian)、バスク語 (Basque)、デンマーク語 (Danish)、英語 (English)、フェロー語 (Faroese)、ガリシア語 (Galician)、アイスランド語 (Icelandic)、アイルランド語 (Irish)、イタリア語 (Italian)、ノルウェー語 (Norwegian)、ポルトガル語 (Portuguese)、スペイン語 (Spanish)、スウェーデン語 (Swedish) といった多くの西ヨーロッパ言語をカバーする。 オランダ語の IJ/ij やフランス語の œ といった合字や古いスタイルの „German“ 引用符が欠けている点は以前は許容範囲と考えられていた。

8859-2 (Latin-2)

Latin-2 は、ボスニア語 (Bosnian)、クロアチア語 (Croatian)、チェコ語 (Czech)、ドイツ語 (German)、ハンガリー語 (Hungarian)、ポーランド語 (Polish)、スロヴァキア語 (Slovak)、スロベニア語 (Slovene) といった、 ラテン文字を書き文字として使用する多くの中央、東ヨーロッパの言語をサポートする。 以前は、ルーマニア語の ș/ț を ş/ţ で置き換えるのは許容範囲と考えられていた。

8859-3 (Latin-3)

Latin-3 は、エスペラント語 (Esperanto)、マルタ語 (Maltese)、トルコ語 (Turkish) に対応するために設計されたが、 トルコ語に関しては後に 8859-9 に取って代わられた。

8859-4 (Latin-4)

Latin-4 は、エストニア語 (Estonian)、ラトビア語 (Latvian)、リトアニア語 (Lithuanian) といった北ヨーロッパの言語の文字を提供していたが、 8859-10 と 8859-13 に取って代わられた。

8859-5

ブルガリア語 (Bulgarian)、ベラルーシ語 (Byelorussian)、マケドニア語 (Macedonian)、ロシア語 (Russian)、セルビア語 (Serbian) をサポートし、 ウクライナ語 (Ukrainian) を (ほぼ完全に) サポートするキリル文字集合である。 この文字集合が広く使われたことはなかった。 下の KOI8-R/KOI8-U に関する議論を参照のこと。

8859-6

アラビア語 (Arabic) をサポートするために作成された。 8859-6 のグリフテーブル (glyph table) は文字の形態を分割した固定幅フォントである。 そのため、適切なディスプレイエンジンと組み合わせ、 正しい initial, medial, final フォームに結合しなければならない。

8859-7

現代ギリシャ語用として 1987 年に作成され、 2003 年に更新された。

8859-8

niqud (句読点記号) のない現代ヘブライ語 (Hebrew) をサポートする。 niqud と完全な聖書風ヘブライ語 (Biblical Hebrew) はこの文字セットの対象外である。

8859-9 (Latin-5)

これは、Latin-1 の変種で、アイスランド語の文字をトルコ語(Turkish)文字に 置き換えたものである。

8859-10 (Latin-6)

Latin-6 は、 北欧 (Nordic) 地域を完全にカバーするために Latin-4 には含まれていないイヌイット語 (Inuit) (グリーンランド語 (Greenlandic)) と サーメ語 (Sami) (ラップ語 (Lappish)) を追加していた。

8859-11

タイ語のアルファベットをサポートし、 TIS-620 標準とほとんど同一である。

8859-12

この文字集合は存在しない。

8859-13 (Latin-7)

バルト海諸国の言語をサポートする。 特に、Latin-4 に存在しないラトビア語の文字を含む。

8859-14 (Latin-8)

これは、 ケルト語の文字セットであり、古代アイルランド語 (Old Irish)、マン島語 (Manx)、ゲール語 (Gaelic)、ウェールズ語 (Welsh)、コーンウォール語 (Cornish)、ブルターニュ語 (Breton) に対応する。

8859-15 (Latin-9)

Latin-9 は、広く使用されている Latin-1 に似ているが、 いくつかのあまり使用されないシンボルを、 ユーロ記号と Latin-1 に入っていないフランス語とフィンランド語の文字に置き換えている。

8859-16 (Latin-10)

この文字セットは多くの東南ヨーロッパの言語に対応しており、もっとも重要なのはルーマニア語にはより完全に対応している点である。

KOI8-R / KOI8-U

Linux での KOI8-R のコンソールサポートは、 ユーザーモードのユーティリティで実現されている。 これはキーボードの割り当てと EGA グラフィックテーブルを変更し、 コンソールドライバのフォントテーブルに "ユーザー割り当て" を行う。  

GB 2312

Big5

JIS X 0208

KS X 1001

ISO 2022 and ISO 4873

G0, G1, G2, G3 と呼ばれる 4 つの図形文字集合がある。 これらのうちのひとつは、最上位ビットが 0 であるコードのための現在の文字集合 (初期値は G0)、またひとつは最上位ビットが 1 であるコードのための現在の 文字集合(初期値は G1)である。それぞれの図形文字集合は 94 か 96 の文 字を持ち、基本的に 7-bitの文字集合であり、040-0177 (041-0176) か 0240-0377 (0241-0376)のコードを使う。 G0 は常に 94 文字で 041-0176 のコードを使用する。

文字集合の切り替えはシフトファンクション haN (SO または LS1), haO (SI または LS0), ESC n (LS2), ESC o (LS3), ESC N (SS2), ESC O (SS3), ESC ~ (LS1R), ESC } (LS2R), ESC | (LS3R) を使って行われる。 ファンクション LSn は最上位ビットが 0 であるコードのための文字集合を Gn に設定する。 ファンクション LSnR は最上位ビットが 1 であるコードのための文字セットを Gn に設定する。 ファンクション SSn は(最上位ビットの値にかかわらず)次の文字のみ 文字集合を Gn (n=2 または 3)に設定する。

94 文字集合では、エスケープシーケンス ESC ( xx (G0 用), ESC ) xx (G1 用), ESC * xx (G2 用), ESC + xx (G3 用) によって、Gn 文字集合 を用いるように指示される。 xx は "ISO 2375 International Register of Coded Character Sets" で 決められている一文字、または二文字である。 たとえば ESC ( @ は ISO 646 文字集合を G0 として選び、ESC ( A は(ナンバーサイン(＃)の代わりに、ポンド(£)を持つ) UK スタンダード文字集合を 選択する。ESC ( B は(通貨記号のかわりにダラー(＄)を持つ) ASCIIを選択する。 ESC ( M は アフリカ言語(African languages) を選択し、ESC ( ! A は キューバ語(Cuban)文字集合を選択する。などなど…

96-文字集合では、エスケープシーケンス ESC - xx (G1 用), ESC . xx (G2 用), ECS / xx (G3 用)を用いることで、 Gn 文字集合を使用するように指示される。 例えば、ESC - G はヘブライアルファベット(Hebrew alphabet) を G1 として選択する。

マルチバイト文字集合ではエスケープシーケンス E $ xx または ESC $ ( xx (G0 用), ESC $ ) xx (G1 用), ESC $ * xx (G2 用), ESC$ + xx (G3 用) を 用いることで、 Gn 文字集合を使用するように指示される。 例えば、ESC $ ( C は 韓国語(Korean)文字集合を G0 として選択する。 ESC $ B によって選択される日本語文字セットは、より最近のバージョンでは ESC & @ ESC $ B によって選択されるようになった。

ISO 4873 はより制限された文字集合の利用を規定する、その規定では、G0 は(常に ASCIIに)固定される。従って、G1, G2, G3 は最上位ビットがセットされたコードとしてのみ呼び出すことができる。特に、haN と haO は用いられず、ESC ( xx は xx=B としてのみ用いることができ、 ESC ) xx, ESC * xx, ESC + xx はそれぞれ ESC - xx, ESC . xx, ESC / xx と等価になる。  

TIS-620

Unicode

Linux は 8-bit Unicode Transformation Form(UTF-8) を用いて Unicode を あらわす。 UTF-8 は Unicode の可変長表現である。UTF-8 は 7 ビットを 符号化するのに 1 バイトを、 11 ビットでは 2 バイトを、 16 ビットでは 3 バイトを、 21 ビットでは 4 バイトを、 26 ビットでは 5 バイトを、 31 ビットでは 6 バイトを用いる。

0,1,x をゼロ、１、任意のビットとすると、あるバイト 0xxxxxxx は Unicode では 00000000 0xxxxxxx とあらわされる。これは、ASCII の 0xxxxxxx と同じ シンボルのコードである。このように、ASCII は変更なしに UTF-8 に変換でき、 ASCII のみを使う場合は、コードにおいてもファイルサイズにおいても、 変更に関して何も気にしなくてよい。

110xxxxx というバイトは 2 バイトコードの始まりである、そして、110xxxxx 10yyyyyy は 00000xxx xxyyyyyy というように組み立てられる。また、 1110xxxx は 3 バイトコードの始まりであり、1110xxxx 10yyyyyy 10zzzzzz は xxxxyyyy yyzzzzzz というように組み立てられる(UTF-8 が 31 ビット ISO 10646 コードを利用するときは、この工程は 6 バイトコードまで発展させられる)。

ISO 8859 文字集合を使ったほとんどのテキストでは、このことは、ASCII の範囲外を使った文字は二つのバイトに符号化されるということを意味する。 (UTF-8 を使うと、ISO-8859 を使用している) 元々のテキストファイルのサイズから 1 〜 2 パーセント大きくなってしまうことになる。ロシア語やギリシャ語のテキストでは、これによって元のテキストは 2 倍の大きさになることになる。なぜなら、 これらの言語の文字のほとんどが ASCII の範囲外だからである。日本語のユーザーの場合には、現在広く利用されている 16 ビットコードに 3 バイト必要ということだ。いくつかの文字集合 (特に ISO 8859-1) から Unicode への変換はアルゴリズムで行うことができるが、汎用的な変換には変換テーブルが必要であり、 16 ビットコードの場合はこのテーブルはかなり大きなものとなる。

UTF-8 は自己同期的である。10xxxxxx は終端であり、ほかのバイトはコードの 先頭である。UTF-8 の文字列における ASCII のバイトは、常にその文字自身を 表現することに注目してほしい。特に、幾つかの大きなコードのパートを形成 するために、NUL ('\0') や '/' を埋め込む必要はない。

ASCII と NUL と '/' は変更されないため、カーネルは UTF-8 を 使用していることを特に意識しなくても良い。 カーネルはバイトが何をあらわしているかに注意する必要がない。

Unicode データ列のレンダリングは典型的には Unicode のサブセットからグリフへのマップである"サブフォント (subfont)" テーブルを利用して行われる。 カーネル内部では、Unicode を使ってビデオ RAM 内部にロードされたサブフォントを記述している。 これは、 UTF-8 モードの Linux コンソールでは 512 個の異なったシンボルを持った文字集合を利用できることを意味する。 これは、 日本語、中国語、韓国語では十分ではないが、 その他のほとんどの目的では十分である。  

関連項目

この文書について

関連キーワード

Linux マニュアル 一覧

[man1] [man2] [man3] [man4] [man5] [man6] [man7] [man8]
[a] [b] [c] [d] [e] [f] [g] [h] [i] [j] [k] [l] [m] [n] [o] [p] [q] [r] [s] [t] [u] [v] [w] [x] [y] [z]

Index

名前

説明

ASCII

ISO 8859

KOI8-R / KOI8-U

GB 2312

Big5

JIS X 0208

KS X 1001

ISO 2022 and ISO 4873

TIS-620

Unicode

関連項目

この文書について