文字コードとは、UTF-⁠8 と文字化けの仕組み

文字コードはどう動いているのか

文字コードは「文字に番号を振る段」と「番号をバイトに直す段」の 2 段でできています。番号をバイトに直すことをエンコード (符号化)、バイトから文字に戻すことをデコードと呼びます。

文字に番号を振る Unicode

Unicode (世界中の文字に 1 つずつ番号を振った表) は、文字ごとに符号位置 (コードポイント、文字の番号) を決めています。書き方は U+ の後ろに 16 進数を並べる形で、英字の A は U+0041 です。Unicode の FAQ によると、使える範囲は U+0000 から U+10FFFF までで、Unicode 2.0 (1996年7月) からこの範囲になりました。

Python では、文字から番号を出すのが ord、番号から文字を出すのが chr です。Python の文字列 (str) は、この符号位置の並びです。

英数字の土台の ASCII と制御文字

ASCII (英数字と記号の古い表) は 0〜127 の番号で、Unicode の U+0000〜U+007F と同じ並びです。そのうち 0〜31 番の 32 字は、画面に字を出さずに改行やタブのような動きを指す制御文字で、RFC 20 (ASCII を定めた IETF の文書) の表の 0 列と 1 列に並んでいます。

'A' 65
' ' 32
'\t' 9
'\r' 13
'\n' 10
b'1,2\r\n'

タブは 9 (HT)、CR (行の頭に戻す) は 13、LF (次の行へ送る) は 10 です。行の終わりが CR と LF の 2 字か LF の 1 字かの違いも、画面では見えない番号の違いです。

番号をバイトに直す UTF-8

UTF-8 は、符号位置をバイト (8 ビットのまとまり) の並びに直す決まりの 1 つで、番号が大きいほどバイトが増えます。何バイトになるかは、RFC 3629 (UTF-8 を定めた IETF の文書) の表で決まっています。

ただし 3 バイトの範囲のうち U+D800〜U+DFFF は、UTF-16 (別の符号化方式) が 2 つ組で使うために取ってある番号 (サロゲート) で、文字そのものは表しません。RFC 3629 は、この範囲を UTF-8 で書くことを禁じています。

2 バイト目から後ろはどれも 10xxxxxx の形で、先頭のバイトの頭の 1 の数がバイト数を表します。だから読む側は、先頭の 1 バイトでどこまでが 1 文字かが分かります。

日本語で使う文字コードの種類

日本語の文字コードは今は UTF-8 が中心で、古いファイルには Shift_JIS、EUC-JP、ISO-2022-JP が残っています。ブラウザの文字コードを定める WHATWG の Encoding Standard は、この 3 つを古い日本語の文字コードとしてまとめ、新しい形式には UTF-8 を求めています。同じ「あ」でも、決まりごとにバイトが違います。

shift_jis 2
  82 a0
euc_jp 2
  a4 a2
iso2022_jp 8
  1b 24 42 24 22 1b 28 42
utf-8 3
  e3 81 82
utf-16-le 2
  42 30

ISO-2022-JP の 8 バイトのうち、頭の 1b 24 42 は日本語の表に切り替える印、終わりの 1b 28 42 は ASCII に戻す印で、「あ」そのものは真ん中の 24 22 です。この 2 つの印は WHATWG の書き手の手順にも書いてあります。UTF-16 の 42 30 は、U+3042 を小さい桁から並べた物です。