exFATファイルシステムのしくみと操作法

1. はじめに
2. exFATボリュームの構成
3. ブートセクタ
4. FATとアロケーションビットマップ
5. 大文字変換テーブル
6. ディレクトリエントリ
7. ディレクトリの操作
8. ストレージ(物理ドライブ)のパーテーショニング

はじめに

exFATファイルシステム(Microsoft Extended FAT Filesystem)は、リムーバブルメディアの事実上の標準ファイルシステムであるFATファイルシステム(FAT/FAT32)を置き換える目的で開発されました。このような事情から、exFATファイルシステムは各システムが容易に対応できるように多くの部分でFATファイルシステムと同じ技術を採用しています。このドキュメントでもFATファイルシステムとの違いを中心に解説していきますので、読むに当たってはFATファイルシステムについて十分に理解している必要があります。FATファイルシステムに対するexFATファイルシステムのアドバンテージのうち主なものを次に示します。

• ファイルサイズを64ビット値で管理することにより、4GB以上のファイルに対応。
• ボリュームサイズを64ビットLBAで管理することにより、2TB以上のストレージに対応。
• アロケーションビットマップの採用により、空きクラスタ検索の効率を改善。
• クラスタサイズの拡張(最大32MB)により、ファイルアクセスの効率を改善。
• タイムスタンプのUTCへの対応(オプション)。
• トランザクションセーフファイルシステム(TexFAT)への対応(WindowsCEオプション)。

ドキュメント中の表記について

"0x"で始まる数値は16進数とし、それ以外の数値は10進数とします。

各単位の接頭辞"K"は2¹⁰とします。同様に"M"は2²⁰、"G"は2³⁰、"T"は2⁴⁰とします。

このドキュメントに含まれるプログラムコードの断片はC言語を想定して書かれていますが、文法には厳密ではありません。

プログラムコードの断片には、32ビット値と16ビット値が適当に混在しています。プログラマは型変換によるデータの欠落を認識しそれを避ける方法を知っていることとします。また、全てのデータ型は符号無しとします。符号付きで計算すると意図しない結果になることがあるので行ってはいけません。

exFATボリュームの構成

exFATファイルシステムの論理ボリュームは3つの領域で構成され、各領域は複数のセクタで構成されます。それぞれの領域はボリューム上に次の順に配置されます。(exFATボリュームマップ)

1. ブート領域 (ボリュームの構成データ)
2. FAT領域 (不連続チェーンの記録のみ)
3. データ領域 (ファイル、ディレクトリ、その他システム構造体が格納される)

ブートセクタ

ボリューム管理データは、FATファイルシステムと同様にブートセクタに記録されます。exFATボリュームでは、12セクタで一つのブートセクタを構成し、これがメインとバックアップの2セット計24セクタでボリューム先頭のブート領域に配置されます。各領域の配置やクラスタ数などのパラメータは明確に記録され、FATファイルシステムのような不明瞭さは無くなっています。

セクタ9はOEMパラメータ、セクタ10は予約です。これらもシステム依存フィールドで、未使用時は全てゼロで埋められます。セクタ11はセクタ0～10の32ビットチェックサム値で埋められます。以上12セクタで一つのブートセクタを構成し、セクタ12から同じ内容のセット(バックアップ)がもう一つ続きます。チェックサムの計算方法は次の通りです。なお、計算範囲のセクタは連続したバイト列として扱われ、実際にはVolumeFlagsとPercentInUseの各フィールドは除外(飛ばして計算)されます。

/* 32ビットチェックサム生成アルゴリズム */
uint32_t sum32 (const void* p, uint32_t n)
{
    uint32_t sum = 0;
    const uint8_t *dp = (const uint8_t*)p;

    do {
        sum = ((sum & 1) ? 0x80000000 : 0) + (sum >> 1) + *dp++;
    } while (--n);

    return sum;
}

/* 16ビットチェックサム生成アルゴリズム */
uint16_t sum16 (const void* p, uint32_t n)
{
    uint16_t sum = 0;
    const uint8_t *dp = (const uint8_t*)p;

    do {
        sum = ((sum & 1) ? 0x8000 : 0) + (sum >> 1) + *dp++;
    } while (--n);

    return sum;
}

FATとアロケーションビットマップ

FATエントリのサイズは32ビットで、各エントリの全ビットが使用されること以外はFAT32と同じですが、exFATではアロケーションビットマップが新たに採用されました。exFATでは、各クラスタの状態(使用中か空きか)をFATではなくビットマップで管理しています。ビットマップの先頭ビット(先頭バイトのLSB)が先頭クラスタ(クラスタ2)に対応します。あるクラスタに対応するビット値が1のときは、そのクラスタが使用中であることを示します。ビット値が0のときは未使用であることを示し、このときFAT値は意味を持ちません。これは、FAT値0でクラスタ未使用を示していたFATファイルシステムとの大きな違いとなっています。なお、クラスタが使用中でもファイルが特定の状態のときFAT値が意味を持たない(つまりFATアクセスの必要が無い)場合があります。これについては、後のセクションで解説します。次の表にある一つのクラスタにおいて、そのビット値とFAT値によって示されるクラスタの状態を示します。

アロケーションビットマップは、ファイルと同様にデータ領域に配置され、開始クラスタやサイズなどの配置情報は、ルートディレクトリ上のエントリ(後述)に記録されます。なお、アロケーションビットマップのサイズは、(ClusterCount + 7) / 8 バイトとなります。

大文字変換テーブル

ファイル名の扱いにおいて、FATファイルシステムのLFN拡張と同様に記録は大文字小文字を保持、マッチングは大文字小文字を無視という仕様になっています。このため、ディレクトリ検索時は全ての文字について大文字情報を得る必要があります。FATドライバでは大文字変換テーブルをドライバ側で用意していましたが、exFATでは「ボリューム上に保持」するようになっています。たぶん、新たに文字が定義されたときに備えているのでしょうが、exFATボリューム同士や他のファイルシステムとの互換性がどうなるのかは不明です。変換テーブルは、少なくとも a～z → A～Z の大文字情報を持つことになっていて、それ以外の文字についてはオプションです。Windowsのフォーマッタで作成したexFATボリュームを調べたところ、FATファイルシステムやNTFSと同じ変換となっていましたが、将来どうなるかは分かりません。

変換テーブルはBMPにのみ対応しているようで、U+0000～U+FFFFの単純なテーブルです。でも、65536項目ベタのテーブルで記録されているわけではなく、簡単な圧縮がかけられています。ロード手順は次の通りです。

void load_upcase (
    uint16_t dst[],  /* 展開先変換テーブル(U+0000～U+FFFF) */
    uint16_t src[],  /* ボリューム上の圧縮テーブル */
    uint16_t n_src   /* 圧縮テーブルのサイズ[項目数] */
)
{
    uint16_t c, si, di;

    /* 変換テーブルをデフォルト値で埋める */
    c = 0; do dst[c] = c; while (++c);

    si = di = 0;
    do {
        c = src[si++];        /* 変換値を1文字読み出し */
        if (c == 0xFFFF && si < n_src) {
            di += src[si++];  /* 途中にU+FFFFが現れたら続く値で示す範囲をスキップ */
        } else {
            dst[di++] = c;    /* 変換値をストア */
        }
    } while (si < n_src);
}

大文字変換テーブルは、ファイルと同様にデータ領域に配置され、開始クラスタやサイズなどの配置情報は、ルートディレクトリ上のエントリ(後述)に記録されます。

ディレクトリエントリ構造体

エントリタイプ

ルートディレクトリは、FAT32と同様にデータ領域に配置され、開始クラスタ番号はFirstClusterOfRootDirectoryで指定されます。ディレクトリエントリのサイズはFATファイルシステムと同じく32バイトで、ディレクトリの最大長は、256MB(8Mエントリ)です。各エントリの先頭バイト(EntryType)は、そのエントリのタイプを示します。このバイトは次の表に示すように、4つのフィールドから成ります。

このようにEntryTypeバイトはフィールドが細かく分かれているものの重要なのはその値です。次の表に主なエントリタイプの値を示します。最後の4タイプは通常のアクセスでは必要なかったり、exFAT 1.00では未定義だったりするオプションエントリなので、本ドキュメントでは説明しません。

各タイプで唯一共通なフィールドがEntryTypeで、それ以外のフィールドはタイプ毎に異なります。エントリを削除するときはFATファイルシステムのように0xE5を書き込むのではなく、InUseビットをクリアすることによって行います。また、FATファイルシステム同様、EntryTypeが0x00のときは、それ以降のエントリも全て0x00であることが保証され、無駄なアクセスを避けることができます。

アロケーションビットマップエントリ

アロケーションビットマップの配置情報が記録されるエントリです。このエントリはルートディレクトリに単独で配置されます。

大文字テーブルエントリ

大文字テーブルの配置情報が記録されるエントリです。このエントリはルートディレクトリに単独で配置されます。

ボリュームラベルエントリ

ボリュームラベルが記録されるエントリです。このエントリはルートディレクトリに単独で記録されます。存在しない場合または文字数が0の場合、ボリュームラベルはありません。ラベルに使用可能な文字は、ドットを含むファイルに使用可能なもの全てです。

ファイル・ディレクトリエントリ

ファイルの情報が記録されるエントリセットを構成するエントリの一つで、セットの開始を示すとともに主に属性やタイムスタンプ等の情報を保持します。エントリセットとは複数の連続したエントリのブロックのことで、ファイル・ディレクトリエントリ(1個)、ストリーム拡張エントリ(1個)、名前拡張エントリ(1～17個)の順に配置され、一つのエントリセットを構成します。

ストリーム拡張エントリ

ファイルの情報が記録されるエントリセットを構成するエントリの一つで、主にアロケーション情報を保持します。

名前拡張エントリ

ファイルの情報が記録されるエントリセットを構成するエントリの一つで、名前文字列を保持します。ファイル名に使用可能な文字はFATファイルシステムのLFN拡張と同じで、制御文字(U+0000～U+001F,U+007F)と" * / : < > ? \ |を除く全ての文字が使用可能です。8.3形式ファイル名は廃止されています。

参考までに実際のexFATボリュームのディレクトリのダンプを示します。ここで説明した各タイプのエントリがテーブルに格納される様子が分かると思います。

ディレクトリの操作

ファイルの作成

ファイルを作成するときは、ディレクトリテーブルの空きを探してその名前でエントリセットを作成します。エントリセットのFileAttributeフィールドにはArchiveビットをセットし、DataLengthフィールドの初期値は0、AllocationPossibleビットは常に1、NoFatChainビットの初期値は0です。

ファイルに初めて新しいクラスタが割り当てられたとき、そのクラスタ番号がFirstClusterにセットされます。このとき、NoFatChainビットには1をセットし、以降クラスタチェーンが連続している限りFATへの書き込みは行いません。チェーンの伸張に伴いチェーンが分断されたときは、FAT上に有効なチェーンを作成してNoFatChainビットをクリアします。なお、ファイルとサブディレクトリ以外の全てのクラスタチェーンは、常に有効なFATチェーンを持ちます。

ディレクトリの作成

サブディレクトリを作成するときは、その名前でエントリセットを作成し、FileAttributeフィールドにはDirectoryビットをセットします。ディレクトリには最初にクラスタを1個割り当て、割り当てられたクラスタは、全体を0で初期化(全て未使用状態)します。FATファイルシステムと異なり、exFATではサブディレクトリも有効なサイズ情報を持ちます。NoFatChainビットの扱いはファイルと同じです。テーブルの延長はクラスタ単位で行い、サイズは256MB(8Mエントリ)を越えることはできません。

FATボリュームのサブディレクトリ上に必ずあったドットエントリ(".", "..")はexFATでは廃止され、ファイルAPI上だけの論理的な存在になっています。このため、FATボリュームのようにこれを使って親ディレクトリを辿ることはできません。

ファイルの削除

ファイルを削除するときはそのファイルのエントリセットの各エントリのInUseビットをクリアしてエントリを解放します。ファイルにクラスタが割り当てられている場合、全て解放します。この際、FATを書き換える必要はなく、アロケーションビットマップの該当ビットをクリアするだけでOKです。

ディレクトリの削除

サブディレクトリの削除はファイルと同じですが、そのディレクトリにファイルが存在するときは削除することができません。もし空でないディレクトリが削除された場合、そのディレクトリ下にあるファイルの占めるクラスタが全てロストクラスタになってしまいます。ディレクトリを削除するときは、そのノード以下全てのオブジェクトを削除しなければなりません。

ストレージ(物理ドライブ)のパーテーショニング

FATファイルシステムでの解説と同じで、区画テーブル上のシステム種別の値はexFATでは0x07(NTFSと同じ)になります。ただし、2TB超のストレージはMBR形式(32ビットLBAで管理)で扱えないため、SFD形式でボリュームを配置するか、GPT形式でパーテーショニングする必要があります。