VFS and Block I/O VA Linux Systems Japan Hirotaka.Sasaki [email protected] Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. 目次 ● ファイルシステム概要 ● VFS（仮想ファイルシステム） ● ページキャッシュとバッファキャッシュ ● ブロックI/O共通レイヤ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ファイルシステム概要 Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. ファイルシステムとは？ 記憶デバイス上のデータをファイルという論理的な 構造で抽象化し利用するための機構 ● 論理的なファイルと物理的なディスクブロックの対応を管理 ● ファイルに対するアクセス要求を、ディスクブロックへのアク セス要求へ変換 ● ファイルの生成、拡張、削除に応じた、ディスクブロックの割 り当て Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ファイルシステムのレイヤ構造 システムコールエントリ open() read() write() lseek() close() … ＶＦＳ ｉノードキャッシュ ページキャッシュ ページキャッシュ I/O 共通ルーチン バッファキャッシュ バッファ I/O 共通ルーチン ｅｘｔ２ ｅｘｔ３ ｉｓｏ９６６０ ・ ・ ・ ブロック I/O 共通レイヤ Ｌｏｏｐ デバイス ＬＶＭ ｄｅｎｔｒｙキャッシュ ｐｒｏｃ ＮＦＳ kernel 内部データ ＲＰＣ ＴＣＰ／ＩＰ ＳｏｆｔＷａｒｅ Ｒａｉｄ ブロック型デバイスドライバ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ＮＩＣドライバ ＶＦＳの概要 read (ファイルB) read (ファイルA) ＶＦＳ sys_read() ｅｘｔ２用ファイル操作テーブル ｅｘｔ2用ファイルリード関数（） ｉｓｏ９６６０用ファイル操作テーブル iso9660用ファイルリード関数（） ｅｘｔ２ iso9660 ファイルA Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ファイルB さまざまなファイルシステム ● ローカルファイルシステム ー ローカルディスク上のファイルシステム － Ｌｉｎｕｘの標準はｅｘｔ２ファイルシステム － 他、ＦＦＳ（ＢＳＤ）、ＶＦＡＴ（Ｗｉｎ９８）、ｉｓｏ９６６０など多数 － ｅｘｔ３、ＸＦＳなどのジャーナリングＦＳもサポート ● ネットワークファイルシステム － ネットワークの先にあるファイルシステムを共有 － 代表的（Ｕｎｉｘ系）なものはＮＦＳ － 他、ＣＯＤＡ、ＳＭＢ、ＮＣＰ、Ｉｎｔｅｒｍｅｚｚｏなど ● 特殊なファイルシステム － ｐｒｏｃファイルシステム － ｋｅｒｎｅｌ内部データをファイルとして抽象化 Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ブロックＩ／Ｏ共通レイヤ ● ディスクブロックのアクセス要求をもとに ブロック型デバイスドライバを起動 ● ファイルシステム構造には関与しない ● バッファＩ／Ｏ要求のクラスタリング Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. さまざまなキャッシュ キャッシュによる処理の高速化 ● ページキャッシュ （ファイルデータのキャッシュ） ● バッファキャッシュ （ディスクブロックのキャッシュ） ● ｉノードキャッシュ ● ｄｅｎｔｒｙキャッシュ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ＶＦＳ Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. ＶＦＳのデータオブジェクト ● ｆｉｌｅ_ｓｙｓｔｅｍ_ｔｙｐｅオブジェクト ● ｓｕｐｅｒ_ｂｌｏｃｋオブジェクト ● ｉｎｏｄｅオブジェクト ● ｄｅｎｔｒｙオブジェクト ● ｆｉｌｅオブジェクト ● ａｄｄｒｅｓｓ_ｓｐａｃｅオブジェクト Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ｉノードオブジェクト ｓｔｒｕｃｔ ｉｎｏｄｅ ｛ ｉノード番号； 利用カウンタ； デバイス番号； ハードリンク数； ： ｕｎｉｏｎ ｛ ｍｉｎｉｘ固有のｉノード情報； ｅｘｔ２固有のｉノード情報； ： ｝ ｝ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ｍｉｎｉｘ固有のｉノード情報 ｅｘｔ２固有のｉノード情報 ｅｘｔ３固有のｉノード情報 ｎｆｓ固有のｉノード情報 ： ｉノードオブジェクトとｄｅｎｔｒｙオブジェクト ファイルの管理情報 ファイル名とディレクトリ階層 ｄｅｎｔｒｙ ｉｎｏｄｅ ｉ_ｄｅｎｔｒｙ； ｄ_ｉｎｏｄｅ； ｄ_ａｌｉａｓ； ｄ_ｎａｍｅ； ｄ_ｉａｍｅ； １５文字までの名前 Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. １６文字以上 の名前 プロセスとファイル プロセス （ｓｔｒｕｃｔ ｔａｓｋ_ｓｔｒｕｃｔ） ： ｆｓ； ｆｉｌｅｓ； ｆｄ配列 ｆｉｌｅオブジェクト ０ １ ｆｉｌｅオブジェクト ２ ３ ｆｉｌｅオブジェクト ４ ： Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ｆｉｌｅオブジェクト ： ＶＦＳとファイルシステムのＩ／Ｆ ● ｓｕｐｅｒ_ｂｌｏｃｋ読み込みメソッド （ｆｉｌｅ_ｓｙｓｔｅｍ_ｔｙｐｅオブジェクトのｒｅａｄ_ｓｕｐｅｒメンバ） ● ｓｕｐｅｒ_ｏｐｅｒａｔｉｏｎｓテーブル （ｓｕｐｅｒ_ｂｌｏｃｋオブジェクトのｓ_ｏｐメンバ） ● ｉｎｏｄｅ_ｏｐｅｒａｔｉｏｎｓテーブル （ｉｎｏｄｅオブジェクトのｉ_ｏｐメンバ） ● ｄｅｎｔｒｙ_ｏｐｅｒａｔｉｏｎｓテーブル （ｄｅｎｔｒｙオブジェクトのｄ_ｏｐメンバ） ● ｆｉｌｅ_ｏｐｅｒａｔｉｏｎｓテーブル （ｆｉｌｅオブジェクトのｆ_ｏｐメンバ） ● ａｄｄｒｅｓｓ_ｓｐａｃｅ_ｏｐｅｒａｔｉｏｎｓテーブル （ａｄｄｒｅｓｓ_ｓｐａｃｅオブジェクトのａ_ｏｐｓメンバ） Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ＶＦＳとファイルシステムのＩ／Ｆ（通常ファイル） ＶＦＳ ｆｉｌｅ f_dentry; f_op; ｉｎｏｄｅ ｄｅｎｔｒｙ d_inode; d_op; i_op; i_mapping; i_data; ｆｉｌｅ f_dentry; f_op; ｉｎｏｄｅ ｄｅｎｔｒｙ d_inode; d_op; i_op; i_mapping; i_data; host; a_ops; ｎｆｓ_ｆｉｌｅ_ａｏｐｓ ｎｆｓ_ｆｉｌｅ_ｉｎｏｄｅ_ｏｐｅｒａｔｉｏｎｓ ｎｆｓ_ｄｅｎｔｒｙ_ｏｐｅｒａｔｉｏｎｓ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ｎｆｓ_ｆｉｌｅ_ｏｐｅｒａｔｉｏｎｓ ｅｘｔ２_ａｏｐｓ ｅｘｔ２_ｆｉｌｅ_ｉｎｏｄｅ_ｏｐｅｒａｔｉｏｎｓ 未定義 ｅｘｔ２_ｆｉｌｅ_ｏｐｅｒａｔｉｏｎｓ ＥＸＴ２ host; a_ops; ＮＦＳ パスの解析 ／ｂａｒ／ｆｏｏ パスの解析 ｄｅｎｔｒｙ ／ ｉｎｏｄｅ ｄｅｎｔｒｙ ｂａｒ ｉｎｏｄｅ ｄｅｎｔｒｙ ｆｏｏ ｉｎｏｄｅ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ファイルのオープン ｏｐｅｎ（／ｂａｒ／ｆｏｏ） ファイルのオープン ｆｄ ｔａｓｋ_ｓｔｒｕｃｔ パス解析 ｆｉｌｅ ｆｄ ファイルの オープン 状態管理 Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ｆｏｏ ｄｅｎｔｒｙ ｉｎｏｄｅ ファイルの読み込み ｒｅａｄ（ｆｄ） ｆｄ ファイルのオープン ファイルの読み込み 依頼先を決定 ｆｄ 読み込み依頼 EXT2 NFS EXT３ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ｆｉｌｅ ｄｅｎｔｒｙ ｉｎｏｄｅ ページキャッシュ と バッファキャッシュ Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. ファイルＩ／Ｏの処理階層 ＶＦＳ ファイル ページキャッシュI／Ｏ ページキャッシュ バッファキャッシュＩ／Ｏ Ｐａｇｅ Ｐａｇｅ Ｂｈ Ｂｈ Ｂｈ Ｂｈ Ｂｈ Ｂｈ Ｂｈ Ｂｈ Ｐａｇｅ Ｂｈ Ｂｈ Ｂｈ Ｂｈ バッファキャッシュ Ｉ／Ｏリクエスト ブロックＩ／Ｏ デバイスドライバ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. Ｂｈ Ｂｈ Ｂｈ Ｂｈ Ｂｈ Ｂｈ バッファキャッシュI／Ｏの概要 バッファI／Ｏ要求 デバイス番号； ブロック番号； I/O待ち 起床 I／Ｏ完了通知関数； （ｅｎｄ_ｂｕｆｆｅｒ_ｉｏ_ｓｙｎｃ） バッファキャッシュI/O ｅｎｄ_ｂｕｆｆｅｒ_ｉｏ_ｓｙｎｃ ブロックI/O デバイスドライバ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. I/O完了通知 実行再開 バッファのＩ／Ｏ要求 ｂｕｆｆｅｒ I/O要求 ｂｕｆｆｅｒ I/O要求 バッファキャッシュI/O ｌｌ_ｒｗ_ｂｌｏｃｋ ｓｕｂｍｉｔ_ｂｈ I/Oリクエストキュー ブロックI/O デバイスドライバ ｂｕｆｆｅｒ I/O要求 ｂｕｆｆｅｒ I/O要求 I/Oリクエスト Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. バッファのＩ／Ｏ実行 ｗａｉｔ_ｏｎ_ｂｕｆｆｅｒ バッファキャッシュI/O ｒｕｎ_ｔａｓｋ_ｑｕｅｕｅ I/Oリクエストキュー ブロックI/O デバイスドライバ ｂｕｆｆｅｒ I/O要求 ｂｕｆｆｅｒ I/O要求 I/Oリクエスト Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ファイルとページキャッシュ ｉｎｏｄｅ ｍａｐｐｉｎｇ； ｄｅｎｔｒｙ ａｄｄｒｅｓｓ_ｓｐａｃｅ ａｄｄｒｅｓｓ_ｓｐａｃｅ_ｏｐｅｒａｔｉｏｎｓ ｎｒｐａｇｅｓ（３）； ｗｒｉｔｅｐａｇｅ ｒｅａｄｐａｇｅ ｓｙｎｃ_ｐａｇｅ ａ_ｏｐｓ； ｃｌｅａｎ_ｐａｇｅｓ； ｄ_ｉｎｏｄｅ； ｈｏｓｔ； ： ｆｉｌｅ ｆ_ｄｅｎｔｒｙ； ｆ_ｐｏｓ； ファイル ０ ｐａｇｅ ｌｉｓｔ； ｉｎｄｅｘ（０）； ｍａｐｐｉｎｇ； １ ｐａｇｅ ２ ｌｉｓｔ； ｉｎｄｅｘ（１）； ｍａｐｐｉｎｇ； ： ｐａｇｅ ｌｉｓｔ； ｉｎｄｅｘ（ｎ）； ｎ ｍａｐｐｉｎｇ； Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. メモリ空間 ページキャッシュI／Ｏの概要 ファイル ページキャッシュI/O Ｐａｇｅ I/O要求 I/O待ち 起床 バッファキャッシュI/O ｂｕｆｆｅｒ ｂｕｆｆｅｒ ｂｕｆｆｅｒ I/O要求 ｂｕｆｆｅｒ I/O要求 I/O要求 I/O要求 ｅｎｄ_ｂｕｆｆｅｒ_ｉｏ_ａｓｙｎｃ ブロックI/O デバイスドライバ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. I/O完了通知 実行再開 通常ファイル読み込みの流れ ページキャッシュ I/O ｇｅｎｅｒｉｃ_ｆｉｌｅ_ｒｅａｄ ｄｏ_ｇｅｎｅｒｉｃ_ｆｉｌｅ_ｒｅａｄ ｇｅｎｅｒｉｃ_ｒｅａｄａｈｅａｄ ファイル キャッシュ検索 Page ｅｘｔ２_ａｐｏｓ（アドレススペース操作テーブル） Page Page ｒｅａｄｐａｇｅメソッド EXT2 ： ｅｘｔ２_ｒｅａｄｐａｇｅ ｅｘｔ２_ｇｅｔ_ｂｌｏｃｋ ｂｌｏｃｋ番号取得 Page ｂｒｅａｄ ｂｌｏｃｋ_ｒｅａｄ_ｆｕｌｌ_ｐａｇｅ キャッシュ検索 バッファキャッシュ I/O ｌｌ_ｒｗ_ｂｌｏｃｋ ｓｕｂｍｉｔ_ｂｈ ブロック I/O Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ｂｈ ｂｈ ｂｈ ｂｈ 通常ファイルの書き込み ● ｐｒｅｐａｒｅ_ｗｒｉｔｅ ● 書き込みデータコピー ● ｃｏｍｍｉｔ_ｗｒｉｔｅ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. 通常ファイル書き込みの流れ（ｐｒｅｐａｒｅ_ｗｒｉｔｅ） ページキャッシュ I/O ファイル ｇｅｎｅｒｉｃ_ｆｉｌｅ_ｗｒｉｔｅ キャッシュ検索 Page ｅｘｔ２_ａｐｏｓ（アドレススペース操作テーブル） Page Page ｐｒｅｐａｒｅ_ｗｒｉｔｅメソッド EXT2 ： データを書き込む部分 ｅｘｔ２_ｇｅｔ_ｂｌｏｃｋ ｅｘｔ２_ｐｒｅｐａｒｅ_ｗｒｉｔｅ ｂｌｏｃｋ番号取得 ｂｒｅａｄ ｂｌｏｃｋ_ｐｒｅｐａｒｅ_ｗｒｉｔｅ バッファキャッシュ I/O キャッシュ検索 Page 読み込み要求 ｌｌ_ｒｗ_ｂｌｏｃｋ ｂｈ ブロック I/O ｓｕｂｍｉｔ_ｂｈ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ｂｈ 通常ファイル書き込みの流れ（ｃｏｍｍｉｔ_ｗｒｉｔｅ） ページキャッシュ I/O ファイル ｇｅｎｅｒｉｃ_ｆｉｌｅ_ｗｒｉｔｅ Page ｅｘｔ２_ａｐｏｓ（アドレススペース操作テーブル） Page Page ｃｏｍｍｉｔ_ｗｒｉｔｅメソッド EXT2 ： ｆｌｕｓｈｔｉｍｅ Ｄｉｒｔｙ ｇｅｎｅｒｉｃ_ｃｏｍｍｉｔ_ｗｒｉｔｅ ｂｈ ｆｌｕｓｈｔｉｍｅ Ｄｉｒｔｙ ｂｈ __ｍａｒｋ_ｄｉｒｔｙ __ｂｌｏｃｋ_ｃｏｍｍｉｔ_ｗｒｉｔｅ ｂｌａｎｃｅ_ｄｉｒｔｙ ｂｄｆｌｕｓｈデーモン ｂｌａｎｃｅ_ｄｉｒｔｙ_ｓｔａｔｅ 起床 ｗａｋｅｕｐ_ｂｄｆｌｕｓｈ バッファキャッシュ I/O ｗｒｉｔｅ_ｓｏｍｅ_ｂｕｆｆｅｒｓ ｂｕｆｆｅｒ ＷＲＩＴＥ要求 ブロック I/O ｓｕｂｍｉｔ_ｂｈ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ｂｄｆｌｕｓｈとｋｕｐｄａｔｅデーモン ● ｂｄｆｌｕｓｈデーモン － Dirty属性（遅延書き込み）のバッファが一定数 以上になったらディスクに書き戻す ● ｋｕｐｄａｔｅデーモン － Dirty属性になって一定時間を経過したバッファ をディスクに書き戻す ● その他のディスクへの書き戻し処理 － ｕｐｄａｔｅコマンド（ｂｄｆｌｕｓｈシステムコール） － ｓｙｎｃコマンド（ｓｙｎｃシステムコール） － 空きメモリの枯渇 Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. ブロックＩ／Ｏ共通レイヤ Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. バッファI/OとブロックI/O バッファI/O － ブロック単位で処理 － ブロックサイズはファイルシステム依存 （ページサイズは超えられない） ｂｌｏｃｋ ブロックI/O共通レイヤ sector sector sector Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. sector － セクタ単位で処理 － セクタサイズは５１２バイト （ファイルシステムサイズの制限） I/Oリクエストの作成 VFS buffer I/O buffer I/O buffer I/O buffer I/O バッファキャッシュI/O ｓｕｂｍｉｔ_ｂｈ ｔｑ_ｄｉｓｋ ｇｅｎｅｒｉｃ_ｍａｋｅ_ｒｅｑｕｅｓｔ ｌｏｏｐ__ｍａｋｅ_ｒｅｑｕｅｓｔ __ｍａｋｅ_ｒｅｑｕｅｓｔ I/Oタスクキュー ．．． ブロックI/O IDE SCSI ｒｅｑｕｅｓｔキュー ｒｅｑｕｅｓｔキュー ｒｅｑｕｅｓｔキュー I/O リクエスト I/O リクエスト I/O リクエスト ブロックデバイスドライバ I/O リクエスト I/O リクエスト Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. I/O リクエスト I/Oタスクの実行 ｒｕｎ_ｔａｓｋ_ｑｕｅｕｅ（ｔｑ_ｄｉｓｋ） ｔｑ_ｄｉｓｋ I/Oタスクキュー ｔａｓk実行ルーチン ・・ ｇｅｎｅｒｉｃ_ｕｎｐｌｕｇ_ｄｅｖｉｃｅ ブロックI/O IDE SCSI ｒｅｑｕｅｓｔキュー ｒｅｑｕｅｓｔキュー ｒｅｑｕｅｓｔキュー I/O リクエスト I/O リクエスト I/O リクエスト ブロックデバイスドライバ I/O リクエスト I/O リクエスト Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. I/O リクエスト ブロックＩ／Ｏのクラスタリング ｂｕｆｆｅｒI/O要求 ｒｅｑｕｅｓｔ_ｑｕｅｕｅ ｒｅｑｕｅｓｔ ｒｅｑｕｅｓｔ ｒｅｑｕｅｓｔ ｂｕｆｆｅｒ_ｈｅａｄ ｂｕｆｆｅｒ_ｈｅａｄ ｂｕｆｆｅｒ_ｈｅａｄ ｂｕｆｆｅｒ_ｈｅａｄ ｂｕｆｆｅｒ_ｈｅａｄ ｒｅｑｕｅｓｔ_ｑｕｅｕｅ ｒｅｑｕｅｓｔ ｒｅｑｕｅｓｔ ｂｕｆｆｅｒ_ｈｅａｄ ｂｕｆｆｅｒ_ｈｅａｄ ｂｕｆｆｅｒ_ｈｅａｄ ｂｕｆｆｅｒ_ｈｅａｄ ｂｕｆｆｅｒ_ｈｅａｄ Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. おわり http:/valinux.co.jp/ Copyright© 2002, VA Linux Systems Japan K.K. All right reserved.
© Copyright 2024 Paperzz
