2021年12月16日に発覚、日本、大学の情報基盤 (学術情報メディアセンター)

京都大学スーパーコンピュータバックアップ消失事故

更新
委託
復旧

委託先の更新作業の手順の誤りで、スパコンの研究データ約77TBが消えた

何があったか

2021年12月14日17時32分から16日12時45分にかけて、京都大学のスーパーコンピュータシステムの大容量ストレージ(/LARGE0)で、保存されていたファイルが意図せず削除される事故が起きた。原因は、システムの納入会社である日本ヒューレット・パッカード合同会社が開発・保守するバックアッププログラムの機能改修で、不要になった過去のバックアップログファイルを削除する処理のはずが、/LARGE0ディレクトリ配下のファイル群を削除する処理として誤って動かしたことだった。影響を受けた利用者からの問い合わせをきっかけに発覚し、削除処理をその場で停止した。大学は16日に障害情報として公表し、21日には対象グループの申請者へ個別にメールで連絡した。

消失したファイルは約77TB、約3400万ファイルにのぼり、影響を受けたグループは14、うち4グループはバックアップによる復元ができなかった。12月28日には学術情報メディアセンター長名で正式な原因と影響範囲を公表し、委託先から提出された報告書も掲載した。その後の追記で、復元できないファイルの実質的な容量は約8TB、約350万ファイルで、影響を受けた利用者は68名(うち学外21名)、復元不可のグループの利用者は10名(うち学外4名)だったと示された。外部への情報流出など他の問題は確認されていない。

決め手の失敗: 委託先が担当技術者によるバックアッププログラムのアップデート作業で、手順への考慮が足りず想定外の動作を招いた。バックアップがミラーリングのみで世代管理されておらず、削除後に上書きされた領域は復元できなかった
被害: 大容量ストレージ(/LARGE0)の一部ファイルが消失し、消失ファイル容量は約77TB、消失ファイル数は約3400万ファイルにのぼった。影響を受けたグループは14、うち4グループはバックアップによる復元ができなかった。最終的に復元できない実質的な容量は約8TB、約350万ファイルで、影響を受けた利用者は68名(うち学外21名)だった

攻撃の流れ

更新作業システムの納入会社である日本ヒューレット・パッカード合同会社の担当技術者が、バックアッププログラムの機能改修の適用作業を行った
誤動作本来は不要になった過去のバックアップログファイルを削除するはずの処理が、プログラムの修正と適用手順の問題により、/LARGE0ディレクトリ配下のファイル群そのものを削除する処理として誤って動いた
削除の進行2021年12月14日17時32分から16日12時45分にかけて削除処理が進み、2021年12月3日17時32分以降更新がなかったファイルが対象になった
発覚と停止影響を受けた利用者からの問い合わせをきっかけに事態が発覚し、削除処理をその場で停止した
影響の確定調査の結果、消失ファイル容量は約77TB、うちバックアップで復元できない容量は実質約8TBだったと判明した

数字で見る

約77TB 消失ファイル容量[1]
約3400万ファイル消失ファイル数[1]
14グループ影響グループ数[1] うち4グループはバックアップによる復元不可
約28TByte バックアップで復元できないファイル容量 (訂正前)[2] 約2500万ファイル。復旧不要なファイルを含む数値
約8TByte 復元できないファイルの実質的な容量[2] 約350万ファイル
68名影響を受けた利用者数[2] うち学外利用者21名
10名復元不可だったグループの利用者数[2] うち学外者4名
約1600名システムの利用者総数[2]

気づいたきっかけ

影響を受けた利用者からの問い合わせをきっかけに発覚し、問題の削除処理を停止した

対応と復旧

削除処理をその場で停止し、2021年12月16日に障害情報として公表した。12月21日には対象グループの申請者へ個別にメールで連絡した。12月28日に学術情報メディアセンター長名で正式に原因と影響範囲を公表し、委託先の報告書も掲載した。バックアップ処理を停止したうえでプログラムの問題を改善し、1月末までの再開を予定すると説明した。今後はミラーリングだけでなく1世代分の増分バックアップを残すなどの機能強化や運用管理の改善に取り組むとした。利用者にも重要ファイルについて別システムへのバックアップを依頼した

組織が認めた原因と、決めた対策

認めた原因

日本ヒューレット・パッカード合同会社によるバックアッププログラムの機能改修において、不用意なプログラムの修正とその適用手順に問題があった
システムの納入業者である日本ヒューレット・パッカード合同会社が開発、保守しているバックアッププログラムを同社の担当技術者がアップデートする作業において手順に考慮不足があり、想定外の動作となった
学術情報メディアセンターが日本ヒューレット・パッカード合同会社に委託している業務であり、大学として運用管理体制に問題があった

公表した再発防止策

バックアップ処理を停止し、プログラムの問題を改善したうえで確実に再発しない対策をしてから再開する
これまでのミラーリングによるバックアップだけでなく、1世代分の増分バックアップを残すなどの機能強化を検討する
機能面だけでなく、再発防止に向けた運用管理についても改善に取り組む
利用者にも重要ファイルについて別システムへのバックアップを依頼する

自分のサービスで確かめること

委託先が本番のバックアップ基盤に加える変更が、事前にレビューと承認の手続きを通っているか確かめる
バックアップがミラーリングだけでなく、世代を分けて残る仕組みになっているか確かめる
バックアップ基盤の変更作業を、本番に適用する前にテスト環境で確かめているか確かめる
重要なデータを単一のバックアップ系統だけに頼っていないか、利用者側にも周知しているか確かめる

関わる攻撃とレッスン

学べるレッスン

時系列

2021年
12月16日発覚ストレージバックアッププログラムの不具合によるファイル消失を確認し、削除処理を停止した。同日、障害情報として公表した[1]
12月21日対応影響を受けたグループの申請者宛てに個別にメールで連絡した[1]
12月28日公表学術情報メディアセンター長名で正式な原因と影響範囲を公表し、日本ヒューレット・パッカード合同会社の報告書を掲載した[2]
2022年
1月公表学外者の人数や利用者の総数などを追記した[2]

攻撃した側について

攻撃ではなく、委託先の技術者によるバックアッププログラムの更新作業の手順の誤りが原因とされている

出典

2026年10月24日に開いて確かめました。本文の [1] などの数は、この一覧の番号です。

【スパコン】ストレージのデータ消失について京都大学情報環境機構、2021年12月16日、被害組織の資料
スーパーコンピュータシステムのファイル消失のお詫び京都大学学術情報メディアセンター、2021年12月28日、被害組織の資料

京都大学スーパーコンピュータ バックアップ消失事故