2016年2月17日に画像やファイルの投稿と閲覧ができない障害が発生したため報告いたします。
Reactioをご利用の皆様には、ご迷惑をおかけいたしまして深くお詫び申し上げますと共に、障害内容の詳細と経緯・原因、今後の対応について報告させていただきます。
【障害発生日】
2016年 2月17日 18:06〜19:28 (24時間表記)
【障害内容】
インシデント画面において画像および添付ファイルの投稿と閲覧ができない状態が発生いたしました。
【発生原因】
脆弱性対策を行った際、分散ファイルシステムに問題が発生し、画像や添付ファイルの読み書きが正常に処理できない状況が発生いたしました。
【暫定対応】
アプリケーションサーバの切り戻しを実施しました。
【対応経緯】
- 18:06 脆弱性対策作業の実施
- 冗長化された各アプリケーションサーバを順次切り替え
- 18:26 タイムライン画像と添付ファイルの問題発生を検知
- 分散ファイルシステムでの異常が発覚
- 脆弱性対策によるアップデートが影響していると判明
- アプリケーションサーバをアップデート前に切り戻し
- 19:28 画像と添付ファイルの投稿と閲覧機能の復旧を確認
【恒久対応】
再発防止策としてアプリケーションサーバにおいて分散ファイルシステムの影響が発生しないよう改修を行い、次回アップデートリリースで適用いたします。 また、影響が発生しないよう事前に検知し復旧するための仕組みを検討するなど、改善活動に取り組んでまいります。
以上