GWのはじめから5/11ごろまで、自宅サーバの調子が悪かった。
症状としては、突然コンソールにディスクエラーがたくさん出力されて最終的にはホームページやブログなどのWeb閲覧が全くできない😱状況になっていた。(2023.11の問題と同じ)
そして、絶望的😰な思いの中で色々と対処して、その後、5/11から1週間経過し、エラーも出ていないので、安定稼働したと判定をすることにしました。
結局のところ、原因は、本体の故障‼️でした(おそらく🤔)
対応したことは、以下です。
正直、趣味のレベル超えていると思う😥
(これが仕事だったら、ここまでしない🤪)
•まずは、再起動🆗→🆖
実は再起動しても最初の1回目はちゃんと起動できて動作しました。2回目の再起動ではすぐにエラーが出てしまいました😔
•ディスクチェック復旧🆗→🆖
まぁとりあえずディスクを修復してみるかということでfsckをやってみた。そしたら起動でき、しばらく稼働していたんだけど、また同じエラーが出てしまった😢
•SSDの交換🆗→🆖
ここまでやったのでSSDの故障の可能性が高いだろうということで、あきらめて、フルバックアップのSSDに交換して起動するとちゃんと起動できたので、原因はSSDで本体は問題無いと判断(そこが甘かった)
す、すると、またエラーが出た😨。
な、何が原因なんだ、ま、まさかのサ⚫️バー攻撃か😱
•サーバの堅牢化対策🆗→🆖
流石にサイバー攻撃はありえないとは思うけど、今の構成の弱いところを色々と改善した。設定後に運用し始めると過検知(今も出ている😥)が発生したり、既存のbashで作成した自作のセキュリティツールとバッティングして誤動作を起こしてしまってそれを改修するのにかなり苦労した。そしてついに動くようになったんだけど、同じくディスクエラーが出た😭
•本体の交換
最終的な判断としてバックアップ用の本体に交換してみることにした。す、すると、1週間経過しても問題無く稼働することなった🎉
最終的には新しい本体を購入し、古い本体は故障時の新しい本体購入から到着までの繋ぎ用にすることにした。
古いサーバでファン付きSSDケースで動作させると一発で不安定になったので、どうもUSBの電源供給が不安定になったことが原因のようです。
青く光っているのが稼働サーバ、左下に旧サーバを積んで待機です。左は趣味用のWindowsミニコン

本体にファン付きケース入りのSSD(NVMe)を接続した構成ですが、消費電力や放熱とかを考えたら、SATAのSSDをファン無しのケースで接続した方がいいんでしょうね。(クラスターサーバとかも検討したけど、逆に運用に手間がかかりそうだからやめました。)
•色々とやったこと
細かな話になりますが、安定稼働までにやったことを以下に列挙します。
◯バックアップ方法の改善(細分化と3-2-1ルール化、最終的にはリストアもコマンド化)
◯Ubuntuのバージョンアップ
(2025.4でサポート切れの20.04LTSを稼働していた😅)
◯Wordpressは最新だったけど、phpやMariaDB(各プロダクト)は古かったので最新化し、関連するapacheの設定変更
◯ルートキット検出ツールの導入(侵入検知)
◯監視ツール類のセットアップとbashプログラムの機能アップ
◯Fail2Banによるアクセス制御
◯ModSecurity + OWASP CRSによるWAF対応とチューニング
◯mod_evasiveによるDDOS対応
◯セキュリティヘッダの設定によるCSRF、XSSなどの対策
◯Postfix・Dovecotのセキュリティ設定(いろいろ)
◯熱暴走を疑いファン付きのSSDケースを購入して設置
◯実施した全ての作業を再現可能なように手順化して文書化(マニュアル化)