11月6日(月)早朝、なんだかサーバの調子が悪くて、コンソールを覗いたら、無茶苦茶エラーメッセージをはいていた🫣(スクショ撮ればよかった)、、、それからまもなく、ダウン⤵️😰
リモート勤務の早朝なので、その後の仕事に支障が出るとまずいので、急遽、バックアップから復旧し、サーバを稼働させた。
このサーバは自宅内のDHCPとDNSのサーバにもなっているので、稼働していないと何もできなくなってしまうため。データ復旧無しで、すぐにバックアップから起動した。(原因はわからないけど当面はWebを停止することにした。)
ちょっと確認した感じでは起動用のSSDがぶっ飛んでる感じだったので、同じように稼働してる奴が壊れたらまずいので、新たにバックアップ用のSSDを注文した。
それから、出勤日が続き、いろいとあって、サーバを触ることができなかったんだけど、物品も揃ったので、週末になってから色々と安定稼働に向けた作業をした。
いろいろと試したんだんだけど、ぶっ壊れたSSDは現時点で復旧不可能な状況で、うーん🧐やられたのかなぁ😩そもそもうちのサーバは、ノーガードだからなぁ😂とりあえず保管はしておくことにするけど、解析する時間はない😅
そして、
影響としては、ブログ記事のバックアップを盆以降は外部媒体にとっていなくて、復旧不可能となった。いちおう、ブログの原稿は残っているんだけど、原稿からの復旧は面倒くさい😩ので、一部の記憶に残したい記事を除いて復旧はしないことに。(もったいないけど、、、)
そして、今回のことを教訓に新たに外部媒体への自動バックアップ機能を追加した。mountだとか、fdiskだとか久しぶりに使うコマンドとても新鮮だった☺️(攻撃やランサムウェアとかだったら、これじゃ意味ないけど、まぁ改善にはなると思う😅)
とりあえず、脆弱性診断でNessusとWPscanはやっておいた。
バックアップを試してみたら思ったより時間がかかることがわかった。これについては、差分バックアップがいいんだろうけど、そこまでは手が回らなかった。あとは、知らなかったんだけど、wordpressのcronってサイトへのアクセスが無いと実行されないらしくて、閑散としたこのサイトの場合は実行されないことになる😢ので、本家のcronから呼ぶことにした。
他には、とりあえずWebの対策もちょっとだけ、高負荷対策と、ブルートフォースの対策だけはしておいた。あと、今回みたいにクラッシュしたらログの解析もできないので、そういった対策も。
そして最後に、kubernetesクラスタサーバにインストールした監視用のサーバを再稼働させるか検討したけど、そこは、自宅サーバ、そこまでは手をかけることができない😚
さてさて、最大の問題は、回復するブログ記事どうしようかな😫
(このブログは11月7日に書いたけど、Web停止中で最終更新は11月12日になります。そして、Webは11月14日夕方から開くこととしてます。)