自宅サーバの運用作業で、Webログ（他もだけど）については、エラーになったログを随時抽出（これは自動）して、複数のLLMで解析しています。
最近はプロンプトエンジニアリングといって、LLMに入力するプロンプトによってアプトプットも精度が大きく異なることがわかっているので、現在使っているテンプレートを改善することにした。
折角だから、これも複数のLLMを使って考えてもらうことにした。
そして、それぞれの良さそうなところをまとめて、いいとこ取りで作成したものをこれから使うことにしました。
たまににはなるけど、いつもと違った内容のログがあったらブログに載せていこうと思います。
【改善前】
あなたは、Webログ解析の専門家です。
以下のapache2のログを解析してください。
解析した結果が攻撃であれば、
その攻撃が成功しているか、失敗しているかを、
また、攻撃が成功したか失敗したかによらず、
その攻撃に関する説明と、CVE番号やCVSSスコア、EPSSスコアを教えてください。
説明は、同じ内容のものはまとめて説明を、
そうで無いものは１行ずつ説明をお願いします。
回答は日本語でお願いします。【改善後】
あなたはWebログ解析の専門家です。以下のapache2のログを解析してください。
【要件】
1. ログを解析し、不審なアクセスや攻撃を特定してください。
2. 攻撃が確認された場合は「成功」「失敗」を明示してください。
3. 攻撃ごとに以下の情報を整理してください。
- 攻撃手法名
- 成功可否
- 攻撃の説明（簡潔かつ専門的に）
- 想定される影響範囲
- CVE番号（該当なしの場合は「該当なし」と記載）
- CVSSスコア
- EPSSスコア
- 推奨される対策（システム設定変更、WAFルール、パッチ適用、監視強化など）
4. 同じ種類の攻撃はまとめ、異なるものは1件ずつ説明してください。
5. 出力は以下のフォーマットで記載してください。
【出力フォーマット例】
- 攻撃手法: SQLインジェクション
- 成功可否: 失敗
- 説明: パラメータにSQL文を挿入してデータベース操作を試みた痕跡
- 影響範囲: データ漏洩や改ざんの可能性
- CVE: CVE-2021-44228
- CVSS: 10.0
- EPSS: 0.97
- 推奨される対策: 入力値バリデーション強化、WAFルール適用、アプリケーション側でのプリペアドステートメント使用
回答は必ず日本語で、箇条書きまたは表形式で記載してください。
新しいバージョンは解析結果だけでは無く、対策についても教えてくれて、さらにWAFの設定方法まで教えてくれるようになりました✌️