(感想のみです。細かな内容は書いてません。)
最近話題になっている検索機能や推論機能が追加されたAIエージェントやリーズニングモデルといったモデルが注目されている。
以前から試しているChatGPTを使ったログ解析をこれらのモデルで試せば、カットオフ日の問題とかも解消され、これまで以上に詳細な結果を得ることができるんじゃ無いか?と考えて、いくつかのモデルで試してみることにしました。
使ったログは、以前ChatGPTでApache2のログを解析した時に使ったログです。(このブログ)
試してみた全体的な感じだけど、これまでの応答と比較すると、詳細な回答を返してくれて、本格的な解析と感じるものだった、ただし、全てのモデルに共通して言えるのは、応答にかなり時間がかかるところかな。それぞれの感想は以下です。
ChatGPT(Research(推論)を選択)
他のモデルと違ったところは、プロンプトを入力したら、さらに情報を求めてくる。こういったところは実務的な感じがしました。構成や条件などについて質問してくれて、その方面を詳しく説明してくれるけど、結局のところの結果はこれまでの結果とあまり変わりがなかったような気がする。中身が薄い感じがしてしまうのは僕だけかなぁ。結局、ベースとなる学習内容が同じだからかなぁ。
Gemini(Deep Research)
以前にも試してブログに書いてるんですけど(ここ)。さすがに検索エンジンを運営しているだけあって、試したモデルの中で、一番情報量が多く、詳細に、わかりやすく答えてくれたのはこれだった。応答結果も唯一他のモデルと違う表現だった。一番印象に残ったのは、次のような回答をしてくれたところです。「ほとんどの試行が 400
または 404
ステータスコードで終わったとしても、これは根本的な脆弱性がないことを保証するものではない」この回答には、かなりの納得感があった。
Microsoft Copilot Think Deeper
結果がChatGPTとかなり似ている。これは、後ろでChatGPTが動いているのがよくわかりますよね。特に感想はありませんでした。というかChatGPTと同じですもんね😁。個人的には、職場ではこれの有償版が利用できるので、職場ではこれ一択でしょう。
ちょっと話が違うけど、このCopilotだけど、M365版とかはOneDriveやSharepointの職場情報も検索対象となって、さらにRAGの機能を持ったエージェント機能ってのがあって、手軽に導入できるので、社内の専門的なものの対応は、セキュリティがらみの問題とかもあるから、今後は他のモデルを抑えて、これ一強になる可能性が高い。そのうち社員録とかでその担当の専門家として登録されるのでは無いだろうか。あくまでもM365 Copilotのライセンス契約してる会社の話。
DeepSeek「DeepThink(R1 )とSearchを選択」
結果がなんと無くChatGPTに似ている。同じことを調べてるんで、結果が同じようになるのは当然なんだけど、直感的にそう感じた。世間では、ChatGPTを蒸留したんじゃ無いかと言われてるのが頭にあるからそう感じるのかもしれないけど。プロンプトとかのコンテキストの情報がセキュリティの面で心配があるところが減点かな。
Genspark(スーパーエージェント)
一番応答が速かったのはコレ。結果はChatGPTの出力に近く、少しだけこちらの方が詳しいように見える。
全体的な感想
自分の感想だけど、今回のログ解析に関しては、Geminiが一番でした。時間がかかってもいいから、詳細に調べて分析してほしい場合は、これなんでしょうね。それなりの体制で調査しなければならないことをさらっと、検索してきてくれて、さらにわかりやすくまとめてくれる感じです。
個人的な話
個人的には普段使うには、Gensparkが一番好きなんです。応答速度が速いというのもあるけど、色々な目的で使った時の応答内容に一番納得しているところが理由です。でも、ちょっと使ったら無料版の制限に達してしまうので、いつも有料版に切り替えようかと、悩んでいるところです。