ナレコムAI Agent Studioによるマルチエージェントとシングルエージェントの精度検証

はじめに

この記事は株式会社ナレッジコミュニケーションが運営するチャットボット と AIエージェント Advent Calendar 2025 の7日目にあたる記事になります!

背景と目的

ビジネス現場では、「相談」「案内」「依頼」「報告」など、複数目的の内容が1つのチャットに混在するケースが増えています。このような複雑な問い合わせに対して、単一のエージェント(シングル構成)では以下の課題が発生しやすくなります:

  • 文脈が混在し、意図通りの出力が得られない
  • プロンプトが肥大化し、出力の一貫性や安定性が低下する
  • 応答の精度が会話履歴に左右されやすい

本記事では、弊社の生成AISaaS製品である「ナレコムAI Agent Studio」を使って「報告文整形」タスクを題材に「マルチエージェント構成(Multi-Agent System: MAS)」の回答精度を検証します。

用語定義

  • マルチエージェント構成:分類エージェントが入力をもとに質問の種類を判別し、該当カテゴリの専門エージェントへ処理を委譲する方式。各エージェントは専用テンプレートを保持しています。
  • シングルエージェント構成:分類から整形、出力までを一つのプロンプト/エージェントで処理する方式。ロジックが一体化されています。

1. ナレコムAI Agent Studioとは

ナレコムAI Agent Studioは、ノーコードで複数のAIエージェントを設計・連携できる業務向けプラットフォームです。

  • ノーコードでエージェント開発ができる直感的UI
    非エンジニアでもドラッグ&ドロップだけでフローを構築。
    複雑なスクリプトや API 設定は不要です。

  • 生成AIを活用した多様な業務エージェント
    レポート生成、FAQ対応、ファイル分析など社内業務を自動化。
    RAG を活用して自社のナレッジに最適化し、
    OpenAI や Anthropic(Claude)など複数の LLM に対応。
    業務に応じた最適な AI エージェントを構築可能です。

  • すぐ使える “用途別” テンプレートと 誰でも簡単カスタマイズ
    「Webページの要約と翻訳」「画像・PDFの分析」「シンプルな LLM チャット」など、
    よくある業務ニーズに即対応。テンプレートを選ぶだけでフローがすぐに生成され、
    設定の手間も大幅に削減できます。

  • エンタープライズレベルのセキュリティ対策
    標準で生成 AI に再学習させない設定をしており情報漏洩やデータ流出のリスクを防止
    これにより、情シスや DX 推進担当が “自分の手” でAI エージェントを安全かつ迅速に  展開できます。

2025-12-05_11h10_03.png

公式サイト:https://www.knowledgecommunication.jp/product/narekomu-ai-agent-studio.html

2. なぜマルチエージェント構成なのか

近年、多段階の判断が必要なタスクや複雑な入力に対応する手段として、マルチエージェント構成が注目されています。各エージェントに専門的な役割(例:分類、整形、レビュー)を持たせ、連携することで、以下の利点が得られます。

  • 安定した構造化出力:テンプレート適用による再現性
  • 業務ごとの最適化:カテゴリ別ルールの並列運用
  • 拡張性とスケーラビリティ:エージェント追加で容易に機能拡張

3. 検証設計と方法

3.1 検証目的

  • 出力品質(構造・文調)
  • 分類精度(投稿内容を相談、案内、依頼、報告に分類)

3.2 対象モデル

  • GPT-4.1(OpenAI)
  • Claude 3.7 Sonnet(Anthropic)
    ※2025年12月時点でナレコムAI Agent Studio上で利用可能な最新モデルの中から、提供元(OpenAI・Anthropic)ごとの特性を比較検証する目的で選定しました。

3.3 構成の違い

  • シングル構成:分類+4つの分類カテゴリ毎の整形を1つのプロンプトに集約
  • マルチ構成:分類 → 整形と2段階で分離実行

3.4 入力例

昨日発生していたAPIエラーについて調査した結果、特定時間帯にリクエストが急増し、APIの処理負荷が上昇したことでスロットルが発生していたことが原因と判明しました。現在はスロットル設定の調整を行い、サービスは正常に稼働しております。明日午前中に追加モニタリングを実施予定です。

3.5 出力条件

  • 結論先出し
  • 時系列順
  • 丁寧な文体

4. 結果と比較

GPT-4.1およびClaude 3.7 Sonnetの両モデルで、同じ回答傾向が確認されました。回答例を記載します。

シングルエージェント構成:

結論から申し上げますと、昨日発生したAPIエラーの原因は、特定時間帯にリクエストが急増し、APIの処理負荷が上昇したことでスロットルが発生したためでした。
エラーログおよびリクエスト数の推移を確認した結果、同時実行のしきい値に到達していたことを確認しております。
現在はスロットル設定の調整を行い、負荷が高まった際にも安定して動作するよう改善済みであり、調整後の動作確認ではエラーの再発はなく、サービスは正常に稼働しております。
今後の対応として、再発防止のため明日午前中に追加モニタリングを実施し、パフォーマンス状況を改めて確認する予定です。
万が一異常が見られた場合は、即時対応いたします。

マルチエージェント構成

結論:
昨日発生したAPIエラーについて、現在はスロットル設定の調整を実施し、サービスは正常に稼働しております。
詳細:
調査の結果、特定時間帯にリクエストが急増したことでAPIの処理負荷が上昇し、スロットルが発生したことが原因であると判明しました。エラーログおよびリクエスト数の推移を確認したところ、同時実行のしきい値に到達していたことを確認しております。スロットル設定の調整後、動作確認を行い、エラーの再発は認められておりません。
次アクション:
再発防止策として、明日午前中に追加モニタリングを実施し、パフォーマンス状況を改めて確認する予定です。異常が見られた場合は、速やかに対応いたします。

複数のカテゴリで複数回実施して、以下のような傾向が得られました。

観点 シングルエージェント構成 マルチエージェント構成
分類精度 ◎ 正確に分類できる ◎ 正確に分類できる
出力構成 △ 指示の一部が未反映 ◎ テンプレート通りの明確な構造

5. 考察と今後の展望

  • 再現性の高さ文書の標準化がマルチ構成の実務適性を高める
  • 初期設計にはコストがかかるが、長期的には保守・再利用でメリット
  • 複数の業務ユースケースに応じて、役割分担されたエージェントを柔軟に構築・展開が可能

6. さいごに

ナレコムAI Agent Studioは、複雑な問い合わせ対応や文書作成を、ノーコードで簡潔に自動化できる強力な業務支援ツールです。

エンジニアでなくても、業務に即した対話フローや文書フォーマットを直感的に構築できるため、以下のような場面に適しています:

  • 報告書や議事録のテンプレート自動整形
  • 社内ナレッジのテンプレート化と再利用
  • 問い合わせ内容に応じた自動分類・応答チャットボット

「自社業務に適用できそう」と感じた方は、ぜひ下記リンクから詳細をご覧ください。

ナレコムAI Agent Studio 公式ページ

この記事を書いた人

aws-recipe-user