Day: April 7, 2025

SAP AI Core Orchestration機能 を解き明かす

Orchestration機能の概要 SAP BTP上の SAP AI Coreが提供するOrchestration機能は、大規模言語モデル(LLM)の推論処理に必要な前後処理をまとめて一括実行できる仕組みです。単にモデルに問い合わせを行うだけでなく、その前後でデータの下準備(前処理)や結果のフィルタリング(後処理)を組み合わせ、1回のAPIコールで一連の処理を完了できます​。これにより、LLMを企業システムで使う際に求められる様々な機能(コンテキスト付与やコンテンツ検閲など)を統合し、安全でビジネスに適した応答を得ることが可能となります。 特に生成AIを業務シナリオに組み込む場合、次のような課題に対応する必要があります。 ドメイン知識の反映: 基盤となるLLMは汎用知識を持ちますが、そのままでは企業固有の専門知識が不足しがちです。Orchestrationの中で追加コンテキストを提供することで、モデルにビジネス文脈を与えられます​。機密データの保護: ユーザ入力や出力に個人情報や機密情報が含まれる場合、事前にマスキングしてモデルに渡す、あるいは結果から除去するといった対応が必要です​。不適切な内容のフィルタリング: LLMが不適切な発言(暴力的・差別的内容など)を生成しないよう、入力質問や出力結果に対してコンテンツフィルタを適用してチェックできます​。出力形式の統制: 回答を社内システムが処理しやすい形式(例えばJSONや決まったテンプレート)にするため、あらかじめプロンプトにテンプレートを適用してモデルに指示できます。複数モデルや機能の組合せ: 必要に応じて複数のモデルやサービスを順に呼び出すような高度なワークフローも定義できます。Orchestrationではこれらを統合し、LLM呼び出しに付随する様々な機能を組み合わせることで、信頼性の高い業務対応の結果を得ることを目指します​。 このように、Orchestration機能はLLMの生の出力をそのまま使うリスクを低減し、企業利用に堪える信頼性・安全性・コンプライアンスを確保するために必要とされています​。ユースケースとしては、社内ドキュメントQA(社内データでのRAG: Retrieval Augmented Generation)、顧客問い合わせの自動応答(個人情報のマスキングや不適切表現除去が必要なケース)、定型レポート生成(テンプレートに沿った出力が必要)などが挙げられます。 Orchestrationの構成要素 Orchestrationワークフローは、いくつかのモジュール(ステップ)を直列につないだパイプラインとして構成されます​。 引用:SAP Learning Journey 各モジュールは特定の機能を担い、順番に実行されていきます。標準的なOrchestrationのステップには以下のものがあります​。 Grounding(グラウンディング): モデルに追加コンテキストを与えるために、外部のデータソースや知識ベースから関連情報を取得するステップです。例えばユーザの質問に関連する社内ドキュメントを検索し、その結果を後続のプロンプトに組み込むことができます。Groundingモジュールにより、ドメイン固有やリアルタイムのデータをLLMプロセスに統合し​、ベースモデルの知識に加えて最新かつ文脈に沿った情報を回答に反映できます。Groundingでは検索用の入力変数(例: ユーザ質問をクエリとして渡す)や、検索結果を格納する出力変数を定義し、後続のテンプレートで利用する形になります。Templating(テンプレーティング): プロンプト(モデルへの入力文)を定型フォーマットで構築するステップです。開発者がプレースホルダ付きのテンプレートを定義し、実行時に実際の値(ユーザ入力やGroundingの出力など)でそのプレースホルダを埋めて最終的なプロンプトを実行時に生成します​。例えば、「以下の情報を参考にユーザーの質問に答えてください:{grounding_output} 質問: {user_question}」といったテンプレートを用意し、実行時に {grounding_output}…