Day: December 12, 2024

SAP BTP上でLangChainアプリケーションを開発・実行・監視する

はじめに 生成AIの活用が急速に進む現代において、ビジネスプロセスの効率化や付加価値の創出を目指して、AI技術を統合したアプリケーションの需要が高まっています。SAP S/4HANA Cloudを中心とする業務システムの拡張開発基盤として、SAP BTP (Business Technology Platform) はその柔軟性とスケーラビリティから多くの注目を集めています。特に、SAP BTP上で生成AI(Generative AI)を活用したアプリケーションを構築することは、新たな可能性を切り開く鍵となるでしょう。 本ブログでは、SAP BTP上でLLM(Large Language Model)アプリケーションを構築・運用・監視する手順を、ステップバイステップで詳しく解説します。Azure OpenAIが提供する「gpt-4o」モデルを例に、SAP AI Launchpadを利用したLLMアクセス設定から、SAP Build Codeを用いたLangChainアプリケーションのデプロイ、さらにLangfuseを活用した監視方法までを網羅します。これにより、SAP BTPを最大限に活用した拡張可能なAIソリューションの構築方法を理解することができます。 このブログを参考にしていただくことで、生成AIを取り入れたアプリケーション開発における技術的な基礎を学び、実際のビジネスシナリオに応用するための一歩を踏み出していただけることを願っています。 手順 前提条件 SAP AI Launchpad / SAP AI…

LLM監視ツールLangfuseをSAP BTP, Kyma runtimeにデプロイしてみた

今回は、オープンソースのLLMアプリケーション監視ツールであるLangfuseを、SAP BTP上のKubernetes互換ランタイムであるSAP BTP, Kyma runtimeにデプロイする手順をステップバイステップでご紹介します。生成AIを活用するにあたり避けては通れない監視の問題ですが、本ブログが少しでも役に立てば幸いです。 はじめに 生成AIが私たちの日常生活や業務に深く浸透している中で、多くの企業や個人がチャットボットや自動化ツールなどの応用を進めています。例えば、カスタマーサポートの自動化、データ分析の高度化、さらには新しい製品やサービスの企画支援まで、多岐にわたる分野で利用されています。 特に注目されているのが、LangChainのようなAIエージェントを活用したアプリケーションです。LangChainは、複数のツールや外部データソースを組み合わせて高度な応答を生成できる強力なフレームワークとして、多くの開発者に採用されています。しかし、これらのAIエージェントの運用には新たな課題が伴います。 たとえば、次のような問題が一般に挙げられます。 プロンプトの品質やモデルのパフォーマンスの管理: 応答の精度を向上させるためには、適切なプロンプト設計やモデル選択が不可欠ですが、その効果を正確に評価するのは困難です。 外部APIやツールのトレース: AIエージェントが利用する外部サービスの挙動を把握し、問題が発生した際の迅速な原因特定が求められます。 エラーや応答時間のモニタリング: 運用環境でのパフォーマンス指標(例:応答時間、エラー率)のリアルタイム監視が重要となります。 ユーザーフィードバックの活用: 生成AIの応答がユーザーの期待にどの程度応えられているかを継続的に把握し、改善に反映する仕組みが必要です。 これらの課題を解決するため、開発者はAIエージェントの動作を詳細に監視・評価し、迅速に改善を行うツールの必要性を強く感じています。こうした背景の中で、LangfuseのようなLLMアプリケーション専用のモニタリングプラットフォームが注目されているのです。 Langfuseとは Langfuseは、大規模言語モデル(LLM)を活用したアプリケーションの開発、監視、評価、デバッグを支援するオープンソースのLLMOpsプラットフォームです。開発からテスト、大規模なモニタリングやデバッグまで、生成AIプロダクトの全サイクルをサポートします。 主な特徴とメリットは下記の通りです。 オープンソースでの提供: Langfuseはオープンソースとして提供されており、セルフホスティングが可能です。これにより、カスタマイズや長期的な利用が容易になります。 多様なフレームワークとの統合: LangChainやLlamaIndexなどの主要なLLMフレームワークとシームレスに統合でき、既存のワークフローに組み込みやすくなっています。 詳細なトレース機能: 外部APIやツールの呼び出し、コンテキスト、プロンプトなど、製品の完全なコンテキストをキャプチャし、アプリケーションの動作を詳細に追跡できます。 リアルタイムのメトリクス監視: 応答時間、エラー率、スループットなどの主要なパフォーマンス指標をリアルタイムで監視し、迅速な対応が可能です。 ユーザーフィードバックの収集:…

What is Data Analytics?

Post Content Discover the power of data analytics in uncovering patterns, trends, and insights within complex data sets. This video explains the role of data analytics in making data-driven decisions,…

【SAP Business AI】無料のおすすめ学習コンテンツをまとめました。

SAP Business AIについてキャッチアップしたいけど、情報がなかなか取得できない、どれから始めたらいいかわからないという方も多いはずです。この記事では、SAP Business AIに関する認定や無料コース、サンプルプロジェクト、再利用可能なサンプルコードについて知りたい方のために、活用できそうな学習コースをまとめました。 SAP Business AIについてキャッチアップしたいけど、情報がなかなか取得できない、どれから始めたらいいかわからないという方も多いはずです。この記事では、SAP Business AIに関する認定や無料コース、サンプルプロジェクト、再利用可能なサンプルコードについて知りたい方のために、活用できそうな学習コースをまとめました。 Read More Technology Blogs by SAP articles #SAPCHANNEL

CAP for Nodejs 使用本地后端连接到云端的服务实例来进行测试

本文档的目的是帮助您了解如何使用本地启动的CAP后端和云端已部署的auth,db,destination等服务实例对接,来方便开发 使用前提是 1.完成暴露接口练习,完成项目部署,BTP上拥有Live的auth,db,destination三个服务实例 如果您对BTP感兴趣,BTP个人精选内容目录 | SAP Blogs 可能有更多你需要的内容 本文档包含以下部分: 1.暂时移除后端和前端的权限控制 2.本地启动项目 1.暂时移除后端和前端的权限控制 为了更方便的进行本地测试,我们首先移除掉本地后端服务的权限控制service-auth.cds, 为方便你回到可部署状态,下方是代码 using { RiskService } from ‘./risk-service’; annotate RiskService.Risks with @(requires: ‘authenticated-user’); annotate RiskService.Mitigations with @(restrict :…