Toshiyuki Hara

Azure Functions では、Azure OpenAI 向けの拡張機能（Preview）が提供されています。learn.microsoft.com今回は、拡張機能の Assistant trigger を使って、Chat completion binding で構築したチャットアシスタントにカスタムスキルを追加してみました。gooner.hateblo.jpgooner.hateblo.jpgooner.hateblo.jpAssistant trigger とはFunction に Assistant trigger を定義することで、チャットアシスタントにカスタムスキルを提供できます。OpenAI の Function calling が内部的に使われており、呼び出す Function とそのタイミングを判定してくれます。learn.microsoft.com前準備Azure Functions を Isolated worker model で作成し、NGet ライブラリをインストールします。インストールする前に、Visual Studio などのテンプレートで作成されたプロジェクトのライブラリ群を最新版に更新しておくことをお勧めします。$ dotnet add package Microsoft.Azure.Functions.Worker.Extensions.OpenAI --version 0.16.0-alphalocal.settings.json において、Azure OpenAI Service の エンドポイントとキーを定義しておきます。{  "IsEncrypted": false,  "Values": {    "AzureWebJobsStorage": "UseDevelopmentStorage=true",    "FUNCTIONS_WORKER_RUNTIME": "dotnet-isolated",    "AZURE_OPENAI_ENDPOINT": "https://xxx.openai.azure.com/",    "AZURE_OPENAI_KEY": "xxx",    "CHAT_MODEL_DEPLOYMENT_NAME": "gpt-4o"  }    カスタムスキルを追加するAssistantSkillTrigger のバインディングを使って、チャットアシスタントによってトリガーできる２つの Function を作成します。Todo リストにタスクを追加するTodo リストからタスクを取得する関数と引数の名前、AssistantSkillTrigger で定義する説明は、Function calling が呼び出す Function とそのタイミングを判断するための重要な情報となります。public class AssistantSkills{    private readonly ITodoManager _todoManager;    private readonly ILogger<AssistantSkills> _logger;    public AssistantSkills(ITodoManager todoManager, ILogger<AssistantSkills> logger)    {        _todoManager = todoManager;        _logger = logger;    }    [Function(nameof(AddTodo))]    public Task AddTodo([AssistantSkillTrigger("Create a new todo task")] string taskDescription)    {        if (string.IsNullOrEmpty(taskDescription))        {            throw new ArgumentException("Task description cannot be empty");        }        _logger.LogInformation("Adding todo: {task}", taskDescription);        string todoId = Guid.NewGuid().ToString()[..6];        return _todoManager.AddTodoAsync(new TodoItem(todoId, taskDescription));    }    [Function(nameof(GetTodos))]    public Task<IReadOnlyList<TodoItem>> GetTodos(        [AssistantSkillTrigger("Fetch the list of previously created todo tasks")] object inputIgnored)    {        _logger.LogInformation("Fetching list of todos");        return _todoManager.GetTodosAsync();    }}Todo リストに追加するタスクの永続化は、データベースを使わずに、オンメモリで保持するようにしました。public record TodoItem(string Id, string Task);public interface ITodoManager{    Task AddTodoAsync(TodoItem todo);    Task<IReadOnlyList<TodoItem>> GetTodosAsync();}class InMemoryTodoManager : ITodoManager{    readonly List<TodoItem> todos = new();    public Task AddTodoAsync(TodoItem todo)    {        this.todos.Add(todo);        return Task.CompletedTask;    }    public Task<IReadOnlyList<TodoItem>> GetTodosAsync()    {        return Task.FromResult<IReadOnlyList<TodoItem>>(this.todos.ToImmutableList());    }}最後に、Program.cs で TodoManager のインスタンスを追加しておきます。var host = new HostBuilder()    .ConfigureFunctionsWebApplication()    .ConfigureServices(services =>    {        services.AddApplicationInsightsTelemetryWorkerService();        services.ConfigureFunctionsApplicationInsights();        services.AddSingleton<ITodoManager, InMemoryTodoManager>();    })    .Build();host.Run();    動作確認VS Code 拡張機能の REST Client を使って、チャットアシスタントと会話してみます。新しいアシスタントを作成する@function_app_HostAddress = http://localhost:7074### Assistant create output bindingPUT {{function_app_HostAddress}}/api/chat/1 HTTP/1.1content-type: application/jsonHTTP/1.1 201 CreatedContent-Type: application/json; charset=utf-8Date: Sat, 07 Sep 2024 14:06:32 GMTServer: KestrelTransfer-Encoding: chunked{  "assistantId": "1"}    アシスタントにタスクの追加を依頼する### Assistant triggerPOST {{function_app_HostAddress}}/api/chat/1 HTTP/1.1content-type: application/json{  "userMessage": "出張の新幹線を予約するのを忘れないように"}HTTP/1.1 200 OKContent-Type: text/plain; charset=utf-8Date: Sat, 07 Sep 2024 14:12:52 GMTServer: KestrelTransfer-Encoding: chunked「出張の新幹線を予約するのを忘れないように」というタスクを追加しました。さらに、もう１つタスクを追加してみます。### Assistant triggerPOST {{function_app_HostAddress}}/api/chat/1 HTTP/1.1content-type: application/json{  "userMessage": "それと、ホテルの予約も"}HTTP/1.1 200 OKContent-Type: text/plain; charset=utf-8Date: Sat, 07 Sep 2024 14:13:46 GMTServer: KestrelTransfer-Encoding: chunked「ホテルの予約をする」というタスクも追加しました。    アシスタントに今日のタスクを確認する### Assistant triggerPOST {{function_app_HostAddress}}/api/chat/1 HTTP/1.1content-type: application/json{  "userMessage": "今日は何をすればいい？"}HTTP/1.1 200 OKContent-Type: text/plain; charset=utf-8Date: Sat, 07 Sep 2024 14:14:27 GMTServer: KestrelTransfer-Encoding: chunked今日のタスクは以下の通りです：1. 出張の新幹線を予約するのを忘れないように2. ホテルの予約をする頑張ってください！チャットアシスタントから今日のタスクが回答されたことが分かります。まとめAzure Functions 拡張機能の Assistant trigger を使って、Chat completion binding で構築したチャットアシスタントにカスタムスキルを追加してみました。今回のソースコードは、こちらのリポジトリで公開しています。github.com

Azure Functions の Azure OpenAI Extension を使ってチャットアシスタントにカスタムスキルを追加する

Azure Functions では、Azure OpenAI 向けの拡張機能（Preview）が提供されています。learn.microsoft.com今回は、拡張機能の Chat completion binding を使って、チャットアシスタントを構築してみました。gooner.hateblo.jpgooner.hateblo.jpgooner.hateblo.jpChat completion binding とはチャットアシスタント向けの３種類の binding が提供されています。Assistant create output bindingAssistant create output binding を使うことで、指定したシステムプロンプトによる新しいアシスタントを作成できます。learn.microsoft.comAssistant post input bindingAssistant post input binding を使うことで、アシスタントにメッセージを送信するとともに、Table Storage にメッセージ内容を永続化します。learn.microsoft.comAssistant query input bindingAssistant query input binding を使うことで、アシスタントが永続化したチャット履歴を取得できます。learn.microsoft.com前準備Azure Functions を Isolated worker model で作成し、NGet ライブラリをインストールします。インストールする前に、Visual Studio などのテンプレートで作成されたプロジェクトのライブラリ群を最新版に更新しておくことをお勧めします。$ dotnet add package Microsoft.Azure.Functions.Worker.Extensions.OpenAI --version 0.16.0-alphalocal.settings.json において、Azure OpenAI Service の エンドポイントとキーを定義しておきます。{  "IsEncrypted": false,  "Values": {    "AzureWebJobsStorage": "UseDevelopmentStorage=true",    "FUNCTIONS_WORKER_RUNTIME": "dotnet-isolated",    "AZURE_OPENAI_ENDPOINT": "https://xxx.openai.azure.com/",    "AZURE_OPENAI_KEY": "xxx",    "CHAT_MODEL_DEPLOYMENT_NAME": "gpt-4o"  }    新しいアシスタントを作成するAssistantCreateOutput のバインディングを使うことで、指定した ID とシステムプロンプトを持つチャットアシスタントを作成できます。作成した結果は、AssistantCreateRequest で受け取ることができます。public class Chat{    private readonly ILogger<Chat> _logger;    public Chat(ILogger<Chat> logger)    {        _logger = logger;    }    [Function(nameof(CreateAssistant))]    public CreateAssistantOutput CreateAssistant(        [HttpTrigger(AuthorizationLevel.Function, "put", Route = "chat/{assistantId}")] HttpRequest req,        string assistantId)    {        _logger.LogInformation("Assistant create output binding function processed a request.");        var responseJson = new { assistantId };        var instructions = """            You are an AI assistant that helps people find information.            """;        return new CreateAssistantOutput        {            HttpResponse = new OkObjectResult(responseJson) { StatusCode = 201 },            AssistantCreateRequest = new AssistantCreateRequest(assistantId, instructions)        };    }    public class CreateAssistantOutput    {        [AssistantCreateOutput()]        public AssistantCreateRequest? AssistantCreateRequest { get; set; }        [HttpResult]        public IActionResult? HttpResponse { get; set; }    }}    アシスタントにメッセージを送信するAssistantPostInput のバインディングを使うことで、チャットアシスタントにメッセージ（プロンプト）を送信できます。送信した結果は、AssistantState で受け取ることができます。[Function(nameof(PostUserMessage))]public IActionResult PostUserMessage(    [HttpTrigger(AuthorizationLevel.Anonymous, "post", Route = "chat/{assistantId}")] HttpRequestData req,    string assistantId,    [AssistantPostInput("{assistantId}", "{userMessage}", Model = "%CHAT_MODEL_DEPLOYMENT_NAME%")] AssistantState state){    _logger.LogInformation("Assistant post input binding function processed a request.");    return new OkObjectResult(state.RecentMessages.LastOrDefault()?.Content ?? "No response returned.");}    チャット履歴を取得するAssistantQueryInput のバインディングを使うことで、チャットアシスタントが永続化したチャット履歴を取得するクエリを送信できます。クエリ結果は、AssistantState で受け取ることができます。[Function(nameof(GetChatState))]public IActionResult GetChatState(    [HttpTrigger(AuthorizationLevel.Anonymous, "get", Route = "chat/{assistantId}")] HttpRequestData req,    string assistantId,    [AssistantQueryInput("{assistantId}", TimestampUtc = "{timestampUtc}")] AssistantState state){    _logger.LogInformation("Assistant query input binding function processed a request.");    return new OkObjectResult(state);}    動作確認VS Code 拡張機能の REST Client を使って、チャットアシスタントと会話してみます。新しいアシスタントを作成する@function_app_HostAddress = http://localhost:7074### Assistant create output bindingPUT {{function_app_HostAddress}}/api/chat/1 HTTP/1.1content-type: application/jsonHTTP/1.1 201 CreatedContent-Type: application/json; charset=utf-8Date: Sat, 07 Sep 2024 05:33:20 GMTServer: KestrelTransfer-Encoding: chunked{  "assistantId": "1"}    アシスタントにメッセージを送信する### Assistant post input bindingPOST {{function_app_HostAddress}}/api/chat/1 HTTP/1.1content-type: application/json{  "userMessage": "京都のお勧めの観光地はどこですか?"}HTTP/1.1 200 OKContent-Type: text/plain; charset=utf-8Date: Sat, 07 Sep 2024 05:35:26 GMTServer: KestrelTransfer-Encoding: chunked京都には多くの美しい観光地があります。いくつかのお勧めを紹介します。1. **清水寺（きよみずでら）**：   - 世界遺産にも登録されている清水寺は、特に「清水の舞台」からの眺めが見どころです。春の桜や秋の紅葉の季節がお勧めです。2. **金閣寺（きんかくじ）**：   - その美しい金色の外観で有名な金閣寺。正式名は鹿苑寺（ろくおんじ）で、日本の歴史や文化を感じることができます。3. **銀閣寺（ぎんかくじ）**：   - 正式には慈照寺（じしょうじ）。庭園と一緒に楽しむ禅の雰囲気が魅力です。4. **伏見稲荷大社（ふしみいなりたいしゃ）**：   - 多数の鳥居が連なり、その美しい光景で知られる伏見稲荷。山全体に広がる参道を散策すると、日本の伝統文化に触れることができます。5. **嵐山（あらしやま）**：   - 自然豊かな嵐山エリアは、竹林の道や渡月橋（とげつきょう）など、美しい風景が楽しめます。また、トロッコ列車や保津川下りも人気です。6. **二条城（にじょうじょう）**：   - 世界遺産に登録されている歴史的な城で、美しい庭園や御殿内に描かれた障壁画が見所です。7. **祇園（ぎおん）**：   - 京都の伝統的な街並みを感じることができるエリア。舞妓さんや茶屋など、日本の古き良き風情が楽しめます。8. **天龍寺（てんりゅうじ）**：   - 世界遺産である天龍寺は、美しい庭園が特徴です。特に曹源池庭園（そうげんちていえん）は見逃せません。これら以外にも、京都には多数の素晴らしい観光地やお寺があります。訪れる時期や興味に合わせて計画を立ててくださいね。チャットアシスタントから京都のお勧めの観光地が回答されたことが分かります。チャット履歴を取得する### Assistant query input bindingGET {{function_app_HostAddress}}/api/chat/1?TimestampUtc=2024-09-06T00:00:00Accept: application/jsonHTTP/1.1 200 OKContent-Type: application/json; charset=utf-8Date: Sat, 07 Sep 2024 05:40:48 GMTServer: KestrelTransfer-Encoding: chunked{  "id": "1",  "exists": true,  "createdAt": "2024-09-07T05:33:21.9599132Z",  "lastUpdatedAt": "2024-09-07T05:35:27.1306636Z",  "totalMessages": 3,  "totalTokens": 594,  "recentMessages": [    {      "content": "You are an AI assistant that helps people find information.",      "role": "system",      "name": null    },    {      "content": "京都のお勧めの観光地はどこですか?",      "role": "user",      "name": null    },    {      "content": "京都には多くの美しい観光地があります。いくつかのお勧めを紹介します。\n\n1. **清水寺（きよみずでら）**：\n   - 世界遺産にも登録されている清水寺は、特に「清水の舞台」からの眺めが見どころです。春の桜や秋の紅葉の季節がお勧めです。\n\n2. **金閣寺（きんかくじ）**：\n   - その美しい金色の外観で有名な金閣寺。正式名は鹿苑寺（ろくおんじ）で、日本の歴史や文化を感じることができます。\n\n3. **銀閣寺（ぎんかくじ）**：\n   - 正式には慈照寺（じしょうじ）。庭園と一緒に楽しむ禅の雰囲気が魅力です。\n\n4. **伏見稲荷大社（ふしみいなりたいしゃ）**：\n   - 多数の鳥居が連なり、その美しい光景で知られる伏見稲荷。山全体に広がる参道を散策すると、日本の伝統文化に触れることができます。\n\n5. **嵐山（あらしやま）**：\n   - 自然豊かな嵐山エリアは、竹林の道や渡月橋（とげつきょう）など、美しい風景が楽しめます。また、トロッコ列車や保津川下りも人気です。\n\n6. **二条城（にじょうじょう）**：\n   - 世界遺産に登録されている歴史的な城で、美しい庭園や御殿内に描かれた障壁画が見所です。\n\n7. **祇園（ぎおん）**：\n   - 京都の伝統的な街並みを感じることができるエリア。舞妓さんや茶屋など、日本の古き良き風情が楽しめます。\n\n8. **天龍寺（てんりゅうじ）**：\n   - 世界遺産である天龍寺は、美しい庭園が特徴です。特に曹源池庭園（そうげんちていえん）は見逃せません。\n\nこれら以外にも、京都には多数の素晴らしい観光地やお寺があります。訪れる時期や興味に合わせて計画を立ててくださいね。",      "role": "assistant",      "name": null    }  ]}Table Storage の OpenAIChatState テーブルを確認すると、チャット履歴が永続化されています。まとめAzure Functions 拡張機能の Chat completion binding を使って、チャットアシスタントを構築してみました。今回のソースコードは、こちらのリポジトリで公開しています。github.com

Azure Functions の Azure OpenAI Extension を使ってチャットアシスタントを構築する

Azure Functions では、Azure OpenAI 向けの拡張機能（Preview）が提供されています。learn.microsoft.com今回は、拡張機能の Embeddings binding を使って、ベクトル検索を構築してみました。gooner.hateblo.jpgooner.hateblo.jpgooner.hateblo.jpEmbeddings binding とはベクトル検索を構築するための３種類の binding が提供されています。ベクトルストアは AI Search や Cosmos DB に対応しており、今回は AI Search を使います。Embeddings input bindingEmbeddings input binding を使うことで、テキストやファイルを Embedding することができます。learn.microsoft.comEmbeddings store output bindingEmbeddings store output binding を使うことで、テキストやファイルを Embedding してベクトルストアに書き込むことができます。learn.microsoft.comSemantic search input bindingSemantic search input binding を使うことで、ベクトルストアに対してセマンティック検索を実行できます。learn.microsoft.com前準備Azure Functions を Isolated worker model で作成し、NGet ライブラリをインストールします。インストールする前に、Visual Studio などのテンプレートで作成されたプロジェクトのライブラリ群を最新版に更新しておくことをお勧めします。$ dotnet add package Microsoft.Azure.Functions.Worker.Extensions.OpenAI --version 0.16.0-alpha$ dotnet add package Microsoft.Azure.Functions.Worker.Extensions.OpenAI.AzureAISearch --version 0.3.0-alpha$ dotnet add package Azure.Search.Documents --version 11.6.0local.settings.json において、Azure OpenAI Service と AI Search の エンドポイントとキーを定義しておきます。{  "IsEncrypted": false,  "Values": {    "AzureWebJobsStorage": "UseDevelopmentStorage=true",    "FUNCTIONS_WORKER_RUNTIME": "dotnet-isolated",    "AZURE_OPENAI_ENDPOINT": "https://xxx.openai.azure.com/",    "AZURE_OPENAI_KEY": "xxx",    "CHAT_MODEL_DEPLOYMENT_NAME": "gpt-4o",    "EMBEDDING_MODEL_DEPLOYMENT_NAME": "text-embedding-ada-002",    "AISearchEndpoint": "https://xxx.search.windows.net",    "SearchAPIKey": "xxx"  }}host.json において、セマンティック検索の構成を定義しておきます。{  "extensions": {    "openai": {      "searchProvider": {        "type": "azureAiSearch",        "isSemanticSearchEnabled": true,        "useSemanticCaptions": true,        "vectorSearchDimensions": 1536,        "searchAPIKeySetting": "SearchAPIKey"      }    }  }}    テキストを Embedding するEmbeddingsInput のバインディングを使うことで、AOAI の Embedding Model を使ってテキストを Embedding できます。Embedding した結果は、EmbeddingsContext で受け取ることができます。public class Embeddings{    private readonly ILogger<Embeddings> _logger;    public Embeddings(ILogger<Embeddings> logger)    {        _logger = logger;    }    [Function(nameof(GenerateEmbeddings))]    public async Task GenerateEmbeddings(        [HttpTrigger(AuthorizationLevel.Function, "post", Route = "embeddings/generate")] HttpRequestData req,        [EmbeddingsInput("{rawText}", InputType.RawText, Model = "%EMBEDDING_MODEL_DEPLOYMENT_NAME%")] EmbeddingsContext embeddings)    {        _logger.LogInformation("Embeddings input binding function processed a request.");        var requestBody = await req.ReadFromJsonAsync<GenerateEmbeddingsRequest>();        if (requestBody?.RawText == null)        {            throw new ArgumentException("Invalid request body. Make sure that you pass in {\"RawText\": value } as the request body.");        }        _logger.LogInformation(            "Received {count} embedding(s) for input text containing {length} characters.",            embeddings.Count,            requestBody?.RawText?.Length);        // TODO: Store the embeddings into a database or other storage.    }    internal class GenerateEmbeddingsRequest    {        public string? RawText { get; set; }    }}なお、EmbeddingsInput のバインディングでは、InputType で FilePathや Url も指定できます。テキストを Embedding してベクトルストアに書き込むEmbeddingsStoreOutput のバインディングを使うことで、AOAI の Embedding Model を使ってテキストを  Embedding した結果をベクトルストアに書き込むことができます。AI Search に openai-index という名前のインデックスを作成するように指定しています。[Function(nameof(IngestEmbeddings))]public async Task<EmbeddingsStoreOutputResponse> IngestEmbeddings(    [HttpTrigger(AuthorizationLevel.Function, "post", Route = "embeddings/ingest")] HttpRequestData req){    _logger.LogInformation("Embeddings store output binding function processed a request.");    var requestBody = await req.ReadFromJsonAsync<IngestEmbeddingsRequest>();    if (requestBody?.RawText == null || requestBody?.Title == null)    {        throw new ArgumentException("Invalid request body. Make sure that you pass in {\"RawText\": value, \"Title\": value} as the request body.");    }    IActionResult result = new OkObjectResult(new { status = HttpStatusCode.OK });    return new EmbeddingsStoreOutputResponse    {        HttpResponse = result,        SearchableDocument = new SearchableDocument(requestBody.Title)    };}internal class IngestEmbeddingsRequest{    public string? RawText { get; set; }    public string? Title { get; set; }}public class EmbeddingsStoreOutputResponse{    [EmbeddingsStoreOutput("{RawText}", InputType.RawText, "AISearchEndpoint", "openai-index", Model = "%EMBEDDING_MODEL_DEPLOYMENT_NAME%")]    public required SearchableDocument SearchableDocument { get; init; }    public IActionResult? HttpResponse { get; set; }}なお、EmbeddingsStoreOutput のバインディングでは、InputType で FilePathや Url も指定できます。ベクトルストアに対してセマンティック検索を実行するSemanticSearchInput のバインディングを使うことで、ベクトルストアに対してセマンティック検索を実行できます。AI Search の openai-index という名前のインデックスから検索します。検索結果は、SemanticSearchContext で受け取ることができます。[Function(nameof(SemanticSearch))]public IActionResult SemanticSearch(    [HttpTrigger(AuthorizationLevel.Function, "post", Route = "embeddings/search")] SemanticSearchRequest unused,    [SemanticSearchInput("AISearchEndpoint", "openai-index", Query = "{Prompt}", ChatModel = "%CHAT_MODEL_DEPLOYMENT_NAME%", EmbeddingsModel = "%EMBEDDING_MODEL_DEPLOYMENT_NAME%")] SemanticSearchContext result){    _logger.LogInformation("Semantic search input binding function processed a request.");    return new ContentResult { Content = result.Response, ContentType = "text/plain" };}なお、SemanticSearchInput のバインディングでは、検索オプションを指定できます。動作確認VS Code 拡張機能の REST Client を使って、ベクトル検索を実行してみます。テキストを Embedding する@function_app_HostAddress = http://localhost:7074### Embeddings input bindingPOST {{function_app_HostAddress}}/api/embeddings/generate HTTP/1.1content-type: application/json{  "rawText": "暑い日に食べられている京菓子は？"}テキストを Embedding してベクトルストアに書き込む### Embeddings store output bindingPOST {{function_app_HostAddress}}/api/embeddings/ingest HTTP/1.1content-type: application/json< ./Data/request-body01.jsonベクトル化する JSON は、別ファイル（request-body01.json）に切り出しています。{  "rawText": "花びら餅は、京都の伝統的な和菓子で、美しい花びら模様の薄い皮と甘さ控えめのあんこが特徴です。この和菓子は季節ごとにバリエーションが楽しめ、茶道やお茶うけに使われ、京都のお土産として人気があります。見た目も美しく、食べるだけでなく、芸術的な価値も持っています。また、花びら餅は季節感あふれる和菓子で、特に春に楽しまれます。春の季節になると、桜の花びらを使った花びら餅が登場し、桜の風味を楽しむことができます。この季節になると、花見のお供としても愛され、桜の美しさと和の風情を同時に楽しむことができます。花びら餅は、京都の伝統を受け継ぐ和菓子として、その美しさと風味によって多くの人に愛されています。",  "title": "花びら餅"}花びら餅のほかに、若鮎、栗饅頭、八つ橋のデータをベクトル化しました。ベクトルストアに対してセマンティック検索を実行する### Semantic search input bindingPOST {{function_app_HostAddress}}/api/embeddings/search HTTP/1.1content-type: application/json{  "prompt": "暑い日に食べられている京菓子は？"}HTTP/1.1 200 OKContent-Length: 175Content-Type: text/plainDate: Sat, 07 Sep 2024 11:02:22 GMTServer: Kestrel暑い日に食べられている京菓子の一例として、「若鮎」があります。若鮎は初夏を涼しげに彩る京の季節菓子です。Reference: 若鮎ベクトル検索で「若鮎」が返却されたことが分かります。まとめAzure Functions 拡張機能の Embeddings binding を使って、Azure AI Search によるベクトル検索を構築してみました。今回のソースコードは、こちらのリポジトリで公開しています。github.com

Azure Functions の Azure OpenAI Extension を使ってベクトル検索を構築する

Azure Functions では、Azure OpenAI 向けの拡張機能（Preview）が提供されています。learn.microsoft.com今回は、拡張機能の Text completion input binding を使って、コンテンツを要約してみました。gooner.hateblo.jpgooner.hateblo.jpgooner.hateblo.jpText completion input binding とはText completion input binding を使うことで、Azure OpenAI Service の Text Completions API を呼び出して、結果を取得できます。learn.microsoft.com前準備Azure Functions を Isolated worker model で作成し、NGet ライブラリをインストールします。インストールする前に、Visual Studio などのテンプレートで作成されたプロジェクトのライブラリ群を最新版に更新しておくことをお勧めします。$ dotnet add package Microsoft.Azure.Functions.Worker.Extensions.OpenAI --version 0.16.0-alphalocal.settings.json において、Azure OpenAI Service の エンドポイントとキーを定義しておきます。{  "IsEncrypted": false,  "Values": {    "AzureWebJobsStorage": "UseDevelopmentStorage=true",    "FUNCTIONS_WORKER_RUNTIME": "dotnet-isolated",    "AZURE_OPENAI_ENDPOINT": "https://xxx.openai.azure.com/",    "AZURE_OPENAI_KEY": "xxx",    "CHAT_MODEL_DEPLOYMENT_NAME": "gpt-4o"  }    Function を実装するTextCompletionInput のバインディングを使うことで HTTP リクエストの prompt という JSON のテキストを AOAI に渡す部分の繋ぎ込みを行ってくれます。AOAI からのレスポンスは、TextCompletionResponse から取得できます。public class Text{    private readonly ILogger<Text> _logger;    public Text(ILogger<Text> logger)    {        _logger = logger;    }    [Function(nameof(GenerateText))]    public IActionResult GenerateText(        [HttpTrigger(AuthorizationLevel.Function, "post", Route = "text")] HttpRequest req,        [TextCompletionInput("{prompt}", Model = "%CHAT_MODEL_DEPLOYMENT_NAME%")] TextCompletionResponse response)    {        _logger.LogInformation("Text completion input binding function processed a request.");        return new OkObjectResult(response.Content);    }}なお、TextCompletionInput のバインディングでは、Temperature や MaxTokens なども指定できます。動作確認VS Code 拡張機能の REST Client を使って、2024/25 Premier League の Arsenal の開幕戦の Match Report を要約してみます。@function_app_HostAddress = http://localhost:7074### Text completion input bindingPOST {{function_app_HostAddress}}/api/text HTTP/1.1Accept: application/json{  "prompt": "  Kai Havertz got the scoring started when he nodded home a Bukayo Saka cross after 25 minutes,   but the visitors would cause us some nervy moments either side of the break with David Raya needing to be at his best to keep us in front.  However Saka added a goal to his afternoon’s work when he blasted home at the near post to ensure we recorded a seventh-straight win against the Molineux side,   and see the superb form from the final few months of last season flow into the new campaign.  One line TLDR with the fewest words."}HTTP/1.1 200 OKContent-Type: application/json; charset=utf-8Date: Sat, 07 Sep 2024 01:43:00 GMTServer: KestrelTransfer-Encoding: chunked"Arsenal wins 2-0 against Molineux with goals from Havertz and Saka."ハバーツとサカのゴールで勝利したことが分かります。まとめAzure Functions 拡張機能の Text completion input binding を使って、コンテンツを要約してみました。今回のソースコードは、こちらのリポジトリで公開しています。github.com

Azure Functions の Azure OpenAI Extension を使ってコンテンツを要約する

2024年7月1日付けで、Microsoft Most Valuable Professional (MVP) アワードを再受賞しました。カテゴリは Microsoft Azure から AI Platform に変更となりましたが、8 年目の受賞となります。昨年の主な活動内容イベントの登壇は、第46回 Tokyo Jazug Night の Azure OpenAI Service の社内導入事例セッションとなります。gooner.hateblo.jpブログでも、Azure OpenAI Service ネタが多めでした。OpenAI 関連の情報は非常に多いですが、.NET エンジニアの観点での情報を発信しました。生成 AI ブームの影響でお仕事でも RAG を構築する案件が多かったです。gooner.hateblo.jp今年の活動目標JAZUG のイベントは、オフラインとのハイブリッドで開催しているので、登壇だけでなく運営もお手伝いも継続していきます。jazug.connpass.com技術領域としては、Azure OpenAI Service 周りに加えて、原点回帰というか Azure App Servcie や Azure Functions を中心とした情報も発信できたらと思います。

Microsoft MVP を再受賞しました

ネクストスケープでは、会社やチームの技術ブログを集約する Hub のようなサイト（Team Blog Hub）を作って公開しています。gooner.hateblo.jp現象最新の投稿を取得するために Schedule トリガーでパイプラインを毎日実行させていますが、2024/8/15 からエラーが発生するようになりました。詳細なエラーメッセージをこちらです。Error: error:0308010C:digital envelope routines::unsupportedat new Hash (node:internal/crypto/hash:79:19)at Object.createHash (node:crypto:139:10)at module.exports (C:\develop\team-blog-hub\node_modules\webpack\lib\util\createHash.js:135:53)at NormalModule._initBuildHash (C:\develop\team-blog-hub\node_modules\webpack\lib\NormalModule.js:417:16)at handleParseError (C:\develop\team-blog-hub\node_modules\webpack\lib\NormalModule.js:471:10)at C:\develop\team-blog-hub\node_modules\webpack\lib\NormalModule.js:503:5at C:\develop\team-blog-hub\node_modules\webpack\lib\NormalModule.js:358:12at C:\develop\team-blog-hub\node_modules\loader-runner\lib\LoaderRunner.js:373:3at iterateNormalLoaders (C:\develop\team-blog-hub\node_modules\loader-runner\lib\LoaderRunner.js:214:10)at Array. (C:\develop\team-blog-hub\node_modules\loader-runner\lib\LoaderRunner.js:205:4) {opensslErrorStack: ['error:03000086:digital envelope routines::initialization error','error:0308010C:digital envelope routines::unsupported'],library: 'digital envelope routines',reason: 'unsupported',code: 'ERR_OSSL_EVP_UNSUPPORTED'ローカルの開発環境でビルドを実行した際にも、エラーが再現しました。原因エラーメッセージをインターネットで検索してみると、OpenSSL の互換性エラーだと分かりました。nodejs.org対応環境変数を設定することで、OpenSSL のレガシープロバイダーを有効にできます。$ export NODE_OPTIONS=--openssl-legacy-providerpackage.json で環境変数を設定すると、ローカルの開発環境でビルドが成功しました。{  "name": "my-app",  "version": "0.1.0",  "private": true,  "scripts": {    "dev": "set NODE_OPTIONS=--openssl-legacy-provider && next dev",    "build": "run-s build:posts build:next",    "build:posts": "ts-node --project tsconfig.builder.json ./src/builder/posts.ts",    "build:next": "set NODE_OPTIONS=--openssl-legacy-provider && next build && next export",    "start": "set NODE_OPTIONS=--openssl-legacy-provider && next start"  },}この修正だけでは GitHub Actions 内でのビルドは成功しなかったので、workflow の yml でも環境変数を設定しました。name: Azure Static Web Apps CI/CD Timer Triggeron:  schedule:    - cron:  '0 6 * * *'jobs:  build_and_deploy_job:    runs-on: ubuntu-latest    name: Build and Deploy Job    env:      NODE_OPTIONS: --openssl-legacy-provider    steps:      - uses: actions/checkout@v2        with:          submodules: true    まとめGitHub Actions から Azure Static Web Apps へのデプロイが OpenSSL の互換性エラーで失敗していたので、環境変数を設定して対応しました。修正内容の詳細は、こちらの Pull Request を参照してください。github.com

GitHub Actions から Azure Static Web Apps へのデプロイが OpenSSL の互換性エラーで失敗していた件

Azure App Service on Linux に Sidecar パターン機能（Public Preview）が追加されていますが、Phi-3 を Sidecar にデプロイするユースケースの記事が公開されていました。azure.github.ioSidecar パターンの特性に適していて、生成 AI を活用した Web アプリケーションのアーキテクチャとして非常に面白そうだと感じました。App Service の Sidecar パターンについては、前回の記事を参照してください。gooner.hateblo.jpSidecar アプリケーションを作成するPhi-3 は、Microsoft によって開発された Small Language Models（SLM）です。Phi-3 モデルの呼び出しをサポートするツールには Ollama を使い、Web アプリケーションから REST API で対話できるインターフェイスをもったコンテナーを作成します。Ollama は、ローカル環境で LLM や SLM のモデルを動かすことができるツールです。Phi-3 以外にも、Llama 3.1 や Google Gemma 2 などのモデルをサポートしています。ollama.com今回は Ollama の Docker Image をベースに Dockerfile を作成します。FROM ollama/ollama EXPOSE 11434 COPY startup.sh / RUN chmod +x /startup.sh ENTRYPOINT ["./startup.sh"]startup.sh では、Ollama で利用するモデルに Phi-3 を指定しています。#!/usr/bin/env bash # Start Ollama in the backgroundollama serve &sleep 5 # Pull and run phi3ollama pull phi3 # Restart ollama and run it in to foreground.pkill -f "ollama"ollama serveこの Docker イメージをDocker Hub にプッシュしておきます。$ docker build -t thara0402/sidecar-slm:0.1.0 ./$ docker push thara0402/sidecar-slm:0.1.0    Sidecar を呼び出す側のアプリケーションを作成するASP.NET Core で Sidecar を呼び出すシンプルな Web API を作成します。[Route("api/[controller]")][Produces("application/json")][ApiController]public class GenerateController : ControllerBase{private readonly IHttpClientFactory _httpClientFactory;private readonly IConfiguration _configuration;public GenerateController(IHttpClientFactory httpClientFactory, IConfiguration configuration){    _httpClientFactory = httpClientFactory;    _configuration = configuration;}[HttpPost]public async Task<ActionResult<string>> Post([FromBody] string prompt){    var sidecarUrl = _configuration["SIDECAR_SLM_URL"];    var json = @"    {        ""model"": ""phi3"",        ""prompt"": """ + prompt + @""",        ""stream"": false,        ""options"": {            ""num_keep"": 5,            ""num_predict"": 150,            ""seed"": 42,            ""top_k"": 1,            ""top_p"": 0.9,            ""tfs_z"": 0.5,            ""typical_p"": 0.7,            ""repeat_last_n"": 33,            ""temperature"": 0.8,            ""repeat_penalty"": 1.2,            ""presence_penalty"": 1.5,            ""frequency_penalty"": 1.0,            ""mirostat"": 1,            ""mirostat_tau"": 0.8,            ""mirostat_eta"": 0.6,            ""penalize_newline"": true,            ""stop"": [""<*end*>""],            ""num_thread"": 8        }    }";    var httpClient = _httpClientFactory.CreateClient();    var content = new StringContent(json, Encoding.UTF8, "application/json");    var response = await httpClient.PostAsync(sidecarUrl, content);    if (response.IsSuccessStatusCode)    {        var responseContent = await response.Content.ReadAsStringAsync();        return Ok(responseContent);    }    else    {        return StatusCode((int)response.StatusCode, response.ReasonPhrase);    }}Sidecar の URL については、appsettings.json に切り出しておきました。{  "Logging": {    "LogLevel": {      "Default": "Information",      "Microsoft.AspNetCore": "Warning"    }  },  "AllowedHosts": "*",  "SIDECAR_SLM_URL": "http://localhost:11434/api/generate"}上記以外のコードや Dockerfile はテンプレート通りなので説明は割愛します。$ docker build -t thara0402/sidecar-primary-app:0.6.0 ./$ docker push thara0402/sidecar-primary-app:0.6.0なお、Generate API 以外にも Ollama でモデルを実行および管理するための REST API エンドポイントが提供されています。github.comSidecar を構成した App Service をデプロイするApp Service on Linux に Sidecar パターンを構成していきます。リージョンは West Europe を指定しました。App Service を作成後、 Deployment Center から Sidecar のコンテナーを追加します。動作確認VS Code 拡張機能の REST Client からデプロイした Web API を呼び出してみます。@primary_app_HostAddress = https://<your-app-service-name>.azurewebsites.netPOST {{primary_app_HostAddress}}/api/generate/ HTTP/1.1content-type: application/json"What is Azure App Service?"###次のようなレスポンスが返却されており、期待される結果であることが分かります。{    "model": "phi3",    "created_at": "2024-08-14T07:48:51.268204818Z",    "response": "Azure Application Services (AppService) provides a platform-as-a-service for building, deploying and managing web apps. It supports multiple programming languages such as NodeJS/Express (JavaScript), .NET Core or PHP with frameworks like Laravel for building scalable, reliable and secure web applications. AppService also provides a range of features such as auto-scaling based on demand to ensure high availability with builtin load balancing, SSL offloading and more. It supports various databases including Azure SQL Database as a managed service for serverless database operations allowing users to manage their application' end-to endpoint communication without bothering about the underlying infrastructure. Furthermore, it offers webhook integration with GitHub and Azure DevOps providing continuous",    "done": true,    "done_reason": "length",    "context": [        32010,        29871,        13,        5618,        338,        12634,        2401,        6692,        29973,        32007,        29871,        13,        32001,        29871,        13,        28413,        8427,        15538,        313,        2052,        3170,        29897,        8128,        263,        7481,        29899,        294,        29899,        29874,        29899,        5509,        363,        5214,        29892,        7246,        292,        322,        767,        6751,        1856,        11446,        29889,        739,        11286,        2999,        8720,        10276,        1316,        408,        9071,        8700,        29914,        27404,        313,        16963,        511,        869,        6006,        10239,        470,        5048,        411,        29143,        763,        22238,        363,        5214,        8716,        519,        29892,        23279,        322,        11592,        1856,        8324,        29889,        2401,        3170,        884,        8128,        263,        3464,        310,        5680,        1316,        408,        4469,        29899,        19529,        292,        2729,        373,        9667,        304,        9801,        1880,        20847,        3097,        411,        4240,        262,        2254,        6411,        19985,        29892,        17122,        1283,        13234,        322,        901,        29889,        739,        11286,        5164,        21218,        3704,        12634,        3758,        5470,        408,        263,        8745,        2669,        363,        1923,        2222,        2566,        6931,        14372,        4160,        304,        10933,        1009,        2280,        29915,        1095,        29899,        517,        16248,        12084,        1728,        24738,        292,        1048,        278,        14407,        22035,        12425,        29889,        16478,        29892,        372,        16688,        1856,        20849,        13465,        411,        25492,        322,        12634,        9481,        29949,        567,        13138,        9126    ],    "total_duration": 17465699693,    "load_duration": 3223211932,    "prompt_eval_count": 15,    "prompt_eval_duration": 775537000,    "eval_count": 150,    "eval_duration": 13421104000}JSON だと見づらいので、生成された回答のみ抽出しておきます。Azure Application Services (AppService) provides a platform-as-a-service for building, deploying and managing web apps. まとめAzure App Service の Sidecar に Phi-3 をデプロイして Web アプリケーションから呼び出してみました。github.comSidecar パターンで LLM や SLM をセルフホストする場合、リアルタイム応答、機密データ、コスト削減、ファインチューニングといったメリットを挙げることができます。今回のソースコードは、こちらのリポジトリで公開しています。github.com

Azure App Service の Sidecar に Phi-3 をデプロイして Web アプリケーションの機能を拡張する

Azure App Service on Linux に Sidecar パターンでコンテナーをデプロイできる機能が追加されました。Docker Container のみ（Windows Container は未対応）Sidecar を構成できるのは App Service の新規作成のみ（既存リソースには未対応）Sidecar を構成できるリージョンは限定されている（West Europe など）techcommunity.microsoft.com今回は最もシンプルな構成で試したかったので、ASP.NET Core の Web API をコンテナー化して Sidecar にデプロイしてみました。Sidecar パターンとはマイクロサービスで構成されるシステムを構築する場合、分散されたサービス群を管理するためのアーキテクチャや運用の複雑さが増す傾向にあります。learn.microsoft.comログやトレースなど可観測性に関する機能リモートサービスを呼び出す際のリトライやサーキットブレーカーなど回復性に関する機能Sidecar アプリケーションを作成するASP.NET Core でテキストのみを返すシンプルな Web API を作成します。[Route("api/[controller]")][ApiController]public class DemoController : ControllerBase{    [HttpGet]    public ActionResult<string> Get()    {        var response = "Hello Sidecar!";        return Ok(response);    }}App Service 内部において、Sidecar を呼び出す側と呼び出される側でポート番号が重複しないように、Program.cs でポート番号を 2000 に変更しておきます。var builder = WebApplication.CreateBuilder(args);builder.WebHost.ConfigureKestrel(options =>{    // Sidecar としてデプロイしたいので、ポート番号を 2000 に変更    options.Listen(IPAddress.Parse("0.0.0.0"), 2000);});// HTTP でホストしたいので HTTPS リダイレクトは無効化//app.UseHttpsRedirection();Dockerfile においても、ポート番号 2000 を開けておきます。FROM mcr.microsoft.com/dotnet/sdk:8.0 AS buildWORKDIR /codeCOPY . .RUN dotnet restoreRUN dotnet publish --output /output --configuration ReleaseFROM mcr.microsoft.com/dotnet/aspnet:8.0EXPOSE 2000COPY --from=build /output /appWORKDIR /appENTRYPOINT ["dotnet", "sidecar-dotnetcore.dll"]アプリケーションが完成したので、Docker Hub にプッシュしておきます。$ docker build -t thara0402/sidecar-dotnetcore:0.3.0 ./$ docker push thara0402/sidecar-dotnetcore:0.3.0    Sidecar を呼び出す側のアプリケーションを作成するASP.NET Core で Sidecar を呼び出すシンプルな Web API を作成します。[Route("api/[controller]")][ApiController]public class DemoController : ControllerBase{    private readonly IHttpClientFactory _httpClientFactory;    private readonly IConfiguration _configuration;    public DemoController(IHttpClientFactory httpClientFactory, IConfiguration configuration)    {        _httpClientFactory = httpClientFactory;        _configuration = configuration;    }    [HttpGet]    public async Task<ActionResult<string>> Get()    {        var sidecarUrl = _configuration["SIDECAR_URL"];        var httpClient = _httpClientFactory.CreateClient();        var response = await httpClient.GetStringAsync(sidecarUrl);        return Ok(response);    }}Sidecar の URL については、appsettings.json に切り出しておきました。{  "Logging": {    "LogLevel": {      "Default": "Information",      "Microsoft.AspNetCore": "Warning"    }  },  "AllowedHosts": "*",  "SIDECAR_URL": "http://localhost:2000/api/Demo"}上記以外のコードや Dockerfile はテンプレート通りなので説明は割愛します。$ docker build -t thara0402/sidecar-primary-app:0.5.0 ./$ docker push thara0402/sidecar-primary-app:0.5.0    Sidecar を構成した App Service をデプロイするApp Service on Linux に Sidecar パターンを構成していきます。リージョンは West Europe を指定しました。App Service を作成後、 Deployment Center から Sidecar のコンテナーを追加します。動作確認Swagger UI から Sidecar の Web API を呼び出せることを確認できました。まとめAzure App Service on Linux の Sidecar にカスタムコンテナーをデプロイしてみました。今回のソースコードは、こちらのリポジトリで公開しています。github.com

Azure App Service の Sidecar にカスタムコンテナーをデプロイしてみた

.NET 6 が 2024/11/12 にサポート終了するため、.NET 8 に移行したら Azure Web App for Containers のサイトに接続できなる現象に遭遇したので、顛末をまとめておきます。現象ASP.NET Core で作成したアプリケーションを Azure Web App for Containers 上にデプロイしていました。csproj と Dockerfile のバージョンを 8.0 に更新しました。<Project Sdk="Microsoft.NET.Sdk.Web">  <PropertyGroup>    <TargetFramework>net8.0</TargetFramework>    <Nullable>enable</Nullable>    <ImplicitUsings>enable</ImplicitUsings>    <RootNamespace>WebApp</RootNamespace>  </PropertyGroup>  <ItemGroup>    <PackageReference Include="Swashbuckle.AspNetCore" Version="6.4.0" />  </ItemGroup></Project>FROM mcr.microsoft.com/dotnet/sdk:8.0 AS buildWORKDIR /codeCOPY . .RUN dotnet restoreRUN dotnet publish --output /output --configuration ReleaseFROM mcr.microsoft.com/dotnet/aspnet:8.0COPY --from=build /output /appWORKDIR /appENTRYPOINT ["dotnet", "WebApp.dll"]更新した Docker Image をデプロイすると、Azure Web App for Containers からレスポンスが返却されない状態になってサイトが表示できなくなりました。原因改めて ASP.NET Core 8 の移行ドキュメントを読んでみると、Docker コンテナの既定のポートが 80 から 8080 に更新されていることが分かりました。learn.microsoft.comポート番号の変更理由は、non-root ユーザーに切り替えるときに使いやすくするためとのことです。詳細は、こちらのドキュメントを参照してください。learn.microsoft.com対応ローカル環境では、docker run コマンドで実行する際のポート番号のマッピングを変更します。# ASP,NET Core 7 まで$ docker run --rm -it -p 8000:80 --name webapp web-app:0.1.0# ASP,NET Core 8$ docker run --rm -it -p 8000:8080 --name webapp web-app:0.1.0Azure Web App for Containers では、環境変数の App settings で WEBSITES_PORT に 8080 を設定します。$ az webapp config appsettings set --resource-group <group-name> --name <app-name> --settings WEBSITES_PORT=8080まとめASP.NET Core 8 に移行したら Azure Web App for Containers のサイトに接続できなくなり、思いのほか解決に時間がかかりました。今回の件に限らないですが、公式ドキュメントをよく読んでから移行しましょう。

ASP.NET Core 8 に移行したら Azure Web App for Containers のサイトに接続できなくなった件

Build 2024 のいくつかのセッションで取り上げていた Prompty が良さそうです。先日の Azure Travelers 勉強会 の LT でも紹介しましたが、ブログにもまとめておきます。gooner.hateblo.jpPrompty とはPrompty は、プロンプトを管理するためのフォーマットです。---name: ExamplePromptdescription: A prompt that uses context to ground an incoming questionauthors:  - Seth Juarezmodel:  api: chat  configuration:    type: azure_openai    azure_endpoint: https://<your-endpoint>.openai.azure.com    azure_deployment: <your-deployment>  parameters:    max_tokens: 3000sample:  firstName: Seth  context: >    The Alpine Explorer Tent boasts a detachable divider for privacy,     numerous mesh windows and adjustable vents for ventilation, and     a waterproof design. It even has a built-in gear loft for storing     your outdoor essentials. In short, it's a blend of privacy, comfort,     and convenience, making it your second home in the heart of nature!  question: What can you tell me about your tents?---system:You are an AI assistant who helps people find information. As the assistant, you answer questions briefly, succinctly, and in a personable manner using markdown and even add some personal flair with appropriate emojis.# CustomerYou are helping {{firstName}} to find answers to their questions.Use their name to address them in your responses.# ContextUse the following context to provide a more personalized response to {{firstName}}:{{context}}user:{{question}}{{ }} で囲まれた firstName、context、question は変数になっており、アプリケーションへ組み込む際には値を引き渡すことができます。Azure AI Studio などのプレイグラウンドでプロンプトを試行錯誤するなら、VS Code 拡張機能をインストールしてローカルで Prompty を使ったほうが便利です。marketplace.visualstudio.comVS Code から .prompty 拡張子のファイルを実行できるようになります。接続先の LLM 資格情報は、settingsjson に定義します。Microsoft Entra ID で認証することもできます。{    "prompty.modelConfigurations": [        {            "name": "default",            "type": "azure_openai",            "api_version": "2023-12-01-preview",            "azure_endpoint": "https://xxx.openai.azure.com/",            "azure_deployment": "gpt-35-turbo-16k",            "api_key": "xxx",        },        {            "name": "gpt-3.5-turbo",            "type": "openai",            "api_key": "",            "organization": ""        }    ],}    アプリケーションへの組み込みPrompty は、Prompt flow、Langchain、Semantic Kernel とも統合されているので、ソースコードに文字列でプロンプトをハードコーディングする必要がなくなります。assistant.prompty というファイルを作成し、プロンプトを定義しておきます。---name: AssistantPromptdescription: AI assistant のサンプルプロンプトです。model:  api: chat  configuration:    type: azure_openai    azure_deployment: gpt-4o  parameters:    max_tokens: 3000    temperature: 0.7sample:  question: Microsoft Azure とは?---system:You are an AI assistant that helps people find information.user:{{question}}Semantic Kernel の場合、下記のようなコードで assistant.prompty からプロンプトを読み込んで実行できます。#pragma warning disable SKEXP0040using Microsoft.Extensions.Configuration;using Microsoft.SemanticKernel;using prompty_console_app;var settings = new ConfigurationBuilder()    .AddUserSecrets<Program>()    .Build()    .GetSection(nameof(AzureOpenAISettings)).Get<AzureOpenAISettings>() ?? throw new NullReferenceException();var builder = Kernel.CreateBuilder();builder.AddAzureOpenAIChatCompletion(settings.DeploymentName, settings.Endpoint, settings.ApiKey);var kernel = builder.Build();var prompty = kernel.CreateFunctionFromPromptyFile("assistant.prompty");while (true){    Console.Write("You: ");    var text = Console.ReadLine();    if (string.IsNullOrWhiteSpace(text))    {        break;    }    Console.WriteLine("Assistant:");    await foreach (var result in kernel.InvokeStreamingAsync<string>(prompty, new() { ["question"] = text }))    {        Console.Write(result);    }    Console.WriteLine("");}このコードを実行すると、AOAI を使った簡単なチャットができます。また、評価用プロンプトを Prompty にしておいて、使いまわしても良さそうです。learn.microsoft.comまとめPrompty を使うと、生成 AI アプリケーション開発のプロンプト管理が捗りそうです。今回のサンプルアプリは、こちらで公開しています。github.com

Prompty を使って生成 AI アプリケーション開発のプロンプトを管理する

先週末、第3回 Azure Travelers 勉強会 山形の旅に参加してきました。jat.connpass.com勉強会勉強会会場は、Power Platform で有名な株式会社 ASAHI Accounting Robot 研究所（ロボ研）さんでした。お洒落で素敵な会場でした。asahi-robo.jpAzure Travelers のコミュニティは初参加でしたが、とても楽しいイベントでした。スタッフ含め30人くらいの規模感がいい司会の酒見さんの進行が上手いこともあるが、セッションやパネルディスカッションで会場を巻き込みやすい午前中のみ配信あり、午後からは配信なしのバランスがいいコミュニティの趣旨や雰囲気をオンラインで伝えることができ、次の開催地域とのつながりも作れる協賛してくれたロボ研さんの認知をオンラインで広めることができるMS 中山さんのパネルディスカッションのファシリテーションが上手いこともあり、DX に取り組む Power Platform 界隈の現場の声を引き出せていた午後は現地のみセッションとなるので、ここだけの話がしやすい山形ご当地セッションとクイズは、Azure Travelers ならではの内容で良かったMS 土田さんの山形への愛を感じたYG-900 の認定を取得した、Azure Travelers Certified のステッカーが格好いい次の開催地をサイコロで決めるルールは、水曜どうでしょう感があって面白い次々回は沖縄に決定（次回10月中旬は福岡）午前中の配信はアーカイブがあります。www.youtube.com飛び入りで LT に参加して Prompty の紹介をしました。ブラウザのプレイグラウンドでプロンプトを試行錯誤するなら、VS Code 拡張をインストールして Prompty を使ったほうが便利です。Prompt flow、Langchain、Semantic Kernel とも統合されているので、ソースコードに文字列でハードコーディングするよりも保守しやすいです。marketplace.visualstudio.com懇親会は、炭火焼肉くろげで美味しい山形牛を食べました。3次会までありましたが、宿泊で来ている方が多いので、終電を気にせず飲めるのも良かったです。さくらんぼ狩りツアー翌日は、寒河江にある三泉観光さくらんぼ園へさくらんぼ狩りに行きました。初めての経験でしたが、甘くて美味しいさくらんぼをたくさん食べられて大満足でした。山形観光勉強会以外にも、いろいろと観光して山形を満喫しました。ご飯の写真は撮り損ねたのですが、ラーメンの聖地ということもあってよく食べた気がします。山形城「北の関ヶ原合戦」と呼ばれた慶長出羽合戦において、最上義光が上杉の直江兼続の率いる大軍を撃退したことが有名です。立石寺山寺とも呼ばれ、松尾芭蕉が奥の細道で「閑さや 岩にしみ入る 蝉の声」という句を詠んだ場所として知られています。銀山温泉銀山温泉は、大正時代のような木造の温泉旅館が立ち並ぶ温泉街です。昼間もいいですが、ガス灯に火がともる夜のほうが映えます。温泉もいいお湯でした。蔵王の御釜蔵王にある釜状の火山湖の御釜に行きました。エメラルドグリーンの湖水と火口壁の対比が奇麗でした。蔵王温泉の大露天風呂にも行きました。お湯は強酸性泉なので硫黄の匂いが強いですが、渓流露天風呂のロケーションも相まっていい温泉でした。まとめ参加者と運営メンバーそしてロボ研の皆様、ありがとうございました。とても楽しかったので、次回福岡の旅にも参加したいです。

第3回 Azure Travelers 勉強会 山形の旅に参加してきました

昨年11月の Ignite 2023 に続き、シアトルで Microsoft Build 2024 に参加してきました。build.microsoft.comBuild 2024 でアナウンスされた内容は、このあたりの記事で説明されています。Book of NewsOfficial Microsoft Blogブチザッキ（Day1、Day2）この記事では、現地参加の雰囲気や個人的に感じたことをお伝えしていきます。Registration会場は、シアトルにある Seattle Convention Center Summit です。Keynote：Day1いよいよ初日のキーノート、現地参加するなら最前列を確保したいと思い、開始2時間前の7時から並びました。今年は MVP 席が用意されていたので、結果的には並ぶ必要はなかったかもしれません。Imagine Cup の表彰が終了後、キーノートが始まりました。今回の Build で最も印象に残ったのは、生成 AI のプラットフォームがクラウドからクライアントのデバイス上にも広がってきたことです。生成 AI 活用は大きく構えて LLM を使うまでもなく、Phi-3 をはじめとする SLM で事足りるユースケースもあると思います。リアルタイム応答、オフライン、機密データ、コスト削減、ファインチューニングといったキーワードが挙げられていましたが、LLM との使い分けなのか組み合わせなのか、クライアント上でモデルに推論させるユースケースも考えていきたいです。あとは、GPT-4o の GA ですね。予想された発表ではありましたが、GPT4 と比較したレスポンス速度向上とコスト削減は、PTU に代わる選択肢として期待できます。さらにマルチモーダルな入力を活用したパラダイムシフトも加速していきそうです。（今のところは Text とVision のみ、Voice は未実装です）昨年の Build で発表された Copilot stack も、だいぶ解像度が上がってきました。ちなみに、サプライズで OpenAI の Altman が登場しました。Keynote：Day2Day2 のキーノートは、Scott Guthrie。昨日と同じく前から5列目あたりの席を確保。Copilot stack に沿った開発者向けの話が中心でした。App Service や Functions の話題がなかったのは残念。Azure のコンテキストで回答してくれる GitHub Copilot for Azure は良さそう。さっそく利用申請しました。Azure OpenAI Batch Service のアナウンス、ジョブ用途で50％値下げは嬉しい。適用できるユースケースは多いはず。会場の様子Convention Center には1～5階と地下1階の各フロアに部屋があって、自由に聞きたいセッションを選べます。ブレイクアウトセッションの様子。Scott Hanselman のライブデモは流石です。キーノートでの発表以外で熱いと感じたのは、APIM のアップデート。AOAI 向けの Gateway 機能として、トークンの制限ポリシーやサーキットブレーカーによる複数 AOAI エンドポイントへの負荷分散など。あとは、Azure Functions の Flex Consumption が Public Preview になりました。このプランが GA すれば、基本これを使っておけば良いでしょう。ビルド飯は、こんな感じでした。初日のチキンカレーは美味しかったですが、2日目以降は例年並みでした。（砂糖の塊のようなビスケットはつらい）昨年もあったピーナッツとリンゴのおやつは、安定の美味しさでした。今回の戦利品。ノベルティとTシャツ、Tシャツのデザインは3種類から選べました。Microsoft Build and AMD Celebration最終日のパーティ会場は、NFL のシアトル・シーホークスの本拠地である Lumen Field でした。ピッチまで降りることができる貴重な経験でした。Microsoft Campus今回一緒に行った同僚を案内するため、Redmond にある Microsoft 本社にも行きました。Visitor Center だけでなく、East Campus にある新しい建物やツリーハウスも散策しました。Day0 に行ったので、カンパニーストアに Copilot+PC の展示があるかと期待しましたが、まだありませんでした。（Build 会場の Hub に展示がありました）4月に開通したばかりの Link light rail に乗って帰りました。東西 Campus を結ぶ道ができており、Redmond Technology Station にも行くことができます。現在は Bellevue までですが、いずれ Seattle まで延長する計画があります。ちなみに、Bellevue で食べたくら寿司は普通に美味しかったです。まとめMicrosoft Build 2024 にシアトルで現地参加してきました。gooner.hateblo.jp

Microsoft Build 2024 に現地参加してきました

jazug.connpass.com第46回 Tokyo Jazug Night に参加して、社内の問い合わせ対応業務に Azure OpenAI Service を活用した社内導入事例を話してきました。www.youtube.comAzure OpenAI や AI Search の概要や機能に関する技術的なセッションというよりは、実際に作ってみて分かったことや苦労したことをエンジニアの観点で話しました。このテーマが参加者に方々にとって求めている内容なのか不安でしたが、AOAI を触っている人からは、データが大事、アジャイルと相性がいい、などが共感できたAOAI を触っていない人からは、これから作るので RAG アーキテクチャや精度向上の取り組みが参考になったといった感じのフィードバックが会場からのコメントや Twitter でいただけたので、話して良かったと思いました。スライドは、こちらで共有しています。 speakerdeck.comちなみに、AlterLock（オルターロック）とは、弊社で販売している自転車用の盗難防止アラーム＆ GPS 追跡デバイスです。alterlock.net

第46回 Tokyo Jazug Night で Azure OpenAI Service の社内導入事例を話してきました

今年も、しばやんさんが作った 2023 年の人気記事ランキング生成 を使わせてもらい、１年を振り返ってみます。ASP.NET でクライアントの IP アドレスを取得するHttpClient を使って同期で通信するプロキシ環境下で Web API を呼び出すASP.NET Web API で multipart / form-data を使ってファイルをアップロードするASP.NET Core Web API で multipart / form-data を使ってファイルをアップロードするAzure Synapse Analytics を試してみたユーザー委任 SAS を使った AzCopy で Azure Blob Storage にファイルをアップロードするほったらかしキャンプ場でソロキャンしてきましたASP.NET MVC の Ajax 通信で例外を処理するMicrosoft Defender for Storage でストレージアカウントを保護する例年通り、ASP.NET 関連の記事が多く読まれているなかで、Azure の記事が増えてきたのは嬉しいですが、今年の OpenAI の記事がランクインしていなかったのは残念。gooner.hateblo.jpイベント登壇今年はセッションに登壇する機会がありませんでした。あえて挙げるなら、Ignite に現地参加するためにシアトルへ行ったので、Tokyo Jazug Night で飛び込みで話をさせてもらったくらいです。www.youtube.comTokyo Jazug Night で話した内容は、こちらのブログにも記載しています。gooner.hateblo.jpコミュニティ運営JAZUG の運営は足利さんたちにお任せしてしまっていて、ほとんど何もしていません。オフラインとのハイブリッド形式で開催されているので、来年はもう少し運営のお手伝いができるといいなと考えています。jazug.connpass.comMicrosoft MVP4月には、6回目の Microsoft MVP Global Summit に参加しました。レドモンド開催とのハイブリッド形式でしたが、今年はオンラインで参加しました。gooner.hateblo.jp今年も Microsoft MVP for Microsoft Azure を無事に更新できたので、来年3月のグロサミはレドモンドに行く予定です。仕事ネクストスケープに転職して、3年が経ちました。今年は Azure OpenAI Service に注力してお仕事した１年でした。まとめ昨年からの体調不良はだいぶ回復してきたので、おかげさまで趣味と仕事のどちらも楽しめるようになってきました。おまけ2023年自分が選ぶ今年の４枚。Microsoft Ignite 2023ふもとっぱらキャンプ場エミレーツスタジアム熊本復興プロジェクトの ONE PIECE 像

2023 年振り返り

これまで Microsoft Build と MVP Global Summit には現地参加したことがありましたが、Microsoft Ignite は初めての現地参加です。コロナ禍明けということもあり、久しぶりの海外カンファレンスとなりました。news.microsoft.comIgnite 2023 でアナウンスされた内容は、このあたりの記事で説明されています。Official Microsoft BlogBook of Newsブチザッキこの記事では、現地参加の雰囲気や個人的に感じたことをお伝えしていきます。Registration会場は、シアトルにある Seattle Convention Center Summit です。Day1 のキーノート前にレジストすると大行列するので、前日にレジストのために会場に行きました。Keynote：Day1いよいよ初日のキーノート、現地参加するなら最前列を確保したいと思い、開始2時間前の7時から並びました。前から4列を確保でき、キーノートが始まりました。今回の Ignite の感想を一言で言うと、「Copilot stack が具体化されて、AI の民主化がより現実的になった」です。Satya Nagdella からの「Microsoft is the Copilot Company」というのメッセージと共に発表された Copilot Studio のインパクトが大きかったです。Day1 のキーノートでは、Copilot stack の下から上の順番で話が進みました。AI ワークロードを支えるインフラ強化（Azure Boost、Azure Cobalt、Azure Maia）OpenAI モデルのアップデート、様々なモデルのサービス化（Model as a Service）Azure AI Studio による統合開発環境の提供AI Search のベクトル検索 や Microsoft Fabric の GAMicrosoft Copilot for XX のラインナップ拡充Copilot Studio を使ってローコードで独自のデータソースを参照ちなみに、5月の build で発表された際は、このようなアーキテクチャでした。だいぶ解像度が上がったことが分かります。Keynote：Day2Day2 のキーノートは、Scott Guthrie。昨日とは逆サイドの席を確保。Day1 のキーノートとは反対に、Copilot stack の上から下の順番で話が進みました。Copilot Studio のデモ（Teams の Copilot から良い回答が返されなかったので、データソースを追加して専用の Copilot を作る）であったり、Developer 向けの GitHub Copilot や Azure Copilot が紹介されました。会場の様子Convention Center には1～5階と地下1階の各フロアに部屋があって、自由に聞きたいセッションを選べます。ブレイクアウトセッションの様子。Scott Hanselman のデモは、面白い中にもテーマが込められていて流石でした。キーノートでは触れられませんでしたが、Azure Functions の Flex Consumption の発表がアツかったです。サーバーレスなのに VNET 統合できてコールドスタートも速い、Premium Plan を選択する機会は少なくなりそう。techcommunity.microsoft.comExpo 会場の雰囲気。お昼に配られるランチはこんな感じ。一番美味しかったのはバナナですね。おやつもいろいろあって、スタバのコーヒーも飲み放題。リンゴにピーナッツクリームが添えられた謎のおやつは意外と美味しかったです。Microsoft and DocuSign MixerDay1 の夜は、Convention Center の5階で Mixer がありました。Microsoft and Logitech CelebrationDay2 の夜は、スペースニードル近くの Pacific Science Center を貸し切ってのパーティでした。Closing Keynote最後のセッションは、Mark Russinovich の Closing Keynote でした。所々にジョークを織り交ぜながらのセッションで、恒例の CPU コアを色付けするスーパーメカゴジラビーストのデモをライブで見れて良かったです。Closing Keynote 終了後は、スタッフが盛大にお見送りしてくれました。日本のイベントにはない光景でアメリカらしいなと思いました。今回の戦利品。バックパックの色とマーク、Tシャツの柄も自由に選べました。Microsoft campusレドモンドにある Microsoft 本社の Visitor Center にも行きました。来年3月のグロサミでまた来れるといいな。まとめMicrosoft Ignite 2023 にシアトルで現地参加してきました。シアトルを観光した話は、こちらの記事を参照してください。gooner.hateblo.jp

Microsoft Ignite 2023 に現地参加してきました

まだプレビューですが Azure Cognitive Search にセマンティック検索機能が提供されました。前回の記事ではベクトル検索を試したので、今回はセマンティック検索を試してみました。gooner.hateblo.jpセマンティック検索とは従来のキーワードによる全文検索とは異なり、質問の意図を理解して関連性の高い検索結果を返すこと（Semantic re-ranking）ができます。Semantic answers検索結果に関連するドキュメントのほかに、質問に対する回答を最上位に表示する。Google やBing で検索した際にトップに表示されるアレです。Semantic captions and highlights検索結果に関連性がある理由を知らせるために、要約を表示したりキーワードを強調表示したりする。Google やBing の検索結果の表示形式のことです。qiita.comセマンティック検索に対応したインデックスを作成する前回の記事で作成した .NET アプリケーションにセマンティック検索を追加します。セマンティック検索に対応したインデックスを作成します。SemanticSettings プロパティを追加し、title、content、category のフィールドを設定しました。static SearchIndex CreateSearchIndex(string indexName){    var vectorSearchConfigName = "vector-config";    var modelDimensions = 1536;    return new SearchIndex(indexName)    {        VectorSearch = new VectorSearch        {            AlgorithmConfigurations =            {                new HnswVectorSearchAlgorithmConfiguration(vectorSearchConfigName)            }        },        SemanticSettings = new SemanticSettings        {            Configurations =            {                new SemanticConfiguration(SemanticSearchConfigName,                    new PrioritizedFields                    {                        TitleField = new SemanticField{ FieldName = "title" },                        ContentFields =                        {                            new SemanticField { FieldName = "content" }                        },                        KeywordFields =                        {                            new SemanticField { FieldName = "category" }                        }                    })            },        },        Fields =        {            new SimpleField("id", SearchFieldDataType.String) { IsKey = true, IsFilterable = true, IsSortable = true, IsFacetable = true },            new SearchableField("title") { IsFilterable = true, IsSortable = true, AnalyzerName = LexicalAnalyzerName.JaLucene },            new SearchableField("content") { IsFilterable = true, AnalyzerName = LexicalAnalyzerName.JaLucene },            new SearchField("contentVector", SearchFieldDataType.Collection(SearchFieldDataType.Single))            {                IsSearchable = true,                VectorSearchDimensions = modelDimensions,                VectorSearchConfiguration = vectorSearchConfigName            },            new SearchableField("category") { IsFilterable = true, IsSortable = true, IsFacetable = true, AnalyzerName = LexicalAnalyzerName.JaLucene }        }    };}コードを実行すると、インデックスにセマンティック検索の構成が設定されていることを確認できます。セマンティック検索を使ってみるセマンティック検索を実行する SemanticSearchAsync メソッドを作成します。ベクトル検索の処理に加えて、searchOptions プロパティでセマンティック検索の設定を実装しています。前回と同様の検索結果に加えて、セマンティック アンサーを表示する実装を追加しています。static async Task SemanticSearchAsync(SearchClient searchClient, OpenAIClient openAIClient, string deploymentOrModelName, string query){    try    {        var queryEmbeddings = await GetEmbeddingsAsync(deploymentOrModelName, query, openAIClient);        var searchOptions = new SearchOptions        {            Vectors = { new SearchQueryVector { Value = queryEmbeddings.ToArray(), KNearestNeighborsCount = 3, Fields = { "contentVector" } } },            Size = 10,            QueryType = SearchQueryType.Semantic,            QueryLanguage = QueryLanguage.JaJp,            SemanticConfigurationName = SemanticSearchConfigName,            QueryCaption = QueryCaptionType.Extractive,            QueryAnswer = QueryAnswerType.Extractive,            QueryCaptionHighlightEnabled = true,            Select = { "title", "content", "category" },        };        SearchResults<SearchDocument> response = await searchClient.SearchAsync<SearchDocument>(query, searchOptions);        int count = 0;        Console.WriteLine("Semantic Search Results:\n");        Console.WriteLine("Semantic Answer:");        foreach (AnswerResult result in response.Answers)        {            Console.WriteLine($"Answer Highlights: {result.Highlights}");            Console.WriteLine($"Answer Text: {result.Text}\n");        }        await foreach (SearchResult<SearchDocument> result in response.GetResultsAsync())        {            count++;            Console.WriteLine($"Title: {result.Document["title"]}");            Console.WriteLine($"Score: {result.Score}");            Console.WriteLine($"Content: {result.Document["content"]}");            Console.WriteLine($"Category: {result.Document["category"]}");            if (result.Captions != null)            {                var caption = result.Captions.FirstOrDefault();                if (caption != null)                {                    if (!string.IsNullOrEmpty(caption.Highlights))                    {                        Console.WriteLine($"Caption Highlights: {caption.Highlights}\n");                    }                    else                    {                        Console.WriteLine($"Caption Text: {caption.Text}\n");                    }                }            }        }        Console.WriteLine($"Total Results: {count}");    }    catch (NullReferenceException)    {        Console.WriteLine("Total Results: 0");    }}セマンティック検索のメソッドを呼び出すコードを実装します。var inputQuery = "暑い日に食べられている京菓子は？";Console.WriteLine($"Query: {inputQuery}\n");Console.WriteLine("Choose a query approach:");Console.WriteLine("1. Vector Search");Console.WriteLine("2. Keyword Search");Console.WriteLine("3. Hybrid Search");Console.WriteLine("4. Semantic Search");Console.Write("Enter the number of the desired approach: ");var choice = int.Parse(Console.ReadLine() ?? "0");Console.WriteLine("");switch (choice){    case 1:        await VectorSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    case 2:        await KeywordSearchAsync(searchClient, inputQuery);        break;    case 3:        await HybridSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    case 4:        await SemanticSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    default:        Console.WriteLine("Invalid choice. Exiting...");        break;}前回と同様に、暑い日に食べられている京菓子を検索してみます。ベクトル検索と同様に若鮎がトップに来ており、Caption Text に回答の要約が追加されています。一方、Semantic Answer が空で返されているのは、明確な回答を求めるような質問ではなかったことが原因だと思われます。「若鮎とはどのような京菓子ですか？」という内容に、質問を変えてみます。今度は、Answer Highlights と Answer Text が返され、Caption Highlights も追加されています。まとめAzure Cognitive Search のセマンティック検索を .NET アプリケーションから使ってみました。今回のサンプルアプリは、こちらで公開しています。github.com

Azure Cognitive Search のセマンティック検索を .NET アプリケーションから使ってみた

まだプレビューですが Azure Cognitive Search にベクトル検索機能が提供されました。これにより、Azure OpenAI Serivce で Embedding したベクトルを永続化するデータベースとして使うことができます。github.comベクトル検索とはAzure OpenAI Service では、Embedding のモデル（text-embedding-ada-002）が提供されていて、会話でやりとりされる自然言語の文字列をベクトル（1536 個の浮動小数点数の高次元配列）に変換することができます。qiita.com事前準備.NET アプリケーション.NET 7 のコンソールアプリを作り、OpenAI と Cognitive Search の NuGet ライブラリをインストールします。ベクトル検索に対応したバージョンは、11.5.0-beta.4 になります。Install-Package Azure.AI.OpenAI -Version 1.0.0-beta.6Install-Package Azure.Search.Documents -Version 11.5.0-beta.4Install-Package Microsoft.Extensions.Configuration.Binder -Version 7.0.4Install-Package Microsoft.Extensions.Configuration.UserSecrets -Version 7.0.0OpenAI と Cognitive Search に接続する資格情報を .NET の UserSecrets に定義します。Embedding には text-embedding-ada-002 のモデルを使います。{  "AzureOpenAISettings": {    "CognitiveSearchEndpoint": "https://xxx.search.windows.net",    "CognitiveSearchKey": "xxx",    "CognitiveSearchIndexName": "kyogashi-vector-index",    "Endpoint": "https://xxx.openai.azure.com",    "ApiKey": "xxx",    "DeploymentOrModelName": "text-embedding-ada-002"  }}secret.json のフィールドをバインドするクラスを作ります。internal class AzureOpenAISettings{    public required string CognitiveSearchEndpoint { get; set; }    public required string CognitiveSearchKey { get; set; }    public required string CognitiveSearchIndexName { get; set; }    public required string Endpoint { get; set; }    public required string ApiKey { get; set; }    public required string DeploymentOrModelName { get; set; }}ConfigurationBuilder で secret.json を読み込んで AzureOpenAISettings クラスにバインドします。読み込んだ情報を使って、OpenAI と Cognitive Search に接続するクラスをインスタンス化しておきます。var settings = new ConfigurationBuilder()    .AddUserSecrets<Program>()    .Build()    .GetSection(nameof(AzureOpenAISettings)).Get<AzureOpenAISettings>() ?? throw new NullReferenceException();var openAIClient = new OpenAIClient(new Uri(settings.Endpoint), new AzureKeyCredential(settings.ApiKey));var indexClient = new SearchIndexClient(new Uri(settings.CognitiveSearchEndpoint), new AzureKeyCredential(settings.CognitiveSearchKey));var searchClient = indexClient.GetSearchClient(settings.CognitiveSearchIndexName);    サンプルデータベクトル検索を試すデータは、ChatGPT を使ってサクッと京都の和菓子に関するデータ を作成しました。[  {    "id": "1",    "title": "花びら餅",    "content": "花びら餅は、京都の伝統的な和菓子で、美しい花びら模様の薄い皮と甘さ控えめのあんこが特徴です。この和菓子は季節ごとにバリエーションが楽しめ、茶道やお茶うけに使われ、京都のお土産として人気があります。見た目も美しく、食べるだけでなく、芸術的な価値も持っています。また、花びら餅は季節感あふれる和菓子で、特に春に楽しまれます。春の季節になると、桜の花びらを使った花びら餅が登場し、桜の風味を楽しむことができます。この季節になると、花見のお供としても愛され、桜の美しさと和の風情を同時に楽しむことができます。花びら餅は、京都の伝統を受け継ぐ和菓子として、その美しさと風味によって多くの人に愛されています。",    "category": "春"  },  {    "id": "2",    "title": "椿餅",    "content": "椿餅は、椿の花をイメージした和菓子で、もちもちの皮とこしあんが特徴です。この和菓子は見た目が美しく、和の風情を楽しむ品として知られています。椿餅の魅力は、その花のような形状と風味にあります。もちもちの皮は、食感を楽しむ要素として重要であり、こしあんの甘さとの組み合わせが絶妙です。この絶妙なバランスが、多くの人に喜ばれています。また、椿餅は春の季節に特に人気があります。椿の花が春に咲くことから、この季節になると椿餅が楽しまれ、春の訪れを感じることができます。椿餅は、見た目にも美しい和菓子で、和の文化を感じることができる逸品です。",    "category": "春"  }]    ベクトルデータベースを作成するベクトルの保存先として、Azure にはいくつかの選択肢があります。Azure Database for PostgreSQLAzure Cache for RedisAzure Cosmos DBAzure Cognitive Search今回は Cognitive Search のインデックスを作成します。VectorSearch プロパティにはベクトル検索のアルゴリズムとして Hierarchical Navigable Small World（HNSW）を設定します。title、content、category のフィールドには ja.lucene の日本語アナライザーを設定し、ベクトルは contentVector フィールドに格納します。static SearchIndex CreateSearchIndex(string indexName){    var vectorSearchConfigName = "vector-config";    var modelDimensions = 1536;    return new SearchIndex(indexName)    {        VectorSearch = new VectorSearch        {            AlgorithmConfigurations =            {                new HnswVectorSearchAlgorithmConfiguration(vectorSearchConfigName)            }        },        Fields =        {            new SimpleField("id", SearchFieldDataType.String) { IsKey = true, IsFilterable = true, IsSortable = true, IsFacetable = true },            new SearchableField("title") { IsFilterable = true, IsSortable = true, AnalyzerName = LexicalAnalyzerName.JaLucene },            new SearchableField("content") { IsFilterable = true, AnalyzerName = LexicalAnalyzerName.JaLucene },            new SearchField("contentVector", SearchFieldDataType.Collection(SearchFieldDataType.Single))            {                IsSearchable = true,                VectorSearchDimensions = modelDimensions,                VectorSearchConfiguration = vectorSearchConfigName            },            new SearchableField("category") { IsFilterable = true, IsSortable = true, IsFacetable = true, AnalyzerName = LexicalAnalyzerName.JaLucene }        }    };}サンプルデータの JSON から読み取ったデータをインデックスに登録します。contentVector フィールドには OpenAI でEmbedding したベクトルを格納します。static async Task UploadDocumentAsync(string deploymentOrModelName, SearchClient searchClient, OpenAIClient openAIClient){    var json = File.ReadAllText("./kyogashi.json");    var sampleDocuments = new List<SearchDocument>();    foreach (var document in JsonSerializer.Deserialize<List<Dictionary<string, object>>>(json) ?? new List<Dictionary<string, object>>())    {        var content = document["content"]?.ToString() ?? string.Empty;        document["contentVector"] = (await GetEmbeddingsAsync(deploymentOrModelName, content, openAIClient)).ToArray();        sampleDocuments.Add(new SearchDocument(document));    }    await searchClient.IndexDocumentsAsync(IndexDocumentsBatch.Upload(sampleDocuments));}static async Task<IReadOnlyList<float>> GetEmbeddingsAsync(string deploymentOrModelName, string text, OpenAIClient openAIClient){    var response = await openAIClient.GetEmbeddingsAsync(deploymentOrModelName, new EmbeddingsOptions(text));    return response.Value.Data[0].Embedding;}ベクトルデータベースを作成するコードを実装します。初回のみ作成すればいいので、選択できるようにしています。Console.Write("Would you like to index (y/n)? ");var indexChoice = Console.ReadLine()?.ToLower() ?? string.Empty;if (indexChoice == "y"){    await indexClient.CreateOrUpdateIndexAsync(CreateSearchIndex(settings.CognitiveSearchIndexName));    await UploadDocumentAsync(settings.DeploymentOrModelName, searchClient, openAIClient);}コードを実行すると、インデックスが作成されていることを確認できます。ベクトル検索してみるベクトル検索を実行する VectorSearchAsync メソッドを作成します。パラメータで受け取った質問を OpenAI でEmbedding してクエリを実行します。KNearestNeighborsCount プロパティで検索結果上位３件を返す設定にしました。static async Task VectorSearchAsync(SearchClient searchClient, OpenAIClient openAIClient, string deploymentOrModelName, string query){    var queryEmbeddings = await GetEmbeddingsAsync(deploymentOrModelName, query, openAIClient);    var searchOptions = new SearchOptions    {        Vectors = { new SearchQueryVector { Value = queryEmbeddings.ToArray(), KNearestNeighborsCount = 3, Fields = { "contentVector" } } },        Size = 3,        Select = { "title", "content", "category" },    };    SearchResults<SearchDocument> response = await searchClient.SearchAsync<SearchDocument>(null, searchOptions);    var count = 0;    await foreach (var result in response.GetResultsAsync())    {        count++;        Console.WriteLine($"Title: {result.Document["title"]}");        Console.WriteLine($"Score: {result.Score}");        Console.WriteLine($"Content: {result.Document["content"]}");        Console.WriteLine($"Category: {result.Document["category"]}\n");    }    Console.WriteLine($"Total Results: {count}");}ベクトル検索のメソッドを呼び出すコードを実装します。詳細は後述しますが、他の検索と比較するためのロジックもいれてあります。var inputQuery = "暑い日に食べられている京菓子は？";Console.WriteLine($"Query: {inputQuery}\n");Console.WriteLine("Choose a query approach:");Console.WriteLine("1. Vector Search");Console.WriteLine("2. Keyword Search");Console.WriteLine("3. Hybrid Search");Console.Write("Enter the number of the desired approach: ");var choice = int.Parse(Console.ReadLine() ?? "0");Console.WriteLine("");switch (choice){    case 1:        await VectorSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    case 2:        await KeywordSearchAsync(searchClient, inputQuery);        break;    case 3:        await HybridSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    default:        Console.WriteLine("Invalid choice. Exiting...");        break;}暑い日に食べられている京菓子を検索してみます。「夏」というキーワードで質問していませんが、「暑い日」というテキストの類似性を見て、若鮎や水無月がヒットしています。求肥のはいった若鮎は美味しいですね。キーワード検索と比較してみるベクトル検索の結果と比較してみたいので、シンプルなキーワード検索のメソッドを実装します。パラメータで受け取った質問をそのままクエリで実行しています。static async Task KeywordSearchAsync(SearchClient searchClient, string query){    var searchOptions = new SearchOptions    {        Size = 3,        Select = { "title", "content", "category" },    };    SearchResults<SearchDocument> response = await searchClient.SearchAsync<SearchDocument>(query, searchOptions);    var count = 0;    await foreach (var result in response.GetResultsAsync())    {        count++;        Console.WriteLine($"Title: {result.Document["title"]}");        Console.WriteLine($"Score: {result.Score}");        Console.WriteLine($"Content: {result.Document["content"]}");        Console.WriteLine($"Category: {result.Document["category"]}\n");    }    Console.WriteLine($"Total Results: {count}");}同様に、暑い日に食べられている京菓子を検索してみます。「暑い日」というキーワードがヒットする水無月がトップにきています。３位の粽は「食べられている」というキーワードに引っ張られたのかもしれません。ハイブリッド検索と比較してみる次にハイブリッド検索のメソッドを実装します。パラメータで受け取った質問を文字列と OpenAI でEmbedding したベクトルの両方をクエリで実行しています。static async Task HybridSearchAsync(SearchClient searchClient, OpenAIClient openAIClient, string deploymentOrModelName, string query){    var queryEmbeddings = await GetEmbeddingsAsync(deploymentOrModelName, query, openAIClient);    var searchOptions = new SearchOptions    {        Vectors = { new SearchQueryVector { Value = queryEmbeddings.ToArray(), KNearestNeighborsCount = 3, Fields = { "contentVector" } } },        Size = 3,        Select = { "title", "content", "category" },    };    SearchResults<SearchDocument> response = await searchClient.SearchAsync<SearchDocument>(query, searchOptions);    var count = 0;    await foreach (var result in response.GetResultsAsync())    {        count++;        Console.WriteLine($"Title: {result.Document["title"]}");        Console.WriteLine($"Score: {result.Score}");        Console.WriteLine($"Content: {result.Document["content"]}");        Console.WriteLine($"Category: {result.Document["category"]}\n");    }    Console.WriteLine($"Total Results: {count}");}同様に、暑い日に食べられている京菓子を検索してみます。若鮎、水無月という順番で、最も欲しかった検索結果を返してくれています。まとめAzure OpenAI Service と Azure Cognitive Search を使って .NET アプリケーションからベクトル検索を試してみました。今回は割愛しましたが、フィルターを使って category を絞り込むことで、検索精度を上げることもできます。今回のサンプルアプリは、こちらで公開しています。github.com

Azure OpenAI Service と Azure Cognitive Search を使って .NET アプリケーションからベクトル検索を試してみた

2023年7月1日付けで、Microsoft Most Valuable Professional (MVP) アワードを再受賞しました。カテゴリは Microsoft Azure で、7 年目の受賞となります。昨年の主な活動内容JAZUG の登壇は 12周年総会で Azure Container Apps のライブデモ を行いました。スクラッチで .NET 7 の MVC アプリを作って、Container Apps で Blue - Green デプロイする内容でした。gooner.hateblo.jpクラウドデベロッパーちゃんねるでは、MS の寺田さんと Azure Container Apps のお話をしてきました。Microsoft Build 2022 で MVP パーソナルスポンサーとして提供したサンプルコードを紹介しました。gooner.hateblo.jpブログでも、Azure Container Apps ネタが多めでした。gooner.hateblo.jp今年の活動目標昨年10月から体調を崩してしまい、後半はコミュニティ活動できませんでした。だいぶ回復してきたので、少しずつにコミュニティ活動を再開していきたいです。jazug.connpass.comAzureもくもく会@新宿は、昨年後半から中断しているので、オフラインで再開できればと考えています。azure-mokumoku.connpass.com技術領域としては、Azure OpenAI Service のキャッチアップとアウトプットに注力したいです。OpenAI 関連の情報は非常に多いですが、.NET エンジニアの観点での情報を発信できたらと思います。

Microsoft MVP for Microsoft Azure を再受賞しました

まだプレビューですが、Azure OpenAI Service で Function Calling が使えるようになりました。今回は .NET エンジニアの視点で Function Calling を使ってみました。techcommunity.microsoft.comFunction Calling とはOpenAI を業務で活用しようとすると、外部システムの API と連携させたいケースが出てきます。チャットの会話でやりとりされる自然言語をもとに、呼び出したい API を特定したり、パラメータで渡すデータを生成したくなりますが、プロンプトエンジニアリングを試行錯誤する必要があり難易度が高い実装でした。Function Calling を使うと、自然言語の中から API を呼び出すための情報を抽出してくれるので、OpenAI と外部システムを容易に連携させることができるようになります。zenn.devFunction Calling を使ってみる紅葉の名所を探すのを手伝ってくれる AI アシスタントを作ります。この AI アシスタントは、「京都の紅葉」のように会話から指定された場所の名所を教えてくれます。このシナリオを Azure OpenAI Client Library を使って実装してみます。.NET 7 のコンソールアプリを作る前準備は、以前の記事を参照してください。gooner.hateblo.jpinternal class ApiClient{    public static string SearchAutumnLeaves(string location)    {        // 本当は location を使って検索するが、今回は京都の名所を決め打ちで返す。        return "{\n  \"result\": \"清水寺\",\n}";    }}internal class AutumnLeavesParameter{    public required string Location { get; set; }}システムロールにアシスタントのコンテキストと Function を定義します。ChatCompletionsOptions クラスに Functions プロパティが追加されているので、FunctionDefinition クラスで Name、Description、Parameters を指定できます。var chatCompletionsOptions = new ChatCompletionsOptions{    MaxTokens = 800,    Messages =    {        new ChatMessage(ChatRole.System, """            あなたは、ユーザーが紅葉の名所を検索するのを助けるために設計されたAIアシスタントです。            ユーザーから紅葉の名所を質問されたら、search_autumn_leaves関数を呼び出します。        """)    },    Functions =    {        new FunctionDefinition{            Name = "search_autumn_leaves",            Description = "引数で指定された場所の紅葉の名所を検索します。",            Parameters = BinaryData.FromObjectAsJson(new            {                Type = "object",                Properties = new                {                    location = new                    {                        Type = "string",                        Description = "紅葉の名所を検索する場所、場所には都道府県や都市の名前を含めること、例：東京、山梨",                    },                },                Required = new[] { "location" },            },            new JsonSerializerOptions            {                PropertyNamingPolicy = JsonNamingPolicy.CamelCase,            }),        }    },    FunctionCall = FunctionDefinition.Auto};Console.WriteLine("アシスタントのセットアップ中・・・");var client = new OpenAIClient(new Uri(settings.Endpoint), new AzureKeyCredential(settings.ApiKey));await client.GetChatCompletionsAsync(settings.DeploymentName, chatCompletionsOptions);ユーザーロールには、こちらからの送信メッセージを定義します。Console.WriteLine("チャットを開始する");var userMessage = "今年は紅葉を見に行きたいけど、京都でお勧めの紅葉の名所を教えてください。";Console.WriteLine($"{ChatRole.User}: {userMessage}");chatCompletionsOptions.Messages.Add(new ChatMessage(ChatRole.User, userMessage));var result = await client.GetChatCompletionsAsync(settings.DeploymentName, chatCompletionsOptions);var choice = result.Value.Choices[0];レスポンスの FinishReason が「function_call」の場合、紅葉の名所を検索する API を呼び出します。Function の Name と Arguments をいかに期待通りに取得できるかが肝となるので、システムロールのコンテキストFunctions や Parameter の Descriptionを明確かつ詳細に定義する必要があります。if (choice.FinishReason == "function_call"){    // API呼び出し    var functionsResponse = String.Empty;    switch (choice.Message.FunctionCall.Name)    {        case "search_autumn_leaves":            var parameter = JsonConvert.DeserializeObject<AutumnLeavesParameter>(choice.Message.FunctionCall.Arguments);            if (parameter == null)            {                Console.WriteLine("FunctionCall.Arguments is null");            }            else            {                functionsResponse = ApiClient.SearchAutumnLeaves(parameter.Location);            }            break;        default:            Console.WriteLine("function: not found");            return;    }    // API のレスポンスを使ってメッセージを返す    chatCompletionsOptions.Messages.Add(        new ChatMessage        {            Role = choice.Message.Role,            Name = choice.Message.FunctionCall.Name,            Content = choice.Message.FunctionCall.Arguments        });    chatCompletionsOptions.Messages.Add(        new ChatMessage        {            Role = ChatRole.Function,            Name = choice.Message.FunctionCall.Name,            Content = functionsResponse        });    var assistantResult = await client.GetChatCompletionsAsync(settings.DeploymentName, chatCompletionsOptions);    var assistantChoice = assistantResult.Value.Choices[0];    Console.WriteLine($"{assistantChoice.Message.Role}: {assistantChoice.Message.Content}");    Console.WriteLine("---------------------------------");    Console.WriteLine("Information");    Console.WriteLine($"- FunctionCall.Name: {choice.Message.FunctionCall.Name}");    Console.WriteLine($"- FunctionCall.Arguments: {choice.Message.FunctionCall.Arguments}");}else{    Console.WriteLine($"{choice.Message.Role}: {choice.Message.Content}");}チャットの質問に対して、期待通りの結果を取得できたことが分かります。紅葉の名所を検索する場所が質問に含まれていないと場所を聞き返してくれるので、その後の会話で Funcion を呼び出すこともできます。FinishReason に「stop」が格納されています。なお、まったく関係のない質問をすると、下記のように回答されます。まとめAzure OpenAI Service で Function Calling を試してみました。チャットの会話でやりとりされる自然言語をもとに外部システムの API と連携させることが容易になるので、OpenAI 活用の幅が広がる機能ですし、プロンプトエンジニアリングの手法のひとつの ReAct をいい感じで実装できます。Function Calling のリリースドキュメントに記載がありますが、関数の呼び出しだけでなく、JSON などの構造化されたモデルを生成する用途にも使えそうだと感じました。今回のサンプルアプリは、こちらで公開しています。github.com

Azure OpenAI Service の Function Calling を .NET アプリケーションから使ってみた

Azure OpenAI Service On Your Data は、Microsoft Build 2023 でパブリックプレビューが開始された機能です。今回は .NET エンジニアの視点で On Your Data を使ってみました。Azure OpenAI Service On Your DataとはAzure OpenAI On Your Data では、インターネットには公開できない独自のドキュメントに基づいて LLM に回答させること（グラウンディング）ができます。しかも、Azure の PaaS として簡単にできるところが嬉しいです。zenn.devシナリオ社内の就業規則をもとにユーザーからの質問に回答する総務担当アシスタントを作成します。Azure OpenAI Sutido の ChatGPT プレイグラウンドで試します。モデルは、先日東日本リージョンで使えるようになった gpt-4 を使います。プレイグラウンドの「add your data」から、Cognitive Search にインデックスを作成します。Cognitive Search に作成されたインデックスは、いい感じにドキュメントを分割して作られています。インデクサーは作成されないので、インデックスの更新は別途対応が必要です。システムメッセージを設定して質問すると、就業規則をもとに回答してくれます。REST API を呼び出してみる今回のシナリオを .NET アプリケーションに組み込むためには、Azure OpenAI の Completions extensions API を呼び出す必要があります。まずは Azure OpenAI への認証として、ヘッダーに api-key をセットします。リクエストの Body に dataSources と messages を JSON で渡すと、プレイグラウンドと同様の結果を取得できます。.NET の API Client を自動生成するHttpClient を使って HTTP リクエストを組み立てるのは面倒なので、NSwag を使って Swagger.json から .NET の API Client を自動生成します。NSwagStudio をインストールして、前述の Swagger.json を貼り付けます。Runtime で .NET70 を指定Namespace で MyApiClient を変更Interface を使うように指定（好みの問題なのでオプションです）Generate Outputs ボタンを押すと、C# のコードが自動生成されます。コンソールアプリケーションから API Client を呼び出してみる先ほどの自動生成した API Client を使って実装してみます。.NET 7 のコンソールアプリを作り、NuGet パッケージをインストールします。Install-Package Newtonsoft.Json -Version 13.0.3Install-Package Microsoft.Extensions.Configuration.Binder -Version 7.0.4Install-Package Microsoft.Extensions.Configuration.UserSecrets -Version 7.0.0Microsoft.Extensions.Configuration 関連の NuGet パッケージは、Azure OpenAI に接続する資格情報を管理するためにインストールしました。{  "AzureOpenAISettings": {    "CognitiveSearchEndpoint": "https://xxx.search.windows.net",    "CognitiveSearchKey": "xxx",    "CognitiveSearchIndexName": "azureblob-index",    "Endpoint": "https://xxx.openai.azure.com/openai",    "ApiVersion": "2023-06-01-preview",    "ApiKey": "xxx",    "DeploymentId": "gpt-4"  }}secret.json に各プロパティを定義したら、バインドするクラスを作ります。internal class AzureOpenAISettings{    public required string CognitiveSearchEndpoint { get; set; }    public required string CognitiveSearchKey { get; set; }    public required string CognitiveSearchIndexName { get; set; }    public required string Endpoint { get; set; }    public required string ApiVersion { get; set; }    public required string ApiKey { get; set; }    public required string DeploymentId { get; set; }}ConfigurationBuilder を使って、secret.json を読み込んで AzureOpenAISettings クラスにバインドします。var settings = new ConfigurationBuilder()    .AddUserSecrets<Program>()    .Build()    .GetSection(nameof(AzureOpenAISettings)).Get<AzureOpenAISettings>() ?? throw new NullReferenceException();リクエストの Body は、ExtensionsChatCompletionsRequest クラスが自動生成されています。DataSource には Cognitive Search の情報を設定し、Messages にはシステムロールにアシスタントのコンテキスト、ユーザーロールには質問を設定します。Console.WriteLine("アシスタントのセットアップ中・・・"); var body = new ExtensionsChatCompletionsRequest{    DataSources = new[] {            new DataSource {                Type = "AzureCognitiveSearch",                Parameters = new {                    endpoint = settings.CognitiveSearchEndpoint,                    key = settings.CognitiveSearchKey,                    indexName = settings.CognitiveSearchIndexName                }            }        },    Messages = new[] {            new Message {                Role = MessageRole.System,                Content = """                    あなたは社内の総務担当です。就業規則をもとにして、ユーザーからの質問に回答してください。                    回答の際には出典を出力してください。                    回答が分からない場合は、「分かりません」と回答してください。                """            },            new Message {                Role = MessageRole.User,                Content = "社員が結婚するときの特別休暇は何日ですか？"            }        },    Max_tokens = 800,    Temperature = 0d,    Frequency_penalty = 0d,    Presence_penalty = 0d,};Console.WriteLine("チャットを開始する");foreach (var message in body.Messages){    Console.WriteLine($"{message.Role}: {message.Content}");}Completions extensions API の呼び出しは、ExtensionsChatCompletionsClient クラスが自動生成されています。Azure OpenAI の api-key をセットした HttpClient のインスタンスを渡して、REST API を呼び出します。using (var httpClient = new HttpClient()){    httpClient.DefaultRequestHeaders.Add("api-key", settings.ApiKey);    var client = new ExtensionsChatCompletionsClient(httpClient);    client.BaseUrl = settings.Endpoint;    Console.WriteLine("就業規則を確認中・・・");    var result = await client.CreateAsync(settings.DeploymentId, settings.ApiVersion, body);    foreach (var choice in result.Choices)    {        foreach (var message in choice.Messages)        {            if (message.Role == MessageRole.Assistant)            {                Console.WriteLine($"{message.Role}: {message.Content}");            }        }    }}コンソールアプリを実行すると、プレイグラウンドと同様の結果を取得できます。まとめAzure OpenAI Service On Your Data を .NET アプリケーションから使ってみました。Retrieval Augmented Generation（RAG）と呼ばれるデザインパターンを素早く構築できる待望の機能です。Azure の PaaS として簡単にできるとはいえ、回答精度を継続的に改善しつつ維持していくためには、Cognitive Search のインデックスや検索対象ドキュメントの保守は必須となります。今回のサンプルアプリは、こちらで公開しています。github.com

Toshiyuki Hara

Azure Functions の Azure OpenAI Extension を使ってチャットアシスタントにカスタムスキルを追加する

Azure Functions の Azure OpenAI Extension を使ってチャットアシスタントを構築する

Azure Functions の Azure OpenAI Extension を使ってベクトル検索を構築する

Azure Functions の Azure OpenAI Extension を使ってコンテンツを要約する

Microsoft MVP を再受賞しました

GitHub Actions から Azure Static Web Apps へのデプロイが OpenSSL の互換性エラーで失敗していた件

Azure App Service の Sidecar に Phi-3 をデプロイして Web アプリケーションの機能を拡張する

Azure App Service の Sidecar にカスタムコンテナーをデプロイしてみた

ASP.NET Core 8 に移行したら Azure Web App for Containers のサイトに接続できなくなった件

Prompty を使って生成 AI アプリケーション開発のプロンプトを管理する

第3回 Azure Travelers 勉強会山形の旅に参加してきました

Microsoft Build 2024 に現地参加してきました

第46回 Tokyo Jazug Night で Azure OpenAI Service の社内導入事例を話してきました

2023 年振り返り

Microsoft Ignite 2023 に現地参加してきました

Azure Cognitive Search のセマンティック検索を .NET アプリケーションから使ってみた

Azure OpenAI Service と Azure Cognitive Search を使って .NET アプリケーションからベクトル検索を試してみた

Microsoft MVP for Microsoft Azure を再受賞しました

Azure OpenAI Service の Function Calling を .NET アプリケーションから使ってみた

Azure OpenAI Service On Your Data を .NET アプリケーションから使ってみた

Azure Functions の Azure OpenAI Extension を使ってチャットアシスタントにカスタムスキルを追加する

Azure Functions の Azure OpenAI Extension を使ってチャットアシスタントを構築する

Azure Functions の Azure OpenAI Extension を使ってベクトル検索を構築する

Azure Functions の Azure OpenAI Extension を使ってコンテンツを要約する

Microsoft MVP を再受賞しました

GitHub Actions から Azure Static Web Apps へのデプロイが OpenSSL の互換性エラーで失敗していた件

Azure App Service の Sidecar に Phi-3 をデプロイして Web アプリケーションの機能を拡張する

Azure App Service の Sidecar にカスタムコンテナーをデプロイしてみた

ASP.NET Core 8 に移行したら Azure Web App for Containers のサイトに接続できなくなった件

Prompty を使って生成 AI アプリケーション開発のプロンプトを管理する

第3回 Azure Travelers 勉強会 山形の旅に参加してきました

Microsoft Build 2024 に現地参加してきました

第46回 Tokyo Jazug Night で Azure OpenAI Service の社内導入事例を話してきました

2023 年振り返り

Microsoft Ignite 2023 に現地参加してきました

Azure Cognitive Search のセマンティック検索を .NET アプリケーションから使ってみた

Azure OpenAI Service と Azure Cognitive Search を使って .NET アプリケーションからベクトル検索を試してみた

Microsoft MVP for Microsoft Azure を再受賞しました

Azure OpenAI Service の Function Calling を .NET アプリケーションから使ってみた

Azure OpenAI Service On Your Data を .NET アプリケーションから使ってみた

第3回 Azure Travelers 勉強会山形の旅に参加してきました