Toshiyuki Hara

jazug.connpass.com第46回 Tokyo Jazug Night に参加して、社内の問い合わせ対応業務に Azure OpenAI Service を活用した社内導入事例を話してきました。www.youtube.comAzure OpenAI や AI Search の概要や機能に関する技術的なセッションというよりは、実際に作ってみて分かったことや苦労したことをエンジニアの観点で話しました。このテーマが参加者に方々にとって求めている内容なのか不安でしたが、AOAI を触っている人からは、データが大事、アジャイルと相性がいい、などが共感できたAOAI を触っていない人からは、これから作るので RAG アーキテクチャや精度向上の取り組みが参考になったといった感じのフィードバックが会場からのコメントや Twitter でいただけたので、話して良かったと思いました。スライドは、こちらで共有しています。 speakerdeck.comちなみに、AlterLock（オルターロック）とは、弊社で販売している自転車用の盗難防止アラーム＆ GPS 追跡デバイスです。alterlock.net

第46回 Tokyo Jazug Night で Azure OpenAI Service の社内導入事例を話してきました

今年も、しばやんさんが作った 2023 年の人気記事ランキング生成 を使わせてもらい、１年を振り返ってみます。ASP.NET でクライアントの IP アドレスを取得するHttpClient を使って同期で通信するプロキシ環境下で Web API を呼び出すASP.NET Web API で multipart / form-data を使ってファイルをアップロードするASP.NET Core Web API で multipart / form-data を使ってファイルをアップロードするAzure Synapse Analytics を試してみたユーザー委任 SAS を使った AzCopy で Azure Blob Storage にファイルをアップロードするほったらかしキャンプ場でソロキャンしてきましたASP.NET MVC の Ajax 通信で例外を処理するMicrosoft Defender for Storage でストレージアカウントを保護する例年通り、ASP.NET 関連の記事が多く読まれているなかで、Azure の記事が増えてきたのは嬉しいですが、今年の OpenAI の記事がランクインしていなかったのは残念。gooner.hateblo.jpイベント登壇今年はセッションに登壇する機会がありませんでした。あえて挙げるなら、Ignite に現地参加するためにシアトルへ行ったので、Tokyo Jazug Night で飛び込みで話をさせてもらったくらいです。www.youtube.comTokyo Jazug Night で話した内容は、こちらのブログにも記載しています。gooner.hateblo.jpコミュニティ運営JAZUG の運営は足利さんたちにお任せしてしまっていて、ほとんど何もしていません。オフラインとのハイブリッド形式で開催されているので、来年はもう少し運営のお手伝いができるといいなと考えています。jazug.connpass.comMicrosoft MVP4月には、6回目の Microsoft MVP Global Summit に参加しました。レドモンド開催とのハイブリッド形式でしたが、今年はオンラインで参加しました。gooner.hateblo.jp今年も Microsoft MVP for Microsoft Azure を無事に更新できたので、来年3月のグロサミはレドモンドに行く予定です。仕事ネクストスケープに転職して、3年が経ちました。今年は Azure OpenAI Service に注力してお仕事した１年でした。まとめ昨年からの体調不良はだいぶ回復してきたので、おかげさまで趣味と仕事のどちらも楽しめるようになってきました。おまけ2023年自分が選ぶ今年の４枚。Microsoft Ignite 2023ふもとっぱらキャンプ場エミレーツスタジアム熊本復興プロジェクトの ONE PIECE 像

2023 年振り返り

これまで Microsoft Build と MVP Global Summit には現地参加したことがありましたが、Microsoft Ignite は初めての現地参加です。コロナ禍明けということもあり、久しぶりの海外カンファレンスとなりました。news.microsoft.comIgnite 2023 でアナウンスされた内容は、このあたりの記事で説明されています。Official Microsoft BlogBook of Newsブチザッキこの記事では、現地参加の雰囲気や個人的に感じたことをお伝えしていきます。Registration会場は、シアトルにある Seattle Convention Center Summit です。Day1 のキーノート前にレジストすると大行列するので、前日にレジストのために会場に行きました。Keynote：Day1いよいよ初日のキーノート、現地参加するなら最前列を確保したいと思い、開始2時間前の7時から並びました。前から4列を確保でき、キーノートが始まりました。今回の Ignite の感想を一言で言うと、「Copilot stack が具体化されて、AI の民主化がより現実的になった」です。Satya Nagdella からの「Microsoft is the Copilot Company」というのメッセージと共に発表された Copilot Studio のインパクトが大きかったです。Day1 のキーノートでは、Copilot stack の下から上の順番で話が進みました。AI ワークロードを支えるインフラ強化（Azure Boost、Azure Cobalt、Azure Maia）OpenAI モデルのアップデート、様々なモデルのサービス化（Model as a Service）Azure AI Studio による統合開発環境の提供AI Search のベクトル検索 や Microsoft Fabric の GAMicrosoft Copilot for XX のラインナップ拡充Copilot Studio を使ってローコードで独自のデータソースを参照ちなみに、5月の build で発表された際は、このようなアーキテクチャでした。だいぶ解像度が上がったことが分かります。Keynote：Day2Day2 のキーノートは、Scott Guthrie。昨日とは逆サイドの席を確保。Day1 のキーノートとは反対に、Copilot stack の上から下の順番で話が進みました。Copilot Studio のデモ（Teams の Copilot から良い回答が返されなかったので、データソースを追加して専用の Copilot を作る）であったり、Developer 向けの GitHub Copilot や Azure Copilot が紹介されました。会場の様子Convention Center には1～5階と地下1階の各フロアに部屋があって、自由に聞きたいセッションを選べます。ブレイクアウトセッションの様子。Scott Hanselman のデモは、面白い中にもテーマが込められていて流石でした。キーノートでは触れられませんでしたが、Azure Functions の Flex Consumption の発表がアツかったです。サーバーレスなのに VNET 統合できてコールドスタートも速い、Premium Plan を選択する機会は少なくなりそう。techcommunity.microsoft.comExpo 会場の雰囲気。お昼に配られるランチはこんな感じ。一番美味しかったのはバナナですね。おやつもいろいろあって、スタバのコーヒーも飲み放題。リンゴにピーナッツクリームが添えられた謎のおやつは意外と美味しかったです。Microsoft and DocuSign MixerDay1 の夜は、Convention Center の5階で Mixer がありました。Microsoft and Logitech CelebrationDay2 の夜は、スペースニードル近くの Pacific Science Center を貸し切ってのパーティでした。Closing Keynote最後のセッションは、Mark Russinovich の Closing Keynote でした。所々にジョークを織り交ぜながらのセッションで、恒例の CPU コアを色付けするスーパーメカゴジラビーストのデモをライブで見れて良かったです。Closing Keynote 終了後は、スタッフが盛大にお見送りしてくれました。日本のイベントにはない光景でアメリカらしいなと思いました。今回の戦利品。バックパックの色とマーク、Tシャツの柄も自由に選べました。Microsoft campusレドモンドにある Microsoft 本社の Visitor Center にも行きました。来年3月のグロサミでまた来れるといいな。まとめMicrosoft Ignite 2023 にシアトルで現地参加してきました。シアトルを観光した話は、こちらの記事を参照してください。gooner.hateblo.jp

Microsoft Ignite 2023 に現地参加してきました

まだプレビューですが Azure Cognitive Search にセマンティック検索機能が提供されました。前回の記事ではベクトル検索を試したので、今回はセマンティック検索を試してみました。gooner.hateblo.jpセマンティック検索とは従来のキーワードによる全文検索とは異なり、質問の意図を理解して関連性の高い検索結果を返すこと（Semantic re-ranking）ができます。Semantic answers検索結果に関連するドキュメントのほかに、質問に対する回答を最上位に表示する。Google やBing で検索した際にトップに表示されるアレです。Semantic captions and highlights検索結果に関連性がある理由を知らせるために、要約を表示したりキーワードを強調表示したりする。Google やBing の検索結果の表示形式のことです。qiita.comセマンティック検索に対応したインデックスを作成する前回の記事で作成した .NET アプリケーションにセマンティック検索を追加します。セマンティック検索に対応したインデックスを作成します。SemanticSettings プロパティを追加し、title、content、category のフィールドを設定しました。static SearchIndex CreateSearchIndex(string indexName){    var vectorSearchConfigName = "vector-config";    var modelDimensions = 1536;    return new SearchIndex(indexName)    {        VectorSearch = new VectorSearch        {            AlgorithmConfigurations =            {                new HnswVectorSearchAlgorithmConfiguration(vectorSearchConfigName)            }        },        SemanticSettings = new SemanticSettings        {            Configurations =            {                new SemanticConfiguration(SemanticSearchConfigName,                    new PrioritizedFields                    {                        TitleField = new SemanticField{ FieldName = "title" },                        ContentFields =                        {                            new SemanticField { FieldName = "content" }                        },                        KeywordFields =                        {                            new SemanticField { FieldName = "category" }                        }                    })            },        },        Fields =        {            new SimpleField("id", SearchFieldDataType.String) { IsKey = true, IsFilterable = true, IsSortable = true, IsFacetable = true },            new SearchableField("title") { IsFilterable = true, IsSortable = true, AnalyzerName = LexicalAnalyzerName.JaLucene },            new SearchableField("content") { IsFilterable = true, AnalyzerName = LexicalAnalyzerName.JaLucene },            new SearchField("contentVector", SearchFieldDataType.Collection(SearchFieldDataType.Single))            {                IsSearchable = true,                VectorSearchDimensions = modelDimensions,                VectorSearchConfiguration = vectorSearchConfigName            },            new SearchableField("category") { IsFilterable = true, IsSortable = true, IsFacetable = true, AnalyzerName = LexicalAnalyzerName.JaLucene }        }    };}コードを実行すると、インデックスにセマンティック検索の構成が設定されていることを確認できます。セマンティック検索を使ってみるセマンティック検索を実行する SemanticSearchAsync メソッドを作成します。ベクトル検索の処理に加えて、searchOptions プロパティでセマンティック検索の設定を実装しています。前回と同様の検索結果に加えて、セマンティック アンサーを表示する実装を追加しています。static async Task SemanticSearchAsync(SearchClient searchClient, OpenAIClient openAIClient, string deploymentOrModelName, string query){    try    {        var queryEmbeddings = await GetEmbeddingsAsync(deploymentOrModelName, query, openAIClient);        var searchOptions = new SearchOptions        {            Vectors = { new SearchQueryVector { Value = queryEmbeddings.ToArray(), KNearestNeighborsCount = 3, Fields = { "contentVector" } } },            Size = 10,            QueryType = SearchQueryType.Semantic,            QueryLanguage = QueryLanguage.JaJp,            SemanticConfigurationName = SemanticSearchConfigName,            QueryCaption = QueryCaptionType.Extractive,            QueryAnswer = QueryAnswerType.Extractive,            QueryCaptionHighlightEnabled = true,            Select = { "title", "content", "category" },        };        SearchResults<SearchDocument> response = await searchClient.SearchAsync<SearchDocument>(query, searchOptions);        int count = 0;        Console.WriteLine("Semantic Search Results:\n");        Console.WriteLine("Semantic Answer:");        foreach (AnswerResult result in response.Answers)        {            Console.WriteLine($"Answer Highlights: {result.Highlights}");            Console.WriteLine($"Answer Text: {result.Text}\n");        }        await foreach (SearchResult<SearchDocument> result in response.GetResultsAsync())        {            count++;            Console.WriteLine($"Title: {result.Document["title"]}");            Console.WriteLine($"Score: {result.Score}");            Console.WriteLine($"Content: {result.Document["content"]}");            Console.WriteLine($"Category: {result.Document["category"]}");            if (result.Captions != null)            {                var caption = result.Captions.FirstOrDefault();                if (caption != null)                {                    if (!string.IsNullOrEmpty(caption.Highlights))                    {                        Console.WriteLine($"Caption Highlights: {caption.Highlights}\n");                    }                    else                    {                        Console.WriteLine($"Caption Text: {caption.Text}\n");                    }                }            }        }        Console.WriteLine($"Total Results: {count}");    }    catch (NullReferenceException)    {        Console.WriteLine("Total Results: 0");    }}セマンティック検索のメソッドを呼び出すコードを実装します。var inputQuery = "暑い日に食べられている京菓子は？";Console.WriteLine($"Query: {inputQuery}\n");Console.WriteLine("Choose a query approach:");Console.WriteLine("1. Vector Search");Console.WriteLine("2. Keyword Search");Console.WriteLine("3. Hybrid Search");Console.WriteLine("4. Semantic Search");Console.Write("Enter the number of the desired approach: ");var choice = int.Parse(Console.ReadLine() ?? "0");Console.WriteLine("");switch (choice){    case 1:        await VectorSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    case 2:        await KeywordSearchAsync(searchClient, inputQuery);        break;    case 3:        await HybridSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    case 4:        await SemanticSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    default:        Console.WriteLine("Invalid choice. Exiting...");        break;}前回と同様に、暑い日に食べられている京菓子を検索してみます。ベクトル検索と同様に若鮎がトップに来ており、Caption Text に回答の要約が追加されています。一方、Semantic Answer が空で返されているのは、明確な回答を求めるような質問ではなかったことが原因だと思われます。「若鮎とはどのような京菓子ですか？」という内容に、質問を変えてみます。今度は、Answer Highlights と Answer Text が返され、Caption Highlights も追加されています。まとめAzure Cognitive Search のセマンティック検索を .NET アプリケーションから使ってみました。今回のサンプルアプリは、こちらで公開しています。github.com

Azure Cognitive Search のセマンティック検索を .NET アプリケーションから使ってみた

まだプレビューですが Azure Cognitive Search にベクトル検索機能が提供されました。これにより、Azure OpenAI Serivce で Embedding したベクトルを永続化するデータベースとして使うことができます。github.comベクトル検索とはAzure OpenAI Service では、Embedding のモデル（text-embedding-ada-002）が提供されていて、会話でやりとりされる自然言語の文字列をベクトル（1536 個の浮動小数点数の高次元配列）に変換することができます。qiita.com事前準備.NET アプリケーション.NET 7 のコンソールアプリを作り、OpenAI と Cognitive Search の NuGet ライブラリをインストールします。ベクトル検索に対応したバージョンは、11.5.0-beta.4 になります。Install-Package Azure.AI.OpenAI -Version 1.0.0-beta.6Install-Package Azure.Search.Documents -Version 11.5.0-beta.4Install-Package Microsoft.Extensions.Configuration.Binder -Version 7.0.4Install-Package Microsoft.Extensions.Configuration.UserSecrets -Version 7.0.0OpenAI と Cognitive Search に接続する資格情報を .NET の UserSecrets に定義します。Embedding には text-embedding-ada-002 のモデルを使います。{  "AzureOpenAISettings": {    "CognitiveSearchEndpoint": "https://xxx.search.windows.net",    "CognitiveSearchKey": "xxx",    "CognitiveSearchIndexName": "kyogashi-vector-index",    "Endpoint": "https://xxx.openai.azure.com",    "ApiKey": "xxx",    "DeploymentOrModelName": "text-embedding-ada-002"  }}secret.json のフィールドをバインドするクラスを作ります。internal class AzureOpenAISettings{    public required string CognitiveSearchEndpoint { get; set; }    public required string CognitiveSearchKey { get; set; }    public required string CognitiveSearchIndexName { get; set; }    public required string Endpoint { get; set; }    public required string ApiKey { get; set; }    public required string DeploymentOrModelName { get; set; }}ConfigurationBuilder で secret.json を読み込んで AzureOpenAISettings クラスにバインドします。読み込んだ情報を使って、OpenAI と Cognitive Search に接続するクラスをインスタンス化しておきます。var settings = new ConfigurationBuilder()    .AddUserSecrets<Program>()    .Build()    .GetSection(nameof(AzureOpenAISettings)).Get<AzureOpenAISettings>() ?? throw new NullReferenceException();var openAIClient = new OpenAIClient(new Uri(settings.Endpoint), new AzureKeyCredential(settings.ApiKey));var indexClient = new SearchIndexClient(new Uri(settings.CognitiveSearchEndpoint), new AzureKeyCredential(settings.CognitiveSearchKey));var searchClient = indexClient.GetSearchClient(settings.CognitiveSearchIndexName);    サンプルデータベクトル検索を試すデータは、ChatGPT を使ってサクッと京都の和菓子に関するデータ を作成しました。[  {    "id": "1",    "title": "花びら餅",    "content": "花びら餅は、京都の伝統的な和菓子で、美しい花びら模様の薄い皮と甘さ控えめのあんこが特徴です。この和菓子は季節ごとにバリエーションが楽しめ、茶道やお茶うけに使われ、京都のお土産として人気があります。見た目も美しく、食べるだけでなく、芸術的な価値も持っています。また、花びら餅は季節感あふれる和菓子で、特に春に楽しまれます。春の季節になると、桜の花びらを使った花びら餅が登場し、桜の風味を楽しむことができます。この季節になると、花見のお供としても愛され、桜の美しさと和の風情を同時に楽しむことができます。花びら餅は、京都の伝統を受け継ぐ和菓子として、その美しさと風味によって多くの人に愛されています。",    "category": "春"  },  {    "id": "2",    "title": "椿餅",    "content": "椿餅は、椿の花をイメージした和菓子で、もちもちの皮とこしあんが特徴です。この和菓子は見た目が美しく、和の風情を楽しむ品として知られています。椿餅の魅力は、その花のような形状と風味にあります。もちもちの皮は、食感を楽しむ要素として重要であり、こしあんの甘さとの組み合わせが絶妙です。この絶妙なバランスが、多くの人に喜ばれています。また、椿餅は春の季節に特に人気があります。椿の花が春に咲くことから、この季節になると椿餅が楽しまれ、春の訪れを感じることができます。椿餅は、見た目にも美しい和菓子で、和の文化を感じることができる逸品です。",    "category": "春"  }]    ベクトルデータベースを作成するベクトルの保存先として、Azure にはいくつかの選択肢があります。Azure Database for PostgreSQLAzure Cache for RedisAzure Cosmos DBAzure Cognitive Search今回は Cognitive Search のインデックスを作成します。VectorSearch プロパティにはベクトル検索のアルゴリズムとして Hierarchical Navigable Small World（HNSW）を設定します。title、content、category のフィールドには ja.lucene の日本語アナライザーを設定し、ベクトルは contentVector フィールドに格納します。static SearchIndex CreateSearchIndex(string indexName){    var vectorSearchConfigName = "vector-config";    var modelDimensions = 1536;    return new SearchIndex(indexName)    {        VectorSearch = new VectorSearch        {            AlgorithmConfigurations =            {                new HnswVectorSearchAlgorithmConfiguration(vectorSearchConfigName)            }        },        Fields =        {            new SimpleField("id", SearchFieldDataType.String) { IsKey = true, IsFilterable = true, IsSortable = true, IsFacetable = true },            new SearchableField("title") { IsFilterable = true, IsSortable = true, AnalyzerName = LexicalAnalyzerName.JaLucene },            new SearchableField("content") { IsFilterable = true, AnalyzerName = LexicalAnalyzerName.JaLucene },            new SearchField("contentVector", SearchFieldDataType.Collection(SearchFieldDataType.Single))            {                IsSearchable = true,                VectorSearchDimensions = modelDimensions,                VectorSearchConfiguration = vectorSearchConfigName            },            new SearchableField("category") { IsFilterable = true, IsSortable = true, IsFacetable = true, AnalyzerName = LexicalAnalyzerName.JaLucene }        }    };}サンプルデータの JSON から読み取ったデータをインデックスに登録します。contentVector フィールドには OpenAI でEmbedding したベクトルを格納します。static async Task UploadDocumentAsync(string deploymentOrModelName, SearchClient searchClient, OpenAIClient openAIClient){    var json = File.ReadAllText("./kyogashi.json");    var sampleDocuments = new List<SearchDocument>();    foreach (var document in JsonSerializer.Deserialize<List<Dictionary<string, object>>>(json) ?? new List<Dictionary<string, object>>())    {        var content = document["content"]?.ToString() ?? string.Empty;        document["contentVector"] = (await GetEmbeddingsAsync(deploymentOrModelName, content, openAIClient)).ToArray();        sampleDocuments.Add(new SearchDocument(document));    }    await searchClient.IndexDocumentsAsync(IndexDocumentsBatch.Upload(sampleDocuments));}static async Task<IReadOnlyList<float>> GetEmbeddingsAsync(string deploymentOrModelName, string text, OpenAIClient openAIClient){    var response = await openAIClient.GetEmbeddingsAsync(deploymentOrModelName, new EmbeddingsOptions(text));    return response.Value.Data[0].Embedding;}ベクトルデータベースを作成するコードを実装します。初回のみ作成すればいいので、選択できるようにしています。Console.Write("Would you like to index (y/n)? ");var indexChoice = Console.ReadLine()?.ToLower() ?? string.Empty;if (indexChoice == "y"){    await indexClient.CreateOrUpdateIndexAsync(CreateSearchIndex(settings.CognitiveSearchIndexName));    await UploadDocumentAsync(settings.DeploymentOrModelName, searchClient, openAIClient);}コードを実行すると、インデックスが作成されていることを確認できます。ベクトル検索してみるベクトル検索を実行する VectorSearchAsync メソッドを作成します。パラメータで受け取った質問を OpenAI でEmbedding してクエリを実行します。KNearestNeighborsCount プロパティで検索結果上位３件を返す設定にしました。static async Task VectorSearchAsync(SearchClient searchClient, OpenAIClient openAIClient, string deploymentOrModelName, string query){    var queryEmbeddings = await GetEmbeddingsAsync(deploymentOrModelName, query, openAIClient);    var searchOptions = new SearchOptions    {        Vectors = { new SearchQueryVector { Value = queryEmbeddings.ToArray(), KNearestNeighborsCount = 3, Fields = { "contentVector" } } },        Size = 3,        Select = { "title", "content", "category" },    };    SearchResults<SearchDocument> response = await searchClient.SearchAsync<SearchDocument>(null, searchOptions);    var count = 0;    await foreach (var result in response.GetResultsAsync())    {        count++;        Console.WriteLine($"Title: {result.Document["title"]}");        Console.WriteLine($"Score: {result.Score}");        Console.WriteLine($"Content: {result.Document["content"]}");        Console.WriteLine($"Category: {result.Document["category"]}\n");    }    Console.WriteLine($"Total Results: {count}");}ベクトル検索のメソッドを呼び出すコードを実装します。詳細は後述しますが、他の検索と比較するためのロジックもいれてあります。var inputQuery = "暑い日に食べられている京菓子は？";Console.WriteLine($"Query: {inputQuery}\n");Console.WriteLine("Choose a query approach:");Console.WriteLine("1. Vector Search");Console.WriteLine("2. Keyword Search");Console.WriteLine("3. Hybrid Search");Console.Write("Enter the number of the desired approach: ");var choice = int.Parse(Console.ReadLine() ?? "0");Console.WriteLine("");switch (choice){    case 1:        await VectorSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    case 2:        await KeywordSearchAsync(searchClient, inputQuery);        break;    case 3:        await HybridSearchAsync(searchClient, openAIClient, settings.DeploymentOrModelName, inputQuery);        break;    default:        Console.WriteLine("Invalid choice. Exiting...");        break;}暑い日に食べられている京菓子を検索してみます。「夏」というキーワードで質問していませんが、「暑い日」というテキストの類似性を見て、若鮎や水無月がヒットしています。求肥のはいった若鮎は美味しいですね。キーワード検索と比較してみるベクトル検索の結果と比較してみたいので、シンプルなキーワード検索のメソッドを実装します。パラメータで受け取った質問をそのままクエリで実行しています。static async Task KeywordSearchAsync(SearchClient searchClient, string query){    var searchOptions = new SearchOptions    {        Size = 3,        Select = { "title", "content", "category" },    };    SearchResults<SearchDocument> response = await searchClient.SearchAsync<SearchDocument>(query, searchOptions);    var count = 0;    await foreach (var result in response.GetResultsAsync())    {        count++;        Console.WriteLine($"Title: {result.Document["title"]}");        Console.WriteLine($"Score: {result.Score}");        Console.WriteLine($"Content: {result.Document["content"]}");        Console.WriteLine($"Category: {result.Document["category"]}\n");    }    Console.WriteLine($"Total Results: {count}");}同様に、暑い日に食べられている京菓子を検索してみます。「暑い日」というキーワードがヒットする水無月がトップにきています。３位の粽は「食べられている」というキーワードに引っ張られたのかもしれません。ハイブリッド検索と比較してみる次にハイブリッド検索のメソッドを実装します。パラメータで受け取った質問を文字列と OpenAI でEmbedding したベクトルの両方をクエリで実行しています。static async Task HybridSearchAsync(SearchClient searchClient, OpenAIClient openAIClient, string deploymentOrModelName, string query){    var queryEmbeddings = await GetEmbeddingsAsync(deploymentOrModelName, query, openAIClient);    var searchOptions = new SearchOptions    {        Vectors = { new SearchQueryVector { Value = queryEmbeddings.ToArray(), KNearestNeighborsCount = 3, Fields = { "contentVector" } } },        Size = 3,        Select = { "title", "content", "category" },    };    SearchResults<SearchDocument> response = await searchClient.SearchAsync<SearchDocument>(query, searchOptions);    var count = 0;    await foreach (var result in response.GetResultsAsync())    {        count++;        Console.WriteLine($"Title: {result.Document["title"]}");        Console.WriteLine($"Score: {result.Score}");        Console.WriteLine($"Content: {result.Document["content"]}");        Console.WriteLine($"Category: {result.Document["category"]}\n");    }    Console.WriteLine($"Total Results: {count}");}同様に、暑い日に食べられている京菓子を検索してみます。若鮎、水無月という順番で、最も欲しかった検索結果を返してくれています。まとめAzure OpenAI Service と Azure Cognitive Search を使って .NET アプリケーションからベクトル検索を試してみました。今回は割愛しましたが、フィルターを使って category を絞り込むことで、検索精度を上げることもできます。今回のサンプルアプリは、こちらで公開しています。github.com

Azure OpenAI Service と Azure Cognitive Search を使って .NET アプリケーションからベクトル検索を試してみた

2023年7月1日付けで、Microsoft Most Valuable Professional (MVP) アワードを再受賞しました。カテゴリは Microsoft Azure で、7 年目の受賞となります。昨年の主な活動内容JAZUG の登壇は 12周年総会で Azure Container Apps のライブデモ を行いました。スクラッチで .NET 7 の MVC アプリを作って、Container Apps で Blue - Green デプロイする内容でした。gooner.hateblo.jpクラウドデベロッパーちゃんねるでは、MS の寺田さんと Azure Container Apps のお話をしてきました。Microsoft Build 2022 で MVP パーソナルスポンサーとして提供したサンプルコードを紹介しました。gooner.hateblo.jpブログでも、Azure Container Apps ネタが多めでした。gooner.hateblo.jp今年の活動目標昨年10月から体調を崩してしまい、後半はコミュニティ活動できませんでした。だいぶ回復してきたので、少しずつにコミュニティ活動を再開していきたいです。jazug.connpass.comAzureもくもく会@新宿は、昨年後半から中断しているので、オフラインで再開できればと考えています。azure-mokumoku.connpass.com技術領域としては、Azure OpenAI Service のキャッチアップとアウトプットに注力したいです。OpenAI 関連の情報は非常に多いですが、.NET エンジニアの観点での情報を発信できたらと思います。

Microsoft MVP for Microsoft Azure を再受賞しました

まだプレビューですが、Azure OpenAI Service で Function Calling が使えるようになりました。今回は .NET エンジニアの視点で Function Calling を使ってみました。techcommunity.microsoft.comFunction Calling とはOpenAI を業務で活用しようとすると、外部システムの API と連携させたいケースが出てきます。チャットの会話でやりとりされる自然言語をもとに、呼び出したい API を特定したり、パラメータで渡すデータを生成したくなりますが、プロンプトエンジニアリングを試行錯誤する必要があり難易度が高い実装でした。Function Calling を使うと、自然言語の中から API を呼び出すための情報を抽出してくれるので、OpenAI と外部システムを容易に連携させることができるようになります。zenn.devFunction Calling を使ってみる紅葉の名所を探すのを手伝ってくれる AI アシスタントを作ります。この AI アシスタントは、「京都の紅葉」のように会話から指定された場所の名所を教えてくれます。このシナリオを Azure OpenAI Client Library を使って実装してみます。.NET 7 のコンソールアプリを作る前準備は、以前の記事を参照してください。gooner.hateblo.jpinternal class ApiClient{    public static string SearchAutumnLeaves(string location)    {        // 本当は location を使って検索するが、今回は京都の名所を決め打ちで返す。        return "{\n  \"result\": \"清水寺\",\n}";    }}internal class AutumnLeavesParameter{    public required string Location { get; set; }}システムロールにアシスタントのコンテキストと Function を定義します。ChatCompletionsOptions クラスに Functions プロパティが追加されているので、FunctionDefinition クラスで Name、Description、Parameters を指定できます。var chatCompletionsOptions = new ChatCompletionsOptions{    MaxTokens = 800,    Messages =    {        new ChatMessage(ChatRole.System, """            あなたは、ユーザーが紅葉の名所を検索するのを助けるために設計されたAIアシスタントです。            ユーザーから紅葉の名所を質問されたら、search_autumn_leaves関数を呼び出します。        """)    },    Functions =    {        new FunctionDefinition{            Name = "search_autumn_leaves",            Description = "引数で指定された場所の紅葉の名所を検索します。",            Parameters = BinaryData.FromObjectAsJson(new            {                Type = "object",                Properties = new                {                    location = new                    {                        Type = "string",                        Description = "紅葉の名所を検索する場所、場所には都道府県や都市の名前を含めること、例：東京、山梨",                    },                },                Required = new[] { "location" },            },            new JsonSerializerOptions            {                PropertyNamingPolicy = JsonNamingPolicy.CamelCase,            }),        }    },    FunctionCall = FunctionDefinition.Auto};Console.WriteLine("アシスタントのセットアップ中・・・");var client = new OpenAIClient(new Uri(settings.Endpoint), new AzureKeyCredential(settings.ApiKey));await client.GetChatCompletionsAsync(settings.DeploymentName, chatCompletionsOptions);ユーザーロールには、こちらからの送信メッセージを定義します。Console.WriteLine("チャットを開始する");var userMessage = "今年は紅葉を見に行きたいけど、京都でお勧めの紅葉の名所を教えてください。";Console.WriteLine($"{ChatRole.User}: {userMessage}");chatCompletionsOptions.Messages.Add(new ChatMessage(ChatRole.User, userMessage));var result = await client.GetChatCompletionsAsync(settings.DeploymentName, chatCompletionsOptions);var choice = result.Value.Choices[0];レスポンスの FinishReason が「function_call」の場合、紅葉の名所を検索する API を呼び出します。Function の Name と Arguments をいかに期待通りに取得できるかが肝となるので、システムロールのコンテキストFunctions や Parameter の Descriptionを明確かつ詳細に定義する必要があります。if (choice.FinishReason == "function_call"){    // API呼び出し    var functionsResponse = String.Empty;    switch (choice.Message.FunctionCall.Name)    {        case "search_autumn_leaves":            var parameter = JsonConvert.DeserializeObject<AutumnLeavesParameter>(choice.Message.FunctionCall.Arguments);            if (parameter == null)            {                Console.WriteLine("FunctionCall.Arguments is null");            }            else            {                functionsResponse = ApiClient.SearchAutumnLeaves(parameter.Location);            }            break;        default:            Console.WriteLine("function: not found");            return;    }    // API のレスポンスを使ってメッセージを返す    chatCompletionsOptions.Messages.Add(        new ChatMessage        {            Role = choice.Message.Role,            Name = choice.Message.FunctionCall.Name,            Content = choice.Message.FunctionCall.Arguments        });    chatCompletionsOptions.Messages.Add(        new ChatMessage        {            Role = ChatRole.Function,            Name = choice.Message.FunctionCall.Name,            Content = functionsResponse        });    var assistantResult = await client.GetChatCompletionsAsync(settings.DeploymentName, chatCompletionsOptions);    var assistantChoice = assistantResult.Value.Choices[0];    Console.WriteLine($"{assistantChoice.Message.Role}: {assistantChoice.Message.Content}");    Console.WriteLine("---------------------------------");    Console.WriteLine("Information");    Console.WriteLine($"- FunctionCall.Name: {choice.Message.FunctionCall.Name}");    Console.WriteLine($"- FunctionCall.Arguments: {choice.Message.FunctionCall.Arguments}");}else{    Console.WriteLine($"{choice.Message.Role}: {choice.Message.Content}");}チャットの質問に対して、期待通りの結果を取得できたことが分かります。紅葉の名所を検索する場所が質問に含まれていないと場所を聞き返してくれるので、その後の会話で Funcion を呼び出すこともできます。FinishReason に「stop」が格納されています。なお、まったく関係のない質問をすると、下記のように回答されます。まとめAzure OpenAI Service で Function Calling を試してみました。チャットの会話でやりとりされる自然言語をもとに外部システムの API と連携させることが容易になるので、OpenAI 活用の幅が広がる機能ですし、プロンプトエンジニアリングの手法のひとつの ReAct をいい感じで実装できます。Function Calling のリリースドキュメントに記載がありますが、関数の呼び出しだけでなく、JSON などの構造化されたモデルを生成する用途にも使えそうだと感じました。今回のサンプルアプリは、こちらで公開しています。github.com

Azure OpenAI Service の Function Calling を .NET アプリケーションから使ってみた

Azure OpenAI Service On Your Data は、Microsoft Build 2023 でパブリックプレビューが開始された機能です。今回は .NET エンジニアの視点で On Your Data を使ってみました。Azure OpenAI Service On Your DataとはAzure OpenAI On Your Data では、インターネットには公開できない独自のドキュメントに基づいて LLM に回答させること（グラウンディング）ができます。しかも、Azure の PaaS として簡単にできるところが嬉しいです。zenn.devシナリオ社内の就業規則をもとにユーザーからの質問に回答する総務担当アシスタントを作成します。Azure OpenAI Sutido の ChatGPT プレイグラウンドで試します。モデルは、先日東日本リージョンで使えるようになった gpt-4 を使います。プレイグラウンドの「add your data」から、Cognitive Search にインデックスを作成します。Cognitive Search に作成されたインデックスは、いい感じにドキュメントを分割して作られています。インデクサーは作成されないので、インデックスの更新は別途対応が必要です。システムメッセージを設定して質問すると、就業規則をもとに回答してくれます。REST API を呼び出してみる今回のシナリオを .NET アプリケーションに組み込むためには、Azure OpenAI の Completions extensions API を呼び出す必要があります。まずは Azure OpenAI への認証として、ヘッダーに api-key をセットします。リクエストの Body に dataSources と messages を JSON で渡すと、プレイグラウンドと同様の結果を取得できます。.NET の API Client を自動生成するHttpClient を使って HTTP リクエストを組み立てるのは面倒なので、NSwag を使って Swagger.json から .NET の API Client を自動生成します。NSwagStudio をインストールして、前述の Swagger.json を貼り付けます。Runtime で .NET70 を指定Namespace で MyApiClient を変更Interface を使うように指定（好みの問題なのでオプションです）Generate Outputs ボタンを押すと、C# のコードが自動生成されます。コンソールアプリケーションから API Client を呼び出してみる先ほどの自動生成した API Client を使って実装してみます。.NET 7 のコンソールアプリを作り、NuGet パッケージをインストールします。Install-Package Newtonsoft.Json -Version 13.0.3Install-Package Microsoft.Extensions.Configuration.Binder -Version 7.0.4Install-Package Microsoft.Extensions.Configuration.UserSecrets -Version 7.0.0Microsoft.Extensions.Configuration 関連の NuGet パッケージは、Azure OpenAI に接続する資格情報を管理するためにインストールしました。{  "AzureOpenAISettings": {    "CognitiveSearchEndpoint": "https://xxx.search.windows.net",    "CognitiveSearchKey": "xxx",    "CognitiveSearchIndexName": "azureblob-index",    "Endpoint": "https://xxx.openai.azure.com/openai",    "ApiVersion": "2023-06-01-preview",    "ApiKey": "xxx",    "DeploymentId": "gpt-4"  }}secret.json に各プロパティを定義したら、バインドするクラスを作ります。internal class AzureOpenAISettings{    public required string CognitiveSearchEndpoint { get; set; }    public required string CognitiveSearchKey { get; set; }    public required string CognitiveSearchIndexName { get; set; }    public required string Endpoint { get; set; }    public required string ApiVersion { get; set; }    public required string ApiKey { get; set; }    public required string DeploymentId { get; set; }}ConfigurationBuilder を使って、secret.json を読み込んで AzureOpenAISettings クラスにバインドします。var settings = new ConfigurationBuilder()    .AddUserSecrets<Program>()    .Build()    .GetSection(nameof(AzureOpenAISettings)).Get<AzureOpenAISettings>() ?? throw new NullReferenceException();リクエストの Body は、ExtensionsChatCompletionsRequest クラスが自動生成されています。DataSource には Cognitive Search の情報を設定し、Messages にはシステムロールにアシスタントのコンテキスト、ユーザーロールには質問を設定します。Console.WriteLine("アシスタントのセットアップ中・・・"); var body = new ExtensionsChatCompletionsRequest{    DataSources = new[] {            new DataSource {                Type = "AzureCognitiveSearch",                Parameters = new {                    endpoint = settings.CognitiveSearchEndpoint,                    key = settings.CognitiveSearchKey,                    indexName = settings.CognitiveSearchIndexName                }            }        },    Messages = new[] {            new Message {                Role = MessageRole.System,                Content = """                    あなたは社内の総務担当です。就業規則をもとにして、ユーザーからの質問に回答してください。                    回答の際には出典を出力してください。                    回答が分からない場合は、「分かりません」と回答してください。                """            },            new Message {                Role = MessageRole.User,                Content = "社員が結婚するときの特別休暇は何日ですか？"            }        },    Max_tokens = 800,    Temperature = 0d,    Frequency_penalty = 0d,    Presence_penalty = 0d,};Console.WriteLine("チャットを開始する");foreach (var message in body.Messages){    Console.WriteLine($"{message.Role}: {message.Content}");}Completions extensions API の呼び出しは、ExtensionsChatCompletionsClient クラスが自動生成されています。Azure OpenAI の api-key をセットした HttpClient のインスタンスを渡して、REST API を呼び出します。using (var httpClient = new HttpClient()){    httpClient.DefaultRequestHeaders.Add("api-key", settings.ApiKey);    var client = new ExtensionsChatCompletionsClient(httpClient);    client.BaseUrl = settings.Endpoint;    Console.WriteLine("就業規則を確認中・・・");    var result = await client.CreateAsync(settings.DeploymentId, settings.ApiVersion, body);    foreach (var choice in result.Choices)    {        foreach (var message in choice.Messages)        {            if (message.Role == MessageRole.Assistant)            {                Console.WriteLine($"{message.Role}: {message.Content}");            }        }    }}コンソールアプリを実行すると、プレイグラウンドと同様の結果を取得できます。まとめAzure OpenAI Service On Your Data を .NET アプリケーションから使ってみました。Retrieval Augmented Generation（RAG）と呼ばれるデザインパターンを素早く構築できる待望の機能です。Azure の PaaS として簡単にできるとはいえ、回答精度を継続的に改善しつつ維持していくためには、Cognitive Search のインデックスや検索対象ドキュメントの保守は必須となります。今回のサンプルアプリは、こちらで公開しています。github.com

Azure OpenAI Service On Your Data を .NET アプリケーションから使ってみた

前回の記事では、Azure OpenAI Client Library を使って Azure OpenAI で遊んでみました。gooner.hateblo.jpSemantic Kernel とはSemantic Kernel は、Azure OpenAI などの AI サービスと C# や Python などのプログラミング言語を簡単に組み合わせることができる OSS の SDK です。learn.microsoft.com先日の Build 2003 で、Copilot（AI アプリケーション）を開発するフレームワークとして「Copilot stack」が発表されました。qiita.comMicrosoft Learn から引用なお、Copilot stack との連携強化に伴い、Semantic Kernel で「スキル」と呼んでいた機能は「プラグイン」へリネームされています。Semantic Kernel を使ってみるAzure OpenAI で text-davinci-003 のモデルを使った要約を Semantic Kernel で実装してみます。.NET 7 のコンソールアプリを作り、NuGet パッケージをインストールします。Install-Package Microsoft.SemanticKernel -Version 0.17.230629.1-previewInstall-Package Microsoft.Extensions.Configuration.Binder -Version 7.0.4Install-Package Microsoft.Extensions.Configuration.UserSecrets -Version 7.0.0Microsoft.Extensions.Configuration 関連の NuGet パッケージは、Azure OpenAI に接続する資格情報を管理するためにインストールしました。Managed ID を使ってもいいですが、環境によって認証が通らないケースもあるので、シンプルに .NET の UserSecrets を使います。誤って GitHub にプッシュするリスクがあるのでハードコーディングはやめましょう。{  "AzureOpenAISettings": {    "Endpoint": "https://xxx.openai.azure.com/",    "ApiKey": "xxx",    "DeploymentName": "text-davinci-003"  }}secret.json にエンドポイント、キー、モデル名を定義したら、バインドするクラスを作ります。internal class AzureOpenAISettings{    public required string Endpoint { get; set; }    public required string ApiKey { get; set; }    public required string DeploymentName { get; set; }}ConfigurationBuilder を使って、secret.json を読み込んで AzureOpenAISettings クラスにバインドします。var settings = new ConfigurationBuilder()    .AddUserSecrets<Program>()    .Build()    .GetSection(nameof(AzureOpenAISettings)).Get<AzureOpenAISettings>() ?? throw new NullReferenceException();ここで Semantic Kernel のアーキテクチャを簡単に説明しておきます。Microsoft Learn から引用まずは、Kernel のインスタンスを作成します。var builder = new KernelBuilder();builder.WithAzureTextCompletionService(settings.DeploymentName, settings.Endpoint, settings.ApiKey);var kernel = builder.Build();要約するプロンプトを定義し、セマンティック関数として Kernel にロードします。プラグインは使わず、パラメータを使ってプロンプトを実行させます。// Running prompts with input parametersConsole.WriteLine("Running prompts with input parameters...");var summarizePrompt = @"{{$input}}One line TLDR with the fewest words.";var summarize = kernel.CreateSemanticFunction(summarizePrompt);要約するテキストを定義し、セマンティック関数に引数で渡して実行させます。テキストは、昨シーズンのアーセナル最終節のマッチレポートを使いました。string text = @"We rounded off the Premier League season with an emphatic win over Wolves, the highlight of which saw Granit Xhaka net his first brace for the club.The Swiss midfielder took just 13 minutes of the first half to achieve the feat, with Bukayo Saka adding an excellent third before half-time to mark the week in which he pledged his future in the club in style.We kept up the pressure in the second half and Gabriel Jesus added a fourth with a header just before the hour mark, and Jakub Kiwior bagged his first in red and white to complete the scoring, as well as a memorable campaign that has brought Champions League football back to the Emirates Stadium.";Console.WriteLine(await summarize.InvokeAsync(text));マッチレポートのテキストが要約されたことを確認できます。Granit Xhaka nets brace as Arsenal beat Wolves 5-0 to secure Champions League football.プロンプトをチェインしてみる次に、プロンプトをチェインする方法を試してみます。日本語に翻訳するプロンプトを定義し、要約→翻訳の順序で実行します。// Prompt chainingConsole.WriteLine("Prompt chaining...");var translationPrompt = @"{{$input}}Translate the following English text into Japanese.";var translator = kernel.CreateSemanticFunction(translationPrompt);Console.WriteLine(await kernel.RunAsync(text, summarize, translator));マッチレポートのテキストが日本語で要約されたことを確認できます。日本語に翻訳するプロンプトを定義することもできるので、あくまでチェインを試すためのサンプルシナリオです。まとめSemantic Kernel を使って、Azure OpenAI の要約を試してみました。github.com今回のサンプルアプリは、こちらで公開しています。github.com

Azure OpenAI Service で Semantic Kernel を使ってみた

Azure OpenAI Service は、2023 年 1 月に一般提供（GA）された Microsoft の OpenAI です。今回は .NET エンジニアの視点で Azure OpenAI を使ってみました。Azure OpenAI Service とはAzure OpenAI の概要は、こちらの記事が分かりやすいです。利用申請には企業ドメインのメールアドレスが必要（Gmail などは使えない）ですが、現在は申請すると数時間でアクティブになるようです。zenn.devシナリオAzure OpenAI Sutido の ChatGPT プレイグラウンドを使って、ONEPIECE のチョッパーと会話してみます。モデルは、先日公開されたばかりの gpt-35-turbo-16k を使います。アシスタントに雑なキャラ付けをセットアップするだけで、少し違和感ありますが、チョッパーと会話できました。Azure OpenAI Client Library を使ってみる先ほどのシナリオを Azure OpenAI Client Library を使って実装してみます。.NET 7 のコンソールアプリを作り、NuGet パッケージをインストールします。Install-Package Azure.AI.OpenAI -Version 1.0.0-beta.5Install-Package Microsoft.Extensions.Configuration.Binder -Version 7.0.4Install-Package Microsoft.Extensions.Configuration.UserSecrets -Version 7.0.0Microsoft.Extensions.Configuration 関連の NuGet パッケージは、Azure OpenAI に接続する資格情報を管理するためにインストールしました。Managed ID を使ってもいいですが、環境によって認証が通らないケースもあるので、シンプルに .NET の UserSecrets を使います。誤って GitHub にプッシュするリスクがあるのでハードコーディングはやめましょう。{  "AzureOpenAISettings": {    "Endpoint": "https://xxx.openai.azure.com/",    "ApiKey": "xxx",    "DeploymentName": "gpt-35-turbo-16k"  }}secret.json にエンドポイント、キー、モデル名を定義したら、バインドするクラスを作ります。internal class AzureOpenAISettings{    public required string Endpoint { get; set; }    public required string ApiKey { get; set; }    public required string DeploymentName { get; set; }}ConfigurationBuilder を使って、secret.json を読み込んで AzureOpenAISettings クラスにバインドします。var settings = new ConfigurationBuilder()    .AddUserSecrets<Program>()    .Build()    .GetSection(nameof(AzureOpenAISettings)).Get<AzureOpenAISettings>() ?? throw new NullReferenceException();システムロールにアシスタントの性格と応答する際のコンテキストを定義します。var chatCompletionsOptions = new ChatCompletionsOptions{    MaxTokens = 200,    Messages =        {            new ChatMessage(ChatRole.System, """                おれの名前は、トニートニー・チョッパー。                動物系悪魔の実「ヒトヒトの実」の能力者で、人の言葉を話せるトナカイ。                海賊「麦わらの一味」の船医。                夢は、何でも治せる医者になること。                わたあめ大好き。                一人称は、おれ。                口調はフレンドリーで可愛い。            """)        }};ユーザーロールには、こちらからの送信メッセージを定義します。本来はチャットなのでインタラクティブなやり取りですが、サンプルアプリなのでメッセージを決め打ちにしました。var userMessages = new String[] {    "こんにちは。",    "トナカイなのに人の言葉を話せるの？",    "好きな食べ物は？",};Azure OpenAI の API はステートレスなので、API を呼び出す都度システムロールとユーザーロールの履歴を含めて送信します。Console.WriteLine("アシスタントのセットアップ中・・・");var client = new OpenAIClient(new Uri(settings.Endpoint), new AzureKeyCredential(settings.ApiKey));await client.GetChatCompletionsAsync(settings.DeploymentName, chatCompletionsOptions);Console.WriteLine("チャットを開始する");foreach (var userMessage in userMessages){    Console.WriteLine($"{ChatRole.User}: {userMessage}");    chatCompletionsOptions.Messages.Add(new ChatMessage(ChatRole.User, userMessage));    var result = await client.GetChatCompletionsAsync(settings.DeploymentName, chatCompletionsOptions);    foreach (var choice in result.Value.Choices)    {        Console.WriteLine($"{choice.Message.Role}: {choice.Message.Content}");        chatCompletionsOptions.Messages.Add(new ChatMessage(choice.Message.Role, choice.Message.Content));    }}プレイグラウンドと同様の結果を取得できたことが分かります。まとめAzure OpenAI Client Library を使って、Azure OpenAI で遊んでみました。動作に関する指示や応答の生成時に参照する必要があるコンテキスト何に答えるべきで何に答えてはいけないか応答の書式などをどのように伝えるのかのメタプロンプトが重要となります。Semantic Kernel のような LLM と C# を統合して扱える SDK が使いたくなります。gooner.hateblo.jpgithub.com

.NET エンジニアが Azure OpenAI Service を使ってみた

Docker コンテナを扱う書籍は多く出版されていますが、Microsoft Azure を使うアプリケーション開発者目線で書かれた書籍が出版されると知って、早速「Azureコンテナアプリケーション開発 」を読んでみました。Azureコンテナアプリケーション開発 ── 開発に注力するための実践手法 WEB+DB PRESS plus作者:真壁 徹,東方 雄亮,米倉 千冬,谷津 秀典,阿佐 志保技術評論社Amazon目次第1部　コンテナ技術の概要と動向、コンテナを活用したアプリケーション開発ワークフローを学ぶ書籍で解説されているサンプルコードは、GitHub でも公開されています。github.comどんな書籍なのかこの書籍は、Docker コンテナを知っているけれども、まだ本番運用システムではコンテナを使ったことがない Web アプリケーション開発者に読んでほしい書籍です。第１部では、アプリケーション開発者がコンテナを使うと何がうれしいのかが説明されています。これまでコンテナはインフラ目線でのメリットを語られることが多く、アプリケーションは従来通り開発したものを Docker Image にビルドすればいいと言われていました。しかし、Dev Container や GitHub Codespaces の登場によって、アプリケーションの開発環境自体をコンテナ化しやすくなりました。この新しい開発体験は、複数案件を並行開発するケースやハンズオンを行うケースに限らず、チームでの開発や運用に大きな変化をもたらすものだと思います。第２部では、Web Apps for Containers にサンプルアプリケーションをデプロイし、本番運用するための実践手法が説明されています。おそらく Web Apps for Containers を詳しく説明した書籍は初めてだと思いますし、Deployment Slot や Easy Auth など基本的な機能に加えて、外部リソースに接続する際の SNAT ポート枯渇問題への対策にも触れているのはいいなと思いました。セッション管理のための Azure Cache for Redis に認証するところでは Service Connector を使用しており、最新の Azure の機能にも触れています。また、運用設計として可用性と回復性を高めるための PaaS ならではの構成や設定にも触れており、本番運用に必要となるスキルを学ぶことができます。第３部では、マルチコンテナで構成されたサンプルアプリケーションを Container Apps にデプロイし、開発と運用の流れを説明しています。Container Apps の基盤となっている Kubernetes、リビジョンを使った Blue-Green デプロイ、 KEDA によるイベント駆動開発、GitHub Actions での CI/CD パイプラインの概要を学ぶことができます。この書籍だけを読んで Container Apps を使いこなすのは難しいですが、取っ掛かりとしては良いレベル感だと思います。まとめAzure PaaS を活用してアプリケーションを開発・運用するメリットは Speed と Agility だと考えています。これらのメリットを加速させる技術や環境が揃いつつあることが分かる内容になっており、まだコンテナを使ったことがないアプリケーション開発者にお勧めしたい書籍です。

書籍「Azureコンテナアプリケーション開発」の感想

今年も、しばやんさんが作った 2022 年の人気記事ランキング生成 を使わせてもらい、１年を振り返ってみます。ASP.NET でクライアントの IP アドレスを取得するHttpClient を使って同期で通信するASP.NET Web API で multipart / form-data を使ってファイルをアップロードするプロキシ環境下で Web API を呼び出すAzure Synapse Analytics を試してみたASP.NET Core Web API で multipart / form-data を使ってファイルをアップロードするユーザー委任 SAS を使った AzCopy で Azure Blob Storage にファイルをアップロードするASP.NET MVC の Ajax 通信で例外を処理するAzure App Service の Easy Auth を有効にした Web Apps から Functions にアクセスするPostman で Azure Active Directory 認証された API のアクセストークンを取得する例年通り、ASP.NET 関連の記事が多く読まれているなかで、Azure の記事が増えてきたのは嬉しいですが、今年イチオシの Container Apps の記事がランクインしていなかったのは残念。イベント登壇クラウドデベロッパーちゃんねるで、MS の寺田さんと Azure Container Apps のお話をしてきました。Microsoft Build 2022 で MVP パーソナルスポンサーとして提供したサンプルコードを紹介しています。gooner.hateblo.jpJAZUG でも 12周年総会で Azure Container Apps のライブデモ を行いました。スクラッチで .NET 7 の MVC アプリを作って、Container Apps で Blue - Green デプロイする内容になっています。gooner.hateblo.jpコミュニティ運営JAZUG の運営は足利さんたちにお任せしてしまっていて、ほとんど何もしていません。オフラインとのハイブリッド形式での開催が始まっているので、来年は運営のお手伝いができるといいなと考えています。jazug.connpass.com昨年から Azureもくもく会@新宿をリモートで再開しています。月一で開催しているので、よかったらご参加ください。azure-mokumoku.connpass.comMicrosoft MVP3 月には、5 回目の Microsoft MVP Global Summit に参加しました。昨年に引き続き、今年もオンライン開催となりました。gooner.hateblo.jp今年も Microsoft MVP for Microsoft Azure を無事に更新できたので、来年のグロサミはどこから参加しようかな。仕事ネクストスケープに転職して、２年が経ちました。今年は良いお客さんに恵まれ、Azure の得意な領域やチャレンジしたい領域の案件ができてよかったです。あとは、Azure App Serviceのセキュリティの脅威への対策ガイドを執筆しました。App Service と関連するサービス（ Azure Storage / Azure Front Door ）に起こりうる脅威とそれらの対策についてまとめています。github.com今年も社内の仲間たちとアドベントカレンダーを書いて、なんとか最後までバトンを繋げることができました。qiita.comまとめ今年は10月くらいから体調を崩してしまい、仕事の量を減らしていますし、コミュニティへの参加や技術のキャッチアップのモチベーションも上がりませんでした。おまけ2022年自分が選ぶ今年の４枚。下呂温泉キャンプ黄金崎奥入瀬渓流ほったらかしキャンプ場

2022 年振り返り

この記事は、NEXTSCAPE Advent Calendar 2022 の 1 日目 の記事です。qiita.comAzure Synapse Link for SQL は、すでに Cosmos DB と Dataverse 向けに提供されている Synapse Link が SQL Server 2022 と Azure SQL Database で使えるようになった機能です。learn.microsoft.comAzure Synapse Link for SQL とはSQL Server 2022 と Azure SQL Database のテーブルに対する追加・修正・削除を Azure Synapse Analytics の Dedicated SQL pool に同期することができる機能です。出典：Microsoft Docsわざわざ ETL パイプラインを作らずとも、業務で利用するデータベースとは完全に分離された分析用データベースを簡単に構築できます。Azure SQL Database を作成する同期元となる Azure SQL Database を作成します。Synapse Link を使う場合、DTU 100 以上を選択したうえでシステム割り当てマネージド ID を有効にする必要があります。SSMS から Import Flat File の機能を使って、Mockaroo で作った 1000 件の CSV から Person という名前のテーブルを作成しました。Synapse Link に関する制限事項として、同期元となるテーブルには主キーが必要なので設定しています。DTU100 以上 の件も含め、その他の制限事項は公式ドキュメントを参照してください。learn.microsoft.comAzure Synapse Dedicated SQL pool を作成するSynapse Studio から、同期先となる Dedicated SQL pool を作成します。設定項目は、初期値のままにしました。Synapse Link を構成するLink Connections から、SQL Database と Dedicated SQL pool を繋げる Synapse Link を構成します。ウィザードにしたがって、同期元となる SQL Database を指定します。同期先となる Dedicated SQL pool を指定します。データの読み込みと変更を処理するためのインジェスト サービスに割り当てるコア数とモードを選択します。プレビュー版のためか分かりませんが、モードで Continuous を選択しても 60分間隔の Schedule になってしまう部分は注意してください。最後に Synapse Link の全体構成を Publish して、同期をスタートします。数分待つと、Link Connections のステータスが Running になります。結果確認Dedicated SQL pool の Person テーブルに 1000 レコードが登録されました。試しに SQL Database 側でレコードを追加してみます。Dedicated SQL pool 側にもレコードが追加され、データが同期されました。まとめAzure SQL Database を使って、Azure Synapse Link for SQL を試してみました。Dedicated SQL pool に自動同期されるので ETL パイプラインを組む必要がないほぼリアルタイムに自動で同期される（はず）SQL Database 側のトランザクションのワークロードに影響を与えずに分析できるといったあたりがメリットだと感じました。フィードバックしていますが、Cosmos DB の Transactional Store と Analytical Store のように異なる TTL（Time to Live）を構成できるとさらに便利になると思います。以前に、Azure Synapse Link for Cosmos DB を試した記事はこちらを参照してください。gooner.hateblo.jp