チュートリアル: Visual Studio Code の Jupyter Notebook を使用して Azure Cosmos DB for NoSQL アカウントのデータを分析する Jupyter Notebook を作成する

Visual Studio Codeを開く。

コマンド パレット (Ctrl+Shift+P) から Polyglot Notebook: Create new blank notebook コマンドを実行します。

.ipynb ファイル拡張子を選択します。

既定の言語として C# を選択します。

既定のコード セルから開始します。

Azure.cosmos パッケージをインストールします。 このセルを実行した後、次に進みます。

%pip install azure.cosmos

このチュートリアルに必要なパッケージをすべてインポートします。

import azure.cosmos
from azure.cosmos.partition_key import PartitionKey
from azure.cosmos import CosmosClient

CosmosClient の新しいインスタンスを作成します。

endpoint = "<FILL ME>"
key = "<FILL ME>"
cosmos_client = CosmosClient(url=endpoint, credential=key)

組み込みの SDK を使用して RetailIngest という名前のデータベースを作成します。

database = cosmos_client.create_database_if_not_exists('RetailIngest')

WebsiteMetrics という名前のコンテナーを /CartID のパーティション キーで作成します。

container = database.create_container_if_not_exists(id='WebsiteMetrics', partition_key=PartitionKey(path='/CartID'))

[実行] を選択して、データベースとコンテナー リソースを作成します。

既定のコード セルから開始します。

Microsoft.Azure.Cosmos NuGet パッケージをインストールします。 このセルを実行した後、次に進みます。

#r "nuget: Microsoft.Azure.Cosmos"

新しいコード セルを作成します。

このチュートリアルに必要なパッケージをすべてインポートします。

using Microsoft.Azure.Cosmos;

組み込みの SDK を使用して、クライアントの種類の新しいインスタンスを作成します。 Azure Cosmos DB アカウントの URI エンドポイントとキーを入力します。 これらの値は Azure Cosmos DB アカウントの [キー] ページで確認できます。

var endpoint = "<FILL ME>";
var key = "<FILL ME>";

var cosmosClient = new CosmosClient(Cosmos.Endpoint, Cosmos.Key);

RetailIngest という名前のデータベースを作成します。

Database database = await cosmosClient.CreateDatabaseIfNotExistsAsync("RetailIngest");

WebsiteMetrics という名前のコンテナーを /CartID のパーティション キーで作成します。

Container container = await database.CreateContainerIfNotExistsAsync("WebsiteMetrics", "/CartID");

[セルの実行] を選択し、データベースとコンテナー リソースを作成します。

新しいコード セルを追加します。

コード セルで、コード <https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json> を追加し、この URL からデータをアップロードします。

    import urllib.request
    import json

    with urllib.request.urlopen("https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json") as url:
        docs = json.loads(url.read().decode())

    for doc in docs:
        container.upsert_item(doc)

セルを実行します。 実行には 45 秒から 1 分かかります。

新しいコード セルを追加します。

コード セルで、コンテナー内の項目を表す新しい C# クラスを作成します。 セルを実行します。

public class Record
{
  public string id { get; set; }
  public int CartID { get; set; }
  public string Action { get; set; }
  public decimal Price { get; set; }
  public string Country { get; set; }
  public string Item { get; set; }
}

新しいコード セルを追加します。

コード セルで、コード <https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json> を追加し、この URL からデータをアップロードします。

using System.Net.Http;
using System.Text.Json;
using System.IO;

var dataURL = "https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json";
var jsonData = new HttpClient().GetStringAsync(dataURL).Result;

Record[] result = JsonSerializer.Deserialize<Record[]>(jsonData);

foreach (Record record in result) {
    await container.UpsertItemAsync<Record>(record, new PartitionKey(record.CartID)); //43 seconds
}

セルを実行します。 実行には 45 秒から 1 分かかります。

別の新しいコード セルを作成します。

コード セルで、SQL クエリを使用して Pandas DataFrame を設定します。 このセルを実行します。

import pandas as pd
from pandas import DataFrame

QUERY = "SELECT c.Action, c.Price as ItemRevenue, c.Country, c.Item FROM c"
results = container.query_items(
    query=QUERY, enable_cross_partition_query=True
)

df_cosmos = pd.DataFrame(results)

別の新しいコード セルを作成します。

コード セルで、データフレームから上位 10 個の項目を出力します。 このセルを実行します。

df_cosmos.head(10)

コマンドを実行した出力を確認します。

別の新しいコード セルを作成します。

コード セルで pandas パッケージをインポートして、データフレームの出力をカスタマイズします。 このセルを実行します。

import pandas as pd    
df_cosmos.groupby("Item").size().reset_index()

コマンドを実行した出力を確認します。

新しいコード セルを作成します。

コード セルで、SDK を使用して SQL クエリを実行して List<T> という名前の 型の変数にクエリの出力を格納するコードを追加します。

using System.Collections.Generic;

var query = new QueryDefinition(
    query: "SELECT c.Action, c.Price, c.Country, c.Item FROM c"
);

FeedIterator<Record> feed = container.GetItemQueryIterator<Record>(
    queryDefinition: query
);

var results = new List<Record>();
while (feed.HasMoreResults)
{
    FeedResponse<Record> response = await feed.ReadNextAsync();
    foreach (Record result in response)
    {
        results.Add(result);
    }
}

別の新しいコード セルを作成します。

コード セルで、Item フィールドの一意の組み合わせをキーとし、Price フィールドの合計を値とする辞書を作成します。 これにより、各項目の合計売上が算出されます。 このセルを実行します。

var dictionary = new Dictionary<string, decimal>();

foreach(var result in results)
{
    if (dictionary.ContainsKey(result.Item)) {
        dictionary[result.Item] += result.Price;
    }
    else {
        dictionary.TryAdd (result.Item, result.Price); 

    }
}

dictionary

Item フィールドと Price フィールドの一意の組み合わせで出力を確認します。

...
Black Tee: 603
Flannel Shirt: 1199.40
Socks: 210.00
Rainjacket: 2695
...