Adicionar um recurso de índice de pesquisa por IA a uma aplicação Databricks

Adicione índices de pesquisa por IA como recursos das aplicações Databricks para permitir a pesquisa semântica e a recuperação baseada em similaridade nas suas aplicações. Os índices de pesquisa com IA armazenam e consultam embeddings vetoriais de alta dimensão, possibilitando casos de uso como a geração aumentada com recuperação (RAG), a pesquisa semântica e os sistemas de recomendação.

A Pesquisa de IA do Databricks era anteriormente conhecida como Pesquisa Vetorial do Databricks.

Requisitos de privilégio

Para aceder a um índice de Pesquisa de IA, o principal de serviço da aplicação tem de ter o privilégio USE CATALOG no catálogo principal, o privilégio USE SCHEMA no esquema principal e o privilégio SELECT no índice. Quando adiciona o recurso de índice, o Azure Databricks concede automaticamente estes privilégios ao principal de serviço da aplicação.

Para que essa concessão automática seja bem-sucedida, uma das seguintes opções deve ser verdadeira para cada privilégio:

• Para USE CATALOG: Todos os usuários da conta têm o USE CATALOG privilégio no catálogo ou você tem o MANAGE privilégio no catálogo.
• Para USE SCHEMA: Todos os usuários da conta têm o USE SCHEMA privilégio no esquema ou você tem o MANAGE privilégio no esquema.
• Para SELECT: Ou todos os utilizadores da conta têm o SELECT privilégio no índice, ou tu tens o MANAGE privilégio no índice.

Para mais informações sobre como consultar índices de AI Search com estas permissões, consulte Como consultar um índice de AI Search.

Consulte a referência de privilégios do Unity Catalog.

Adicionar um recurso de índice de pesquisa por IA

Antes de adicionar um índice de pesquisa por IA como recurso, reveja os pré-requisitos de recursos da aplicação.

1. Na secção de recursos da App , quando criar ou editar uma app, clique em + Adicionar recurso>Vector índice de pesquisa.
2. Escolha um índice de AI Search entre os índices disponíveis no seu espaço de trabalho. O índice já deve existir no Unity Catalog.
3. Selecione o nível de permissão para seu aplicativo:
   • Pode selecionar: Concede à aplicação permissão para consultar o índice de pesquisa da IA para pesquisas por similaridade. Corresponde ao privilégio SELECT.
4. (Opcional) Especifique uma chave de recurso personalizada, que é a forma como referenciam o índice na configuração da sua aplicação. A chave padrão é vector-search-index.

Variáveis de ambiente

Quando implementa uma aplicação com um recurso de índice de IA Search, o Azure Databricks expõe o nome completo de três níveis através de variáveis de ambiente que pode consultar usando o valueFrom campo.

Exemplo de configuração:

env:
  - name: VECTOR_SEARCH_INDEX
    valueFrom: vector-search-index # Use your custom resource key if different

Usando o índice na sua aplicação:

import os
from databricks.sdk import WorkspaceClient

# Access the AI Search index name
index_name = os.getenv("VECTOR_SEARCH_INDEX")

# Initialize workspace client
w = WorkspaceClient()

# Query the AI Search index
results = w.vector_search_indexes.query_index(
    index_name=index_name,
    query_text="What is machine learning?",
    num_results=10
)

# Process results
for result in results.manifest.columns:
    print(f"Result: {result}")

Para obter mais informações, consulte Usar variáveis de ambiente para acessar recursos.

Remover um recurso de índice de pesquisa por IA

Quando remove um recurso de índice de pesquisa por IA de uma aplicação, o principal do serviço da aplicação perde o acesso ao índice. O índice em si mantém-se inalterado e continua disponível para outros utilizadores e aplicações que tenham permissões apropriadas.

Melhores práticas

Considere o seguinte ao trabalhar com recursos de índice de IA Search:

• Certifique-se de que o principal de serviço da aplicação tem acesso às fontes de dados subjacentes caso o índice faça referência a outras tabelas.
• Monitorize o desempenho das consultas e ajuste a configuração do índice ou os modelos de incorporação se os tempos de resposta diminuírem.
• Considere agendas de atualização de índice para manter os embeddings sincronizados com os dados de origem.
• Utilize as métricas de similaridade apropriadas (cosseno, euclidiano, produto escalar) com base no seu modelo de incorporação.