Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Queste domande frequenti descrivono l'effetto dell'intelligenza artificiale delle funzionalità di assistenza per l'analisi in Copilot Studio.
Come viene usata l'intelligenza artificiale generativa per l'analisi?
Copilot Studio usa l'intelligenza artificiale per misurare la qualità delle risposte generative e creare cluster. Questi cluster forniscono informazioni dettagliate sulle prestazioni dell'agente.
Le risposte generative utilizzano le fonti di conoscenza che scegli per generare una risposta. La funzionalità raccoglie anche eventuali commenti e suggerimenti forniti. Analisi usa modelli di linguaggio di grandi dimensioni per classificare i messaggi di chat tra utenti e agenti in livelli che indicano la qualità delle risposte generative. Copilot Studio compila questi indicatori per fornire un riepilogo delle prestazioni complessive di un agente.
Il clustering usa i modelli linguistici di grandi dimensioni per ordinare i messaggi degli utenti in gruppi in base a soggetti condivisi e fornire a ogni gruppo un nome descrittivo. Copilot Studio usa i nomi di questi cluster per fornire diversi tipi di informazioni dettagliate che è possibile usare per migliorare l'agente.
Qualità delle risposte per risposte generative
Qual è la qualità della risposta prevista per l'uso?
Usare l'analisi della qualità delle risposte per individuare informazioni dettagliate sull'utilizzo e sulle prestazioni dell'agente e quindi creare azioni per il miglioramento dell'agente. Attualmente, è possibile usare l'analisi per capire se la qualità delle risposte generative di un agente soddisfa le aspettative.
Oltre alla qualità complessiva, la qualità dell'analisi delle risposte identifica le aree in cui un agente ha prestazioni scarse o non riesce a raggiungere gli obiettivi previsti. È possibile definire aree in cui le risposte generative hanno prestazioni scarse e adottare misure per migliorarne la qualità.
Quando si identificano prestazioni scarse, seguire le procedure consigliate che consentono di migliorare la qualità. Ad esempio, dopo aver identificato le origini delle conoscenze con prestazioni scarse, è possibile modificare l'origine delle informazioni o suddividere l'origine delle informazioni in più origini più incentrate per migliorare la qualità.
Quali dati vengono usati per creare analisi per la qualità della risposta?
La qualità dell'analisi delle risposte viene calcolata usando un campione di risposte generative . Richiede la query dell'utente, la risposta dell'agente e le fonti di conoscenza pertinenti usate dal modello generativo per la risposta generativa.
L'analisi della qualità della risposta usa tali informazioni per valutare se la qualità della risposta generativa è buona e, in caso contrario, perché la qualità è scarsa. Ad esempio, la qualità della risposta può identificare risposte incomplete, irrilevanti o non completamente fondate.
Quali sono le limitazioni della qualità dell'analisi delle risposte e come gli utenti possono ridurre al minimo l'impatto di queste limitazioni?
La qualità dell'analisi delle risposte non si avvale di tutte le risposte generate. L'analisi misura invece un esempio di sessioni dell'agente utente. Gli agenti con meno del numero minimo di risposte generative riuscite non possono ricevere una qualità di riepilogo analitico della risposta.
Esistono casi in cui l'analisi non valuta accuratamente una singola risposta. In un livello aggregato, deve essere accurato per la maggior parte dei casi.
L'analisi della qualità delle risposte non fornisce una suddivisione delle query specifiche che hanno portato a prestazioni di bassa qualità. Non fornisce inoltre una suddivisione delle fonti di conoscenza comuni o degli argomenti usati quando si verificano risposte di bassa qualità.
Le analisi dei dati non vengono calcolate per le risposte che usano conoscenze generative.
La completezza delle risposte è una delle metriche utilizzate per valutare la qualità delle risposte. Questa metrica misura quanto la risposta affronta completamente il contenuto del documento recuperato.
Se il sistema non recupera un documento rilevante con informazioni aggiuntive per la domanda, non valuta la metrica di completezza di quel documento.
Quali protezioni sono state applicate per la qualità dell'analisi delle risposte all'interno di Copilot Studio per l'IA responsabile?
Gli utenti degli agenti non visualizzano i risultati dell'analisi; sono disponibili solo per i creatori di agenti e gli amministratori.
Gli autori e gli amministratori possono usare solo la qualità dell'analisi delle risposte per visualizzare la percentuale di risposte di buona qualità e qualsiasi motivo predefinito per prestazioni scarse. I creatori possono visualizzare solo la percentuale di risposte di buona qualità e motivi predefiniti.
L'analisi è stata testata per la qualità delle risposte accuratamente durante lo sviluppo per garantire prestazioni ottimali. Tuttavia, in casi rari, la qualità delle valutazioni della risposta potrebbe risultare imprecisa.
Analisi del sentimento per le sessioni di conversazione
Qual è l'uso previsto dell'analisi del sentiment?
Usare l'analisi del sentiment per comprendere il livello di soddisfazione degli utenti nelle sessioni di conversazione in base a un'analisi di intelligenza artificiale dei messaggi utente all'agente. È possibile comprendere il sentiment complessivo della sessione (positivo, negativo o neutro), esaminare i motivi e adottare misure per risolverlo.
Quali dati vengono utilizzati per definire il sentiment in una sessione di conversazione?
Copilot Studio calcola l'analisi del sentiment basata sui messaggi degli utenti all'agente per un campione di sessioni conversazionali.
L'analisi del sentiment utilizza queste informazioni per valutare se la soddisfazione dell'utente durante la sessione è positiva, negativa o neutra. Ad esempio, un utente può usare parole e un tono di voce che indicano frustrazione o insoddisfazione in base all'interazione con l'agente. In questo caso, la sessione è classificata come valutazione negativa.
Quali sono i limiti dell'analisi del sentiment e come possono gli utenti mitigare questi limiti?
Le analisi dei sentimenti non vengono calcolate usando tutte le sessioni conversazionali. L'analisi misura invece un esempio di sessioni dell'agente utente. Gli agenti al di sotto di un numero minimo di risposte generative giornaliere di successo non possono ricevere un punteggio sentimentale.
L'analisi del sentiment attualmente dipende dalle risposte generative e richiede un numero minimo di risposte giornaliere di successo per calcolare il punteggio di sentiment dell'agente.
Per calcolare il sentiment di una sessione, devono esserci almeno due messaggi utente. Inoltre, a causa delle attuali limitazioni tecniche, l'analisi del sentiment non viene eseguita su sessioni che superano un totale di 26 messaggi (inclusi sia i messaggi dell'utente che degli agenti)
L'analisi del sentiment non fornisce una suddivisione dei messaggi specifici degli utenti che hanno portato al punteggio di sentiment.
Quali protezioni sono disponibili per l'analisi del sentiment all'interno di Copilot Studio per l'IA responsabile?
Gli utenti degli agenti non visualizzano i risultati dell'analisi; sono disponibili solo per i creatori di agenti e gli amministratori.
È possibile usare l'analisi del sentiment solo per visualizzare la suddivisione del sentiment in tutte le sessioni.
Abbiamo testato accuratamente l'analisi del sentiment durante lo sviluppo per garantire buone prestazioni. Tuttavia, in casi rari, le valutazioni del sentiment potrebbero essere imprecise.
Temi delle domande dell'utente
Qual è l'uso previsto dei temi?
Questa funzionalità analizza automaticamente grandi set di query utente e li raggruppa in argomenti di alto livello denominati temi. Ogni tema rappresenta un singolo argomento di alto livello richiesto dagli utenti. I temi offrono una visualizzazione non supervisionata e guidata dai dati del contenuto utente. Questa visualizzazione consente ai team di comprendere cosa interessa di più agli utenti senza il passaggio manuale di revisione di migliaia di query.
Quali dati vengono usati per creare cluster?
La funzionalità Temi usa query utente che attivano risposte generative. Un'analisi tematica esamina tutte le query degli ultimi sette giorni per generare nuovi temi consigliati.
I temi usano la somiglianza semantica per raggruppare le query. Viene quindi usato un modello linguistico per generare il titolo e la descrizione per ogni cluster. Il feedback degli autori (ad esempio i pollici su/giù) viene raccolto anche per migliorare la qualità del clustering.
Quali sono le limitazioni del clustering per i temi e come gli utenti possono attenuare queste limitazioni?
Il successo del clustering in base ai temi dipende dal volume delle query. Se non sono presenti query sufficienti o se le query non sono correlate tra loro, Copilot Studio potrebbero raggruppare query in temi eccessivamente estesi o troppo stretti.
I temi possono occasionalmente suddividere argomenti simili o unire quelli non correlati.
Lo spostamento del linguaggio nelle query potrebbe influire sulla coerenza dei cluster nel tempo.
È possibile esaminare regolarmente i temi e fornire commenti e suggerimenti per migliorare la qualità dei nomi.
Quali protezioni per i temi sono disponibili all'interno di Copilot Studio in termini di IA responsabile?
I temi sono visibili solo agli autori e agli amministratori. La moderazione del contenuto viene applicata durante la generazione di nomi e descrizioni per ridurre il rischio di output dannosi o inappropriati.
Analisi delle metriche personalizzate
Qual è l'uso previsto delle metriche personalizzate?
I creatori usano l'analisi delle metriche personalizzate per comprendere quanto gli agenti di conversazione influiscono sui risultati aziendali. Queste metriche integrano l'analisi dei risparmi. Esempi di metriche personalizzate includono la frequenza di risoluzione, la classificazione delle finalità dei clienti e altri risultati specifici del dominio.
Le metriche personalizzate possono mostrare dove gli agenti non riescono a raggiungere gli obiettivi previsti. Gli autori possono definire cosa misurare, testare le metriche rispetto ai dati di sessione reali e perfezionare le definizioni in base ai risultati.
Quali dati vengono usati per calcolare le metriche personalizzate?
Le metriche personalizzate vengono calcolate usando un esempio di sessioni dell'agente precedenti. Il calcolo usa i messaggi di conversazione scambiati durante una sessione.
Il modello di intelligenza artificiale classifica i dati della sessione in base alla definizione della metrica. L'agente aggrega i risultati nell'esempio per visualizzare le prestazioni complessive delle metriche per il periodo di tempo selezionato.
Quali sono le limitazioni delle metriche personalizzate e come gli utenti possono ridurre al minimo l'impatto delle limitazioni?
Le metriche personalizzate non vengono calcolate usando tutte le sessioni dell'agente. Misurano invece un campione di sessioni dal periodo di tempo selezionato. Poiché i risultati sono basati su un campione, devono essere considerati come indicatori direzionali anziché come cifre esatte.
È consigliabile considerare che il calcolo della metrica è basato sulla trascrizione dei messaggi durante l'interpretazione delle metriche. Evitare di trarre conclusioni sui comportamenti che si verificano principalmente all'esterno dei messaggi, ad esempio argomenti e strumenti.
Il modello di intelligenza artificiale potrebbe indicare erroneamente le sessioni. I risultati aggregati sono in genere accurati. Le sessioni che non corrispondono a una categoria definita vengono inserite nella categoria di fallback (Altro). Se i risultati dei test non corrispondono ai risultati previsti, è possibile aggiornare la descrizione della metrica e le definizioni di categoria.
Se le istruzioni o la configurazione di un agente vengono modificate in modo significativo dopo la definizione di una metrica, la metrica potrebbe non riflettere più accuratamente il comportamento aggiornato dell'agente. È consigliabile esaminare le metriche personalizzate dopo aver apportato modifiche sostanziali all'agente.
Quali protezioni sono disponibili per le metriche personalizzate all'interno di Copilot Studio per l'IA responsabile?
I risultati delle metriche personalizzate sono disponibili solo per creatori di agenti e amministratori. Gli utenti dell'agente non hanno accesso ai risultati dell'analisi.
Esaminare e approvare tutte le metriche personalizzate prima del salvataggio. Durante la definizione della metrica, testare le metriche rispetto ai dati di sessione di esempio ed esaminare i singoli risultati e il ragionamento del modello. Se i risultati non soddisfano le aspettative, è possibile aggiornare o eliminare la metrica. Le metriche non vengono applicate senza la conferma esplicita.
Il prompt generato dall'intelligenza artificiale usato per classificare le sessioni è visibile all'utente nell'interfaccia utente, in modo da comprendere come il modello interpreta la definizione della metrica. È possibile modificare o rimuovere metriche personalizzate in qualsiasi momento.
In rari casi, le classificazioni delle singole sessioni potrebbero non essere accurate. I risultati devono essere interpretati in modo aggregato anziché a livello di singola sessione.