Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
[Dit artikel maakt deel uit van de voorlopige documentatie en kan nog veranderen.]
Thema's groeperen gerelateerde gebruikersvragen die generatieve antwoorden initiëren. Door gerelateerde vragen te clusteren, helpen thema's u bij het organiseren van inzichten in klantintenties, het identificeren van frequente onderwerpen en het richten op gebieden die moeten worden verbeterd. U kunt afzonderlijke vragen binnen een thema verkennen en de prestaties bewaken om inzicht te hebben in metrische gegevens op themaniveau.
Belangrijk
Dit artikel bevat Microsoft Copilot Studio preview-documentatie en kan worden gewijzigd.
Preview-functies zijn niet bedoeld voor productiegebruik en hebben mogelijk beperkte functionaliteit. Deze functies zijn beschikbaar voor een officiële release zodat u vroeg toegang kunt krijgen en feedback kunt geven.
Als u een productieklare agent bouwt, raadpleegt u Microsoft Copilot Studio Overview.
Belangrijkste waardepropositie
Met de functie Thema's worden alle niet-geclassificeerde vragen die in de afgelopen week gegenereerde AI-antwoorden hebben geactiveerd, automatisch geanalyseerd en worden thema's voorgesteld op basis van deze analyse. Dit proces wordt wekelijks uitgevoerd. Tussen wekelijkse uitvoeringen van themasuggesties voert de functie dagelijkse classificatie uit van nieuwe vragen die generatieve AI-antwoorden activeren en voegt deze gegevens toe aan de metrische themagegevens. De lijst met voorgestelde thema's wordt regelmatig vernieuwd, zodat uw thema's relevant blijven en de meest recente gebruikersgegevens weerspiegelen. Met deze automatische vernieuwing bespaart u tijd door:
- Continu de relevantie van thema's evalueren op basis van nieuwe gegevens.
- Afzonderlijke vragen automatisch classificeren in thema's.
- Het ophalen van onbewerkte metrische gegevens voor elk thema automatiseren.
- Geaggregeerde metrische gegevens berekenen voor elk thema.
Vereiste voorwaarden
Om de meeste waarde te krijgen van de functie Thema's, inclusief de mogelijkheid om de onderdeelvragen en antwoorden van elk thema weer te geven:
U hebt de beveiligingsrol Bot Transcript Viewer nodig om de lijst en de bijbehorende metrische gegevens weer te geven. Alleen beheerders kunnen deze rol verlenen door de beveiligingsrol Bot Transcript Viewer toe te wijzen tijdens het delen van agents.
De instellingen op omgevingsniveau voor het opslaan van gesprektranscripties in Dataverse zijn ingeschakeld.
Voorgestelde thema's en geclassificeerde vragen
Copilot Studio stelt thema's voor op basis van records met vragen die in het recente verleden zijn gesteld. Door elk voorgesteld thema aan te passen aan de structuur en de klantervaringsstrategie van uw organisatie, kunt u beter inzicht krijgen via themaspecifieke KPI's (Key Performance Indicators). Deze diepere granulariteit maakt het gemakkelijker om te vinden waar agents minder goed presteren.
Met thema's kunnen makers begrijpen welke vragen gebruikers de agent stellen en hoe de agent presteert. Tijdens de eerste uitvoering van op thema's gebaseerde analyses bekijkt Copilot Studio alle vragen van de afgelopen week en stelt u maximaal 10 thema's voor die gebruikersvragen groeperen op basis van overeenkomsten met elkaar. Elk thema bevat metrische gegevens, zoals het totale aantal vragen, het antwoordpercentage en de reactie van de gebruiker. Met de geselecteerde analyseperiode worden de weergegeven gegevens in de lijst Thema's aangepast.
Na de eerste uitvoering classificeert Copilot Studio nieuwe vragen voor bestaande thema's op doorlopende, dagelijkse basis en genereert een nieuwe lijst met voorgestelde thema's op wekelijkse basis.
Opmerking
- Ten minste 50 vragen met generatieve antwoorden moeten in de afgelopen zeven dagen worden geregistreerd voordat Copilot Studio voorgestelde thema's genereert.
- Een vraag die een generatief AI-antwoord activeert, kan worden geclassificeerd in meer dan één thema. Dit scenario kan vaker voorkomen in de generatieve orkestratiemodus , waarbij een antwoord van een agent uit verschillende bronnen kan komen.
- Alle vragen die niet-geclassificeerd blijven, worden in een niet-geclassificeerd thema geplaatst .
- Het uitvoeren van de wekelijkse suggesties kan enkele minuten duren. Gedurende deze tijd is de sectie Thema's niet beschikbaar voor gebruik.
De lijst Thema's
In de lijst Thema's worden standaard de vijf belangrijkste thema's weergegeven, gerangschikt op het totale aantal vragen dat voor elk thema is geclassificeerd. Selecteer Alles weergeven om de lijst uit te vouwen en alle thema's weer te geven.
Met automatische wekelijkse themasuggesties en dagelijkse vraagclassificatie wordt de functie Thema's automatisch ontwikkeld en aangepast aan wijzigingen in het gebruikersgedrag.
In de lijst met thema's worden statistieken weergegeven voor elk vermeld thema.
| Kolom | Description |
|---|---|
| Naam | Naam van het thema. |
| Totaal aantal vragen | Het totale aantal vragen dat in dit thema is geclassificeerd voor de geconfigureerde periode. |
| Beantwoorde vragen | Aandeel van totale vragen die resulteren in een antwoord op de vraag van de gebruiker. |
| Antwoordkwaliteit | Het aandeel van de som van alle antwoorden (gebaseerd op een steekproef van vragen) dat een Good kwalitatief goed antwoord heeft. |
| Reacties | Onbewerkt aantal positieve reacties (duim omhoog) en negatieve reacties (duim omlaag) van de vragen die voor elk thema zijn geclassificeerd. |
Beweeg met de muis over een thema om de Evalueer-knop te zien. Lees meer over evaluatie.
Opmerking
Waarom zijn er 'Onbeantwoorde vragen' in mijn thema wanneer alle geclassificeerde vragen generatieve AI-antwoorden activeren?
Per definitie kunnen alleen vragen die een generatief AI-antwoord activeren, worden geclassificeerd in een thema. Maar het activeren van een oproep naar generatieve antwoorden is niet hetzelfde als het hebben van een antwoord op een gebruikersquery.
Het is bijvoorbeeld gebruikelijk dat er een gespreksverbeteringsonderwerp is dat is verbonden met een kennisbron. In dit geval, als een intentie niet wordt herkend, kan het onderwerp worden geactiveerd die de kennisbron aanroept, ook al is er geen antwoord op de vraag in die kennisbron.
Inzoomen op een thema
Belangrijk
Voor toegang tot inzoomfunctionaliteit moet aan beide voorwaarden worden voldaan:
De volgende omgevingsinstellingen zijn ingeschakeld:
- Eigenaars en redacteuren van agent toestaan sessietranscripties van gespreksinteracties in hun agenten te bekijken.
- Toestaan dat gesprektranscripties en de bijbehorende metagegevens worden opgeslagen in Dataverse.
Zie Transcriptinstellingen configureren voor één omgeving voor meer informatie.
De beveiligingsrol Bot Transcript Viewer wordt toegewezen aan de gebruiker. Zie Gebruikers toevoegen aan een beveiligingsrol voor meer informatie.
Als u wilt inzoomen op de vragen die in een bepaald thema zijn gegroepeerd, selecteert u het thema in de lijst met thema's . Wanneer u inzoomt, wordt er een deelvenster geopend dat specifiek is voor het geselecteerde thema, waarin metrische gegevens worden weergegeven op de niveaus van zowel het thema als de afzonderlijke vragen.
Opmerking
De lijst met thema's bevat:
- De meest recente 100 vragen die in elk thema zijn geclassificeerd.
- Vragen van de afgelopen 30 dagen, ongeacht de geconfigureerde periode. Als de geconfigureerde periode volledig buiten de afgelopen 30 dagen valt, geeft Copilot Studio een melding weer dat de lijst niet beschikbaar is.
In het detailvenster van een thema worden metrische gegevens op themaniveau eerst weergegeven.
| Metrische gegevens op themaniveau | Description |
|---|---|
| Totaal aantal vragen | Het totale aantal vragen dat in dit thema is geclassificeerd, waardoor generatieve AI-antwoorden voor de geconfigureerde periode zijn geactiveerd. |
| Beantwoorde vragen | Het aandeel van de totale vragen van dit thema dat heeft geresulteerd in een antwoord op de gebruikersvraag. |
| Onbeantwoorde vragen | Het aandeel van de totale vragen van dit thema die niet tot een antwoord op de vraag van de gebruiker hebben kunnen leiden. |
| Reacties | Onbewerkt aantal positieve reacties (duim omhoog) en negatieve reacties (duimen omlaag) van de vragen die zijn geclassificeerd voor dit thema, zoals vastgelegd in het Mechanisme Feedback leren. |
Als u een uitsplitsing wilt weergeven van de kwaliteit van de respons voor een steekproef van beantwoorde vragen en alle kennisbronnen waarnaar in dit thema wordt verwezen, selecteert u Details weergeven.
Als u in het deelvenster Themastatistieken meer informatie wilt zien over een bepaalde kwaliteitswaarde voor reacties op het niveau van het thema, plaatst u onder Reactiekwaliteit de muisaanwijzer op een afzonderlijk balksegment. De knopinfo bevat de waarde van de relatieve weging van het gedrag per segment en het aantal vragen dat is bemonsterd om die waarde vast te stellen.
Om meer informatie te zien op het niveau van een van de genoemde kennisbronnen in het thema, selecteer je onder Kennisbrongebruik een individuele kennisbron. De tooltips omvatten:
- Het totale aantal vragen waarnaar in deze kennisbron wordt verwezen, evenals het aantal Duimen omhoog en Duimen omlaag.
- Een gestapeld staafdiagram met een uitsplitsing van de kwaliteit van het relatieve antwoordgewicht voor vragen die verwijzen naar deze kennisbron. Beweeg de muisaanwijzer over elk segment van het staafdiagram om de relatieve weging van dat segment en het aantal vragen dat is bemonsterd om die waarde te berekenen, te zien.
Een op thema's gebaseerde vraaglijst geeft alle vragen weer die gegenereerde AI-antwoorden hebben geactiveerd en zijn geclassificeerd in dit thema en geven metrische gegevens per vraag weer.
Metrische gegevens op vraagniveau zijn onder andere:
| Dimensie of metrische gegevens op vraagniveau | Description |
|---|---|
| Vraag (dimensie) | Vraag die een generatief AI-antwoord activeerde, geclassificeerd voor dit thema. |
| Beantwoordt? | Antwoord op de vraag of de gebruikersquery al dan niet is beantwoord. Mogelijke waarden zijn Answered en Unanswered. |
| Antwoordkwaliteit1 | Antwoord op de vraag wat de kwaliteit van de reactie op de gebruikersquery was. Mogelijke waarden zijn Poor en Good. |
| Reactie | Twee parameters: de Booleaanse duim omhoog/duim omlaag parameter en een op tekst gebaseerde opmerkingsparameter. |
| Datum | Datum waarop de vraag is gesteld. |
| Bron van kennis | Door komma's gescheiden lijst van kennisbronnen waarnaar deze vraag in dit thema verwijst. |
1 Antwoordkwaliteit is niet altijd beschikbaar en wordt alleen weergegeven als de vraag is bemonsterd voor kwaliteitsanalyse.
U kunt desgewenst de volgende acties uitvoeren op de pagina met themaspecifieke vragenlijsten:
- Pas meer filters toe om de lijst met vragen verder te verfijnen met behulp van de dimensionale filters van de lijst.
- Evalueer de vermelde vragen op basis van criteria die u in de testmethode van de evaluatie definieert.
- Download de vermelde vragen als een .csv-bestand.
- Zie gedetailleerde informatie die specifiek is voor een reactie van een afzonderlijke agent.
Selecteer een vraag in de lijst om meer informatie weer te geven over de vraag in een deelvenster Details van vraag. Dit deelvenster bevat:
| Gedetailleerde parameter op vraagniveau | Description |
|---|---|
| Tijdstempel | Tijdstempel van de meest recente keer dat de vraag werd beantwoord. |
| Gebruikersquery | De vraag gesteld. |
| Reactie | Het generatieve AI-antwoord. |
| Waarde voor duim omhoog/duim omlaag | Waarde voor de meest recente instantie van deze vraag voor de parameter duim omhoog / duim omlaag. |
| Comment | Optioneel extra op tekst gebaseerd commentaar, geleverd door de gebruiker, naast de Duim omhoog / Duim omlaag reactie. |
| Antwoordkwaliteit1 | Antwoord op de vraag wat de kwaliteit van de reactie op de gebruikersquery was. Mogelijke waarden zijn Poor en Good. |
| Reden2 | In het geval dat de antwoordkwaliteit is Poor, legt deze parameter uit waarom. |
1 Antwoordkwaliteit is niet altijd beschikbaar en wordt alleen weergegeven als de vraag is bemonsterd voor kwaliteitsanalyse.
2 Als de antwoordkwaliteit Good is of als de vraag niet gemonsterd is, heeft de parameter Reason geen waarde.
Beoordeel de antwoorden van je makelaar op basis van thema
Opmerking
Wanneer u Evalueren selecteert voor een thema dat wordt weergegeven op de pagina Thema's , maakt u een nieuwe testset op themaniveau. De testset bevat alle vragen die zijn geclassificeerd voor dat thema, maximaal 100 vragen. Als u meer filters wilt toepassen op de lijst met vragen, moet u eerst inzoomen op het thema voordat u een evaluatietestset maakt. Pas vervolgens filteren toe op de lijst. Nadat u alle gewenste filters hebt toegepast, selecteert u Evalueren op de pagina met de vragenlijst.
U kunt de antwoorden van uw agent op thematische vragen testen met behulp van 'agent evaluation' (preview).
Thematische evaluaties testen specifieke onderdelen van de scope van uw agent. Als je bijvoorbeeld een klantenservicemedewerker hebt, kun je de kwaliteit van het antwoord op facturerings- en betalingsvragen apart bijhouden, los van andere gebruikssituaties zoals probleemoplossing.
Lees meer over het maken van testsets op basis van een thema.
