Revolutionieren Sie die Fahrzeuginspektion mit EVVIE

Das Enterprise Visual Vehicle Inspection Engine (EVVIE) verwendet KI und Microsoft Power Platform, um den Fahrzeugüberprüfungsprozess zu revolutionieren. Durch die Automatisierung von Inspektionen spart EVVIE Zeit und erhöht die Genauigkeit, was es zu einem unschätzbaren Werkzeug für Unternehmen macht, die große Fahrzeugflotten verwalten. Dieser Artikel gibt einen Überblick über die Architektur, den Workflow und die Schlüsselkomponenten von EVVIE und gibt Einblicke, wie diese innovative Lösung die Inspektion und Wartung von Fahrzeugen optimieren kann.

Unter aka.ms/EVVIE finden Sie eine Demo und weitere Informationen zu EVVIE.

Architekturdiagramm

Arbeitsablauf

EVVIE verwendet eine einzigartige Mischung aus Power Platform und Microsoft Azure Ressourcen, um den Fahrzeugüberprüfungsprozess mithilfe erweiterter KI-Modelle zu automatisieren. Im Großen und Ganzen sieht der interne Prozess von EVVIE wie folgt aus:

1. Eine Power Apps Canvas-App dient als Schnittstelle, um Benutzern das Sammeln von Fotos von Fahrzeugschäden im Rahmen einer Fahrzeugüberprüfung zu ermöglichen. Bilder werden als Base64-Zeichenfolge kodiert.

2. Die App verwendet einen benutzerdefinierten Connector, um die aufgenommenen Bilder einer benutzerdefinierten API, einer .NET-basierten Azure Funktions-App, bereitzustellen.

3. Die Funktions-App empfängt und analysiert den HTTP-API-Aufruf von der Hauptanwendung, ruft die Fotos ab und interagiert mit einem multimodalen Sprachmodell im Azure OpenAI Service. Das Modell überprüft die Fotos und klassifiziert den Schaden in drei Felder: Bereich des Autos, Schweregrad und allgemeine Beschreibung des Schadens.

4. Die Inspektions-App empfängt die Antwort von der Funktions-App und präsentiert dem Benutzer die von der KI erstellte Schadensbewertung, der die Bewertung akzeptieren, ändern oder ablehnen kann. Der Benutzer schließt die Bewertung ab und reicht sie für das jeweilige Fahrzeug ein. Die Bewertung wird sicher in Dataverse gespeichert.

5. Eine modellgesteuerte App mit benutzerdefinierten Seiten ermöglicht es Administratoren, Fahrzeuginspektionsdaten zu überprüfen.

Komponenten

Microsoft Dataverse: Dataverse speichert alle daten, die im Rahmen von Fahrzeugüberprüfungen gesammelt werden, z. B. Fotos von Schäden, Rangfolge des Schweregrads und Beschreibungen.

Power Apps: Mitarbeiter im Bereich, die die Fahrzeuge prüfen, und die Verwaltungsmitarbeiter, die die Inspektionen überprüfen, verwenden Apps, die in Power Apps integriert sind, Microsoft No-Code/Low-Code-Anwendungsentwicklungsframework.

Benutzerdefinierter Connector: Ein benutzerdefinierter Connector ermöglicht es der mobilen Fahrzeuginspektions-App EVVIE (die von Mitarbeitenden verwendet wird, die Fahrzeuginspektionen vor Ort durchzuführen) einen Back-End-Dienst anzurufen, der fortschrittliche KI verwendet, um die bereitgestellten Fotos auszuwerten.

Azure Functions: Azure Functions, Microsofts ereignisgesteuerte, serverlose Computing-Plattform, fungiert als Web-API, die von der EVVIE-App mithilfe einer HTTP-Anforderung über den benutzerdefinierten Connector aufgerufen werden kann. Die Azure Funktions-App empfängt die Bilder über den API-Aufruf, verwendet ein erweitertes KI-Modell zur Bewertung von Schäden und gibt die Bewertung an die App zurück.

Azure OpenAI Service: EVVIE verwendet ein multimodales KI-Modell, um den Schaden in den bereitgestellten Bildern zu bewerten und in drei Felder einzustufen: Schweregrad (1-5), Fahrzeugbereich (z. B. Türen, Windschutzscheibe, Frontstoßel) und Beschreibung von Schäden. Obwohl jedes zukünftige multimodale Sprachmodell verwendet werden kann (d. h. „o1“ oder „o3“, sobald sie allgemein verfügbar sind), wird, als dieser Artikel geschrieben wird, GPT-4o verwendet.

Einzelheiten zum Szenario

EVVIE unterstützt Unternehmen mit großen Fahrzeugflotten bei der Verwaltung regelmäßiger Inspektionen und Wartungen. Routineinspektionen nehmen Zeit in Anspruch und lenken das Personal von wertvolleren Aufgaben ab.

Um diese Belastung zu verringern und Zeit zu sparen, nutzt EVVIE fortschrittliche multimodale generative KI, um Fahrzeugschäden automatisch zu bewerten und zu protokollieren. Anstatt jeden Schadensfall manuell zu dokumentieren, stellen die Mitarbeiter EVVIE ein Foto zur Verfügung. Anhand dieses einzigen Bildes bewertet EVVIE den Schaden, protokolliert den Standort am Fahrzeug, bestimmt den Schweregrad und liefert eine kurze Beschreibung.

EVVIE wurde durch Gespräche mit dem LA County Sheriff’s Department inspiriert, das eine Flotte von Tausenden von Fahrzeugen verwaltet. Traditionell musste jeder Beamte sein Fahrzeug mit Stift, Papier und Klemmbrett begutachten, bevor er seine Schicht startete, eventuelle Schäden dokumentieren und diese Informationen seinem Vorgesetzten übermitteln. Diese Routineinspektion blieb jedoch aufgrund dringender Aufgaben oft auf der Strecke, sodass wenig Zeit für eine umständliche 20-minütige Inspektion blieb.

Mithilfe von EVVIE müssen Offiziere nur eine App auf ihrem Smartphone öffnen und ein Foto des Fahrzeugs aufnehmen. KI dokumentiert den Schaden und meldet ihn an den Vorgesetzten, wodurch papierbasierte Prozesse überflüssig werden.

Überlegungen

Diese Überlegungen implementieren die Säulen von Power Platform Well-Architected, eine Reihe von Leitprinzipien, welche die Qualität einer Workload verbessern. Weitere Informationen finden Sie in Microsoft Power Platform Well-Architected.

Zuverlässigkeit

Jede Microsoft cloudbasierte Komponente in der Architektur von EVVIE ist für außergewöhnliche Zuverlässigkeit ausgelegt und stellt sicher, dass sie stets kritische Uptime- und Recovery-Ziele erfüllt. Diese Zuverlässigkeit wird durch skalierbare Redundanz erreicht, die eine robuste Leistung und Ausfallsicherheit bietet.

Sicherheit

Für EVVIEs Machbarkeits-Build enthält die auf Azure Functions basierende Web-API, die mit der App Schnittstellen hat, keine Sicherheitsprotokolle. Jeder, der die eindeutigen API-Endpunkte (URLs) kennt, kann potenziell auf den Backend-Service von EVVIE zugreifen.

Bei einer Produktionsbereitstellung ist es wichtig, dass der Systemintegrator eine Standardauthentifizierungsebene implementiert, z. B. die schlüsselbasierte Authentifizierung über Azure API Management. Solche Sicherheitsmaßnahmen stellen sicher, dass auf den Back-End-API-Dienst nur wie beabsichtigt von der EVVIE-Frontend-App zugegriffen wird.

Betriebliche Effizienz

Als Proof of Concept wird EVVIE von Grund auf mit fiktiven Anforderungen entwickelt, um die Fähigkeit der Technologie zur Bewertung von Fahrzeugschäden zu demonstrieren. Jeder Aspekt, vom Inspektionsprozess bis hin zu den Kriterien, die EVVIE bewertet – Schadensbereich, Schweregrad, Beschreibung und die spezifischen Bereiche des Fahrzeugs, in denen Schäden lokalisiert werden können – kann und sollte an die individuellen Bedürfnisse jedes Unternehmens angepasst werden, das EVVIE einsetzt.

Ein Systemintegrator kann beispielsweise:

• Die Bereiche eines Fahrzeugs anpassen, in denen EVVIE Schäden feststellen kann.
• Verfeinern Sie die Systemeingabeaufforderung, mit der das Modell angewiesen wird.
• Implementieren Sie eine Mindestanzahl von Fotoanforderungen.

Diese Modifikationen stellen sicher, dass EVVIE optimal funktioniert und sich an den spezifischen Bedürfnissen des Unternehmens ausrichtet.

Leistungseffizienz

Zwei potenzielle Engpässe können die Skalierbarkeit von EVVIE erheblich beeinträchtigen:

• Azure Functions-based API: Als EVVIEs Schnittstelle zum KI-Dienst zur Bewertung von Fahrzeugschäden ist es entscheidend, dass die Azure Functions-App für massiven Skalierbarkeit konfiguriert ist. Je nach Verbrauch der Organisation kann es ratsam sein, einen dedizierten Plan bereitzustellen, um die Skalierbarkeit zu gewährleisten.

• Azure OpenAI Service: Das von der Funktions-App aufgerufene Azure OpenAI-Modell ist für die Bewertung und Protokollierung von Schäden unerlässlich. Es ist wichtig sicherzustellen, dass die Azure OpenAI-Bereitstellung, auf die die Back-End-API basiert, immer betriebsbereit ist. Da Azure OpenAI ein tokenbasiertes System verwendet, ist es wichtig, sicherzustellen, dass das in EVVIE verwendete Modell über ein hohes Tokenkontingent für den angegebenen Nutzungszeitraum verfügt.

Erfahrungsoptimierung

Das Team, das EVVIE entwickelt hat, hat viel Zeit und Mühe in die Optimierung der Benutzeroberfläche und der Benutzererfahrung investiert, um es den Mitarbeitern intuitiv und einfach zu machen, Fahrzeuge zu inspizieren und Inspektionen zu überprüfen.

Die Inspektions-App von EVVIE ist eine Canvas-App, die einfach über eine einfache Auswahl-und-Drag-Schnittstelle geändert werden kann, ähnlich wie PowerPoint, um die Anforderungen der Organisation besser zu erfüllen.

Die Schnittstelle, die von Verwaltungsmitarbeitern zum Überprüfen dieser Inspektionen verwendet wird, ist eine modellgesteuerte App. Die benutzerdefinierte Seite ist einfach zu ändern, um bestimmte Anforderungen anzupassen.

Verantwortungsvolle KI

Nicht-sensitiver Anwendungsfall: Die EVVIE-Anwendung arbeitet in einer nicht-sensitiven Domäne, die das Risiko von Verzerrungen signifikant reduziert, welche sich negativ auf Fahrzeugüberprüfungen auswirken könnten. Angesichts der Art der Bewertung von Fahrzeugschäden gibt es nur wenig Spielraum für Verzerrungen, um die Ergebnisse zu beeinflussen.

Kontrollierte generative KI: Die generativen KI-Modelle, die EVVIE verwendet, enthalten Features, die ihre Bewertungen auf vordefinierte Vorlagen beschränken. Dieses Design stellt sicher, dass die KI spezifische, sachliche Antworten bereitstellt, die Entwicklerrichtlinien befolgen, Kreativität einschränken und genaue, konsistente Bewertungen unterstützen.

Mitwirkende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautoren:

• Tim Hanewich, Technischer Spezialist für Power Platform
• Kelly Cason, Technischer Spezialist für Geschäftsanwendungen

Nächste Schritte,

Ein Demovideo, eine weitere Erläuterung von Funktionalität, Architektur, Quellcode und mehr finden Sie auf GitHub unter aka.ms/EVVIE.