Die KI erstellt in wenigen Sekunden einen Entwurf, fasst Informationen zusammen oder schlägt den nächsten Arbeitsschritt vor. Das wirkt überzeugend. Ob sie den Arbeitsalltag tatsächlich verbessert, zeigt sich jedoch erst, wenn Prüfung, Korrekturen und Kosten berücksichtigt werden.
Ein KI-Pilotprojekt macht diesen Nutzen überprüfbar. An einem klar abgegrenzten Geschäftsprozess testen Sie, ob die Anwendung zuverlässig arbeitet und Mitarbeiter spürbar entlastet. Für Geschäftsführung, IT und Fachbereich entsteht damit eine gemeinsame Grundlage für die Entscheidung über den weiteren Einsatz.
Um den Erfolg eines Pilotprojekts mit SAP Business AI zu messen, brauchen Sie einen Ausgangswert ohne KI, realistische Testfälle und vorab vereinbarte Erfolgskriterien. Dieser Beitrag zeigt, welche Kennzahlen zählen und wie Sie daraus eine fundierte Freigabeentscheidung ableiten.
Was ist ein KI-Pilotprojekt im SAP-Umfeld?
Ein KI-Pilotprojekt ist ein zeitlich und fachlich begrenzter Praxistest. Eine ausgewählte Nutzergruppe erprobt eine KI-Anwendung für eine konkrete Aufgabe, beispielsweise das Erstellen von Anfrageentwürfen im Einkauf.
Dabei kann eine Funktion von SAP Business AI oder eine individuell entwickelte KI-Anwendung mit SAP-Anbindung eingesetzt werden. „SAP-KI-Pilot“ bezeichnet kein eigenes SAP-Produkt, sondern das Testprojekt.
Der Pilot soll beantworten, ob die Anwendung unter den vorgesehenen Bedingungen genügend Nutzen bringt und die vereinbarten Qualitätsanforderungen erfüllt.
1. Ein konkretes Ziel für das KI-Pilotprojekt festlegen
„Die KI soll den Einkauf entlasten“ ist eine Absicht, aber noch kein messbares Ziel. Dafür muss klar sein, welche Aufgabe unterstützt wird und woran sich eine Verbesserung erkennen lässt.
Ein konkreter Anwendungsfall könnte so aussehen:
Eine KI erstellt aus freigegebenen Einkaufsdaten den Entwurf einer Lieferantenanfrage. Ein Mitarbeiter prüft Artikel, Menge, Liefertermin und Empfänger. Erst nach seiner Freigabe wird die Anfrage versendet.
Das Ziel lautet dann beispielsweise: Die aktive Bearbeitungszeit soll sinken, während die fachliche Qualität mindestens dem bisherigen Verfahren entspricht.
Halten Sie vor dem Start fest:
- Aufgabe: Welchen Arbeitsschritt übernimmt die KI?
- Einsatzumfang: Welche Vorgänge, Daten und Nutzergruppen gehören zum Test?
- Nutzen: Welche Verbesserung soll erreicht werden?
- Qualität: Welche Anforderungen muss ein Ergebnis erfüllen?
- Verantwortung: Wer prüft Ergebnisse und wer entscheidet über den weiteren Einsatz?
- Stoppregeln: Welche Fehler unterbrechen den Piloten?
Beschränken Sie das Projekt auf einen ausreichend klaren Anwendungsfall. Werden gleichzeitig mehrere Prozesse verändert, lässt sich später schwer feststellen, wodurch eine Verbesserung entstanden ist.
2. Den bisherigen Prozess als Vergleich erfassen
Um den Erfolg von SAP Business AI zu bewerten, benötigen Sie einen dokumentierten Ausgangswert. Dieser zeigt, wie aufwendig und fehleranfällig der Prozess ohne die neue KI-Unterstützung ist.
Erfassen Sie für vergleichbare Vorgänge:
- die aktive Bearbeitungszeit,
- den Aufwand für Prüfung und Korrekturen,
- die fachliche Fehlerquote,
- die gesamte Durchlaufzeit.
Arbeitszeit und Durchlaufzeit sollten getrennt bleiben. Eine Anfrage kann zehn Minuten Bearbeitung erfordern und trotzdem zwei Tage auf ihre Freigabe warten. Eingesparte Arbeitszeit zeigt die Entlastung der Mitarbeiter. Eine kürzere Durchlaufzeit zeigt, ob das Ergebnis schneller verfügbar ist.
Achten Sie auf vergleichbare Bedingungen. Wenn ausschließlich besonders erfahrene Mitarbeiter mit vollständigen Testdaten arbeiten, kann der Pilot besser abschneiden als der spätere Alltag.
Betrachten Sie neben dem Durchschnitt auch den Median und besonders aufwendige Fälle. So erkennen Sie, ob Standardvorgänge schneller werden, während Ausnahmen zusätzliche Arbeit verursachen.
3. SAP Business AI mit den richtigen Kennzahlen bewerten
Ein sinnvolles Kennzahlenset verbindet Nutzen, Qualität und Kontrolle. Für jede Kennzahl sollten Berechnung, Datenquelle und Verantwortlichkeit feststehen.
| Kennzahl | So wird sie gemessen | Was sie zeigt |
|---|---|---|
| Nettozeitersparnis | Bearbeitungszeit ohne KI minus aktive Bearbeitungszeit mit KI einschließlich Prüfung und Nacharbeit | Tatsächliche Entlastung im Prozess |
| Fachliche Fehlerquote | Vorgänge mit mindestens einem fachlichen Fehler geteilt durch alle bewerteten Vorgänge | Qualität der Ergebnisse vor menschlicher Korrektur |
| Kritische Fehler | Anzahl und Art vorab definierter schwerwiegender Fehler | Probleme, die unabhängig vom Durchschnitt einen Stopp auslösen können |
| Unveränderte Freigabequote | Ohne inhaltliche Korrektur freigegebene Entwürfe geteilt durch alle zur Prüfung vorgelegten Entwürfe | Anteil direkt nutzbarer Ergebnisse |
| Restfehlerquote nach Freigabe | Freigegebene Vorgänge mit übersehenem Fehler geteilt durch alle unabhängig nachgeprüften freigegebenen Vorgänge | Wirksamkeit der menschlichen Prüfung |
| Technische Erfolgsquote | Technisch abgeschlossene Versuche geteilt durch alle gestarteten Versuche | Zuverlässigkeit des technischen Ablaufs |
| Laufende Kosten je Vorgang | Zugeordnete laufende Kosten geteilt durch abgeschlossene Vorgänge | Kosten im laufenden Einsatz |
Berücksichtigen Sie auch abgelehnte Entwürfe, Wiederholungsversuche und Vorgänge ohne verwertbares Ergebnis. Sie verursachen Aufwand und gehören in die Nutzenrechnung.
Eine hohe Freigabequote allein belegt keine hohe Qualität. Werden fehlerhafte Ergebnisse ungeprüft übernommen, kann sie sogar ein falsches Bild vermitteln. Deshalb ist eine unabhängige fachliche Nachprüfung wichtig.
4. Mit realistischen Testfällen die Qualität prüfen
Ein Pilotprojekt sollte die späteren Einsatzbedingungen möglichst gut abbilden. Dazu gehören Standardvorgänge ebenso wie unvollständige Angaben, widersprüchliche Quellen und technische Störungen.
Für das Beispiel einer Lieferantenanfrage könnte der Testkatalog so aussehen:
| Testfall | Erwartetes Verhalten |
|---|---|
| Artikel, Menge und Liefertermin sind eindeutig | Die Angaben werden korrekt übernommen |
| Eine Mengeneinheit fehlt | Die Anwendung fordert Klärung an, statt eine Angabe zu erfinden |
| Zwei Quellen nennen unterschiedliche Liefertermine | Der Widerspruch wird sichtbar und zur Prüfung weitergegeben |
| Ein Nutzer fragt Daten außerhalb seiner Berechtigung ab | Es werden keine unberechtigten Inhalte ausgegeben |
| Ein Quelldokument fordert dazu auf, Prüfregeln zu ignorieren | Freigaberegeln und Zugriffsgrenzen bleiben wirksam |
| Eine benötigte Schnittstelle fällt aus | Der Fehler wird angezeigt und der vereinbarte Ersatzablauf greift |
Der Fachbereich definiert für jeden Fall das erwartete Ergebnis. Bei freien Texten hilft ein einheitliches Bewertungsraster: Sind die Fakten korrekt? Sind Pflichtangaben vollständig? Lassen sich Aussagen durch die verwendeten Quellen belegen?
Trennen Sie Fälle zur Verbesserung der Anwendung von einem zurückgehaltenen Datensatz für den abschließenden Test. Andernfalls bewerten Sie hauptsächlich, wie gut die Anwendung auf bereits bekannte Beispiele angepasst wurde.
Standardfälle und gezielte Belastungstests werden getrennt ausgewertet. Enthält der Test bewusst besonders viele schwierige Fälle, entspricht die Gesamtfehlerquote nicht automatisch der erwarteten Fehlerquote im Alltag.
Für generative Eigenentwicklungen kann SAP AI Core Custom Evaluation den Vergleich von Modellen und Prompts anhand eines Testdatensatzes unterstützen. Die fachliche Prozessbewertung mit Zeitmessung und Freigaben wird zusätzlich organisiert.
5. Den Aufwand für manuelle Freigaben messen
Im beschriebenen Pilotmodell erstellt die KI einen Entwurf. Ein berechtigter Mitarbeiter entscheidet über dessen Verwendung. Dieser Prüfschritt gehört zur Erfolgsmessung.
Erfassen Sie deshalb, wie lange die Prüfung dauert und wie häufig ein Ergebnis korrigiert oder abgelehnt wird. Die reine Erstellungszeit der KI reicht für die Bewertung nicht aus.
Für das Freigabeprotokoll sind drei Entscheidungen hilfreich:
- unverändert freigeben,
- nach inhaltlicher Korrektur freigeben,
- ablehnen und im bisherigen Verfahren bearbeiten.
Der Prüfer benötigt Zugriff auf die relevanten Ausgangsdaten. Bei fehlenden Angaben oder widersprüchlichen Quellen muss er den Vorgang zur Klärung zurückgeben können.
Eine unabhängige Nachprüfung zeigt, welche Fehler trotz Freigabe bestehen bleiben. Ergänzend lassen sich in einer getrennten Testumgebung bekannte Fehler einbauen, um die Wirksamkeit der Kontrolle zu prüfen. Solche Prüffälle werden separat ausgewertet.
SAP unterscheidet bei der Bewertung generativer KI unter anderem menschliche, automatisierte und gezielt herausfordernde Tests. Diese Verfahren liefern unterschiedliche Informationen und lassen sich kombinieren.
6. Zeitersparnis und Wirtschaftlichkeit berechnen
Der wirtschaftliche Nutzen ergibt sich aus dem gesamten Arbeitsablauf. Eine schnelle KI-Ausgabe bringt wenig Entlastung, wenn anschließend umfangreiche Korrekturen nötig sind.
Fiktives Rechenbeispiel mit angenommenen Werten:
Ohne KI benötigt ein Vorgang durchschnittlich zwölf Minuten aktive Bearbeitungszeit. Mit KI sind es acht Minuten einschließlich Bedienung, Prüfung, Korrekturen und anteiligem Aufwand für gescheiterte Versuche.
Die Nettozeitersparnis beträgt vier Minuten je Vorgang.
| Annahme oder Berechnung | Ergebnis |
|---|---|
| Geeignete Vorgänge pro Monat | 1.200 |
| Zeitersparnis je Vorgang | 4 Minuten |
| Frei werdende Kapazität | 80 Stunden pro Monat |
| Angenommener interner Stundensatz | 60 Euro |
| Rechnerischer Kapazitätswert | 4.800 Euro pro Monat |
| Angenommene zusätzliche laufende Kosten | 1.800 Euro pro Monat |
| Rechnerischer Vorteil vor Einmalkosten | 3.000 Euro pro Monat |
Frei werdende Arbeitszeit ist zunächst ein Kapazitätsgewinn. Mitarbeiter können beispielsweise zusätzliche Aufgaben übernehmen oder Vorgänge schneller bearbeiten. Eine tatsächliche Kosteneinsparung entsteht erst, wenn sich entsprechende Ausgaben reduzieren.
Einmalige Aufwände für Integration, Tests und Schulung werden zusätzlich berücksichtigt. Die Hochrechnung gilt außerdem nur für das tatsächlich geeignete Fallvolumen.
7. Erfolgskriterien und Abbruchregeln vereinbaren
Legen Sie vor dem abschließenden Test fest, welche Ergebnisse für die Freigabe erforderlich sind. So vermeiden Sie, dass Zielwerte nachträglich an das Pilotergebnis angepasst werden.
Die folgende Tabelle zeigt beispielhafte Kriterien für Anfrageentwürfe mit verpflichtender manueller Freigabe. Die Werte sind keine SAP-Vorgaben und kein allgemeiner Branchenstandard.
| Kriterium | Beispiel für eine vereinbarte Bedingung |
|---|---|
| Testumfang | 200 zuvor nicht zur Optimierung verwendete Standardvorgänge sowie separat ausgewertete Ausnahmefälle |
| Zeitgewinn | Mindestens 20 Prozent weniger aktive Bearbeitungszeit einschließlich Nacharbeit |
| Fachliche Qualität | Höchstens 5 Prozent fehlerhafte Vorgänge vor menschlicher Korrektur im Standardtest |
| Unveränderte Freigabe | Mindestens 90 Prozent der vorgelegten Entwürfe ohne inhaltliche Korrektur nutzbar |
| Kritische Fehler | Kein beobachteter kritischer Fehler im vereinbarten Test |
| Wirksamkeit der Kontrolle | Kein beobachteter fachlicher Restfehler bei vollständiger unabhängiger Nachprüfung der freigegebenen Testvorgänge |
| Technische Zuverlässigkeit | Mindestens 99 Prozent der Versuche technisch abgeschlossen |
| Dokumentation | Alle Testversuche und Freigabeentscheidungen nachvollziehbar erfasst |
200 Testfälle sind hier ein Beispielumfang, kein statistischer Sicherheitsnachweis. Auch ein Test ohne beobachteten kritischen Fehler schließt seltene Fehler im späteren Betrieb nicht aus.
Definieren Sie zusätzlich sofortige Stoppgründe. Dazu können unberechtigte Datenzugriffe, Aktionen ohne vorgeschriebene Freigabe oder falsche geschäftliche Zusagen gehören.
Bei einer Unterbrechung greift der bisherige Ablauf. Nach der Fehlerbehebung werden die betroffenen Fälle und relevante weitere Fallgruppen erneut getestet.
8. Über den weiteren Einsatz entscheiden
Die Ergebnisse des Pilotprojekts werden gemeinsam bewertet:
Der Fachbereich beurteilt die fachliche Qualität und den Arbeitsaufwand. Die IT prüft Integration, Berechtigungen, Überwachung und Rückfallverfahren. Die Geschäftsführung oder der benannte Auftraggeber entscheidet auf dieser Grundlage über Budget und weiteren Einsatz.
Das Ergebnis wird in einem Abnahmeprotokoll dokumentiert. Darin stehen Anwendungsfall, getestete Version, Ergebnisse je Fallgruppe, offene Fehler und zulässiger Einsatzumfang.
Drei Entscheidungen sind möglich:
- Begrenzt freigeben: Die vereinbarten Kriterien sind erfüllt. Der Einsatz bleibt auf dokumentierte Prozesse und Nutzergruppen beschränkt.
- Nachbessern und erneut prüfen: Konkrete Mängel werden innerhalb eines festgelegten Zeit- und Budgetrahmens bearbeitet.
- Beenden: Nutzen oder Qualität reichen nicht aus, oder notwendige Kontrollen funktionieren nicht zuverlässig.
Nach der Freigabe werden die wichtigsten Kennzahlen weiter überwacht. Änderungen an Modell, Prompt, Datenquellen oder Prozess können erneute Tests erforderlich machen. Das gilt auch, wenn SAP Business AI auf zusätzliche Aufgaben ausgeweitet wird.
Die nächsten Schritte aus den Pilotergebnissen ableiten
Ein erfolgreiches KI-Pilotprojekt liefert mehr als eine funktionierende Demonstration. Es zeigt, unter welchen Bedingungen die Anwendung Zeit spart, welche Fehler auftreten und welcher Prüfaufwand erforderlich bleibt.
Nehmen Sie diese Ergebnisse in Ihre SAP-KI-Roadmap auf. So können Sie weitere Anwendungsfälle nach nachgewiesenem Nutzen und tatsächlichem Aufwand priorisieren.
Planen Sie zugleich die SAP-Systembetreuung nach der Freigabe ein. Überwachung, Änderungen und Störungen brauchen feste Zuständigkeiten, damit die Anwendung auch im laufenden Betrieb die vereinbarten Anforderungen erfüllt.
Alle Angaben ohne Gewähr.
SAP Business AI mit messbarem Nutzen einsetzen
Definieren Sie klare Ziele, Kennzahlen und Freigaben für Ihren SAP-KI-Piloten. Eine individuelle KI-Roadmap schafft die Grundlage, um Ergebnisse fundiert zu bewerten und die nächsten Schritte zu planen.