Ein KI-Werkzeug fasst in einer Demo ein Dokument zusammen, beantwortet eine Fachfrage oder erkennt Details auf einem Bild. Das Ergebnis wirkt überzeugend. Im Team entsteht die Idee, es für die eigene Arbeit auszuprobieren.
Damit aus dieser Neugier ein aussagekräftiger Test wird, braucht es einen Bezug zum tatsächlichen Arbeitsablauf. Welche Aufgabe soll das Werkzeug übernehmen? Welche Informationen benötigt es? Und wie wird geprüft, ob das Ergebnis brauchbar ist?
Diese drei Fragen helfen dabei, den Aufwand für einen ersten Test sinnvoll einzugrenzen und eine fundierte Entscheidung über den nächsten Schritt vorzubereiten.
1. Welche konkrete Aufgabe soll das Werkzeug übernehmen?
„Wir möchten unsere Dokumente mit KI bearbeiten“ beschreibt zunächst ein breites Vorhaben. Darunter können sehr unterschiedliche Aufgaben fallen: Inhalte zusammenfassen, Angaben übernehmen, Dokumente zuordnen oder Antworten auf bestimmte Fragen finden.
Für einen ersten Test hilft eine Aufgabe mit klar definiertem Eingang und Ergebnis.
Ein beispielhaftes Szenario: Ein Team erhält regelmäßig Serviceanfragen als PDF. Es möchte untersuchen, ob sich die Gerätenummer und die Beschreibung des gemeldeten Problems in eine vorbereitete Übersicht übernehmen lassen. Die Entscheidung über die weitere Bearbeitung bleibt beim zuständigen Team.
Damit lässt sich konkreter planen: Welche Dokumente gehören zum Test? Welche Angaben sollen übernommen werden? Wie sieht das erwartete Ergebnis aus? Was passiert, wenn eine Gerätenummer fehlt?
Auch der bisherige Ablauf gehört zur Einordnung. Wie viel Arbeit entsteht heute beim Lesen, Übertragen und Prüfen? Welche Schwierigkeiten soll die Unterstützung verringern? Wenn das Team anschließend ebenso viel Zeit für Korrekturen benötigt, wäre der gewünschte Nutzen noch nicht erreicht.
Beschreiben Sie deshalb vor dem Test einen vollständigen Arbeitsschritt. Ein hilfreicher Satz lautet: „Die Anwendung soll aus diesem Eingang diese Angaben bereitstellen, damit diese Person damit weiterarbeiten kann.“
2. Welche Daten und Systeme braucht es dafür?
Ein Werkzeug kann in einer vorbereiteten Demo gut funktionieren. Für Ihren Einsatz muss es mit den Informationen zurechtkommen, die in Ihrem Arbeitsalltag tatsächlich vorliegen.
Im Beispiel der Serviceanfragen könnten das sauber erzeugte PDFs, eingescannte Formulare oder Dokumente mit abweichenden Bezeichnungen sein. Manche enthalten alle Angaben, andere lassen wichtige Felder offen. Diese Unterschiede sollten im Test sichtbar werden.
Stellen Sie dafür eine kleine, bewusst ausgewählte Sammlung geeigneter Beispieldokumente zusammen. Berücksichtigen Sie gewöhnliche Fälle ebenso wie bekannte Schwierigkeiten. Halten Sie für die Bewertung fest, welche Angaben jeweils korrekt wären und welche sich aus dem Dokument überhaupt nicht bestimmen lassen.
Wenn Sie den Ansatz während der Erprobung an Beispielen verbessern, reservieren Sie weitere Fälle für eine anschließende Prüfung. So untersuchen Sie auch, wie die Lösung mit Dokumenten umgeht, die noch nicht zur Anpassung verwendet wurden. Ein kleiner Test kann Hinweise auf Machbarkeit und Fehler liefern; er belegt noch keine Zuverlässigkeit für jeden späteren Einsatzfall.
Zusätzlich braucht es Klarheit über den Weg der Daten. Woher kommen die Dokumente? Wer darf darauf zugreifen? Welche Inhalte dürfen im gewählten Werkzeug verarbeitet werden? Und wo soll die bestätigte Information anschließend gespeichert werden?
Für den ersten Versuch kann eine manuelle Übergabe genügen. Wenn daraus ein regelmäßig genutzter Ablauf werden soll, müssen Schnittstellen, Berechtigungen und Zuständigkeiten mitgedacht werden. Dazu gehört auch, ob Ergebnisse in einem Format vorliegen, mit dem das nächste System arbeiten kann.
3. Wie gehen wir mit unklaren oder falschen Ergebnissen um?
Eine lesbare Antwort lässt sich leicht weiterverwenden. Ob sie fachlich stimmt, ist eine eigene Frage. Deshalb sollte bereits vor dem Test feststehen, wer das Ergebnis beurteilt und welche Fehler besonders relevant sind.
Bei einer Serviceanfrage macht es einen Unterschied, ob die Problembeschreibung etwas ungeschickt formuliert ist oder die Gerätenummer einem anderen Gerät zugeordnet wurde. Beide Ergebnisse sind fehlerhaft, haben aber unterschiedliche Folgen für die weitere Bearbeitung.
Legen Sie für den Test passende Fehlerkategorien fest, beispielsweise:
- Eine erforderliche Angabe wurde übersehen.
- Ein Wert wurde falsch übernommen.
- Eine Information wurde ergänzt, obwohl sie im Dokument nicht steht.
- Das Ergebnis lässt sich nicht eindeutig der Quelle zuordnen.
Prüfen Sie auch Fälle, in denen Angaben fehlen oder widersprüchlich sind. Ein brauchbarer Ablauf muss solche Situationen auffangen können. Das kann bedeuten, ein Feld offen zu lassen, eine Rückfrage auszulösen oder eine fachkundige Person einzubeziehen.
Für den ersten Test können die Ergebnisse vollständig geprüft werden. Erst auf Grundlage der beobachteten Fehler und ihrer Bedeutung lässt sich beurteilen, welche Kontrollen für eine weitere Nutzung erforderlich sind. Eine vom Werkzeug ausgegebene Sicherheitseinschätzung sollte dabei nicht ungeprüft als Nachweis für die Richtigkeit gelten.
So wird aus dem Versuch eine Entscheidungsgrundlage
Halten Sie vor dem Start auf einer Seite fest, was Sie untersuchen möchten. Dazu gehören die konkrete Aufgabe, die Beispieldaten, das erwartete Ergebnis, die Bewertungskriterien und die zuständige Person für die Prüfung.
Dokumentieren Sie anschließend neben gelungenen Ergebnissen auch Korrekturen und offene Fragen. Wenn Sie den Zeitaufwand vergleichen, berücksichtigen Sie Vorbereitung, Übertragung und Nachkontrolle. So wird erkennbar, ob sich die Arbeit tatsächlich vereinfacht oder nur an eine andere Stelle verlagert.
Die Auswertung kann zu unterschiedlichen Entscheidungen führen. Vielleicht eignet sich der Ansatz für einen größeren Test. Vielleicht muss die Aufgabe enger gefasst oder die Datenbasis verbessert werden. Es kann auch sinnvoll sein, beim bestehenden Ablauf zu bleiben oder eine andere technische Lösung zu prüfen.
Entscheidend ist, dass diese Entscheidung auf nachvollziehbaren Beobachtungen beruht. Ein fehlgeschlagener Test kann wertvoll sein, wenn er früh zeigt, welche Voraussetzung für den Einsatz noch fehlt.
Den passenden KI-Einstieg gemeinsam klären
Bei Robimo betrachten wir KI als Teil einer nutzbaren Anwendung: mit Daten, Benutzeroberfläche, Schnittstellen und einem klaren Ablauf für die Menschen, die damit arbeiten.
Wenn Sie ein Werkzeug oder eine Idee für Ihr Unternehmen einordnen möchten, ist ein konkreter Vorgang ein guter Ausgangspunkt. Gemeinsam lässt sich klären, welchen Nutzen Sie prüfen wollen, welche Voraussetzungen vorhanden sind und wie ein überschaubarer erster Test aussehen kann.
In unseren KI- und Digital-Workshops erarbeiten wir mit Fachbereich und Technik Prioritäten, Machbarkeit und nächste Schritte. Mehr dazu finden Sie unter https://www.robimo.at/workshop/.



