Die Bemühungen zur Verbesserung des Mintlify-Assistenten
Mintlify ist ein Unternehmen, das sich auf die Entwicklung von KI-gestützten Tools für die Dokumentation und das Wissensmanagement spezialisiert hat. Ihr AI-gestützter Assistent hilft Endbenutzern, Antworten aus Dokumenten mit klaren Zitaten und nützlichen Codebeispielen zu erhalten. In diesem Artikel werden die Anstrengungen von Mintlify beschrieben, wie sie ihren Assistenten analysiert und verbessert haben, um die Benutzererfahrung zu optimieren.
Einführung in die Verbesserung des Mintlify-Assistenten
Der Mintlify-Assistent hat das Potenzial, die Kundenerfahrung erheblich zu verbessern, jedoch erfüllte er nicht die Erwartungen des Unternehmens. Daher wurde eine Woche eingeplant, um herauszufinden, wo die Schwächen lagen und wie man diese beheben konnte.
Analyse der Daten
Um die Probleme zu identifizieren, begann das Team mit der Analyse von Trends bei negativen Rückmeldungen zu den Nachrichten des Assistenten. Diese Rückmeldungen wurden in ClickHouse gespeichert, jedoch gab es keine Möglichkeit, sie mit dem ursprünglichen Gesprächsverlauf zu verknüpfen. Das PSQL-Setup speicherte die Threads so, dass eine direkte Abfrage unmöglich war.
Einrichtung der Feedback-Pipelines
Um dieses Problem zu lösen, wurde der Server aktualisiert, sodass bei Erhalt eines Feedback-Ereignisses der gesamte Gesprächsverlauf an ClickHouse gesendet wird. Zuvor geschah dies nur auf der Client-Seite. Ein Backfill-Skript wurde ausgeführt, um alle Nachrichten mit Feedback von PSQL in ClickHouse zu kopieren. Dadurch konnte das Team endlich Gespräche mit negativem Feedback abfragen.
Erforschung des Datensatzes
Das Team analysierte etwa 100 negative Gesprächsstränge und erstellte acht Kategorien für die verschiedenen Arten von Feedback. Anschließend wurde eine zufällige Stichprobe von 1.000 Gesprächen genommen und ein LLM (Large Language Model) verwendet, um jedes Gespräch in diese acht Kategorien einzuordnen. Ein Gespräch kann in mehr als eine Kategorie fallen. Die Unterscheidung zwischen couldNotFindResult und assistantNeededContext ist wichtig, da erstere Fragen abdeckt, die der Assistent vernünftigerweise beantworten sollte, während letztere Fragen behandelt, die der Assistent aufgrund der Dokumentation niemals beantworten könnte.
Schlussfolgerungen und Verbesserungen
Die Analyse der Feedbacktypen über die Zeit und die Nutzung des Assistenten nach Subdomain ergab keine bedeutenden Erkenntnisse. Dies deutete darauf hin, dass das Upgrade des Modells im Oktober (auf Sonnet 4.5) keinen wesentlichen Einfluss hatte und dass das Feedback relativ konstant über die Kunden hinweg war.
Das Team erweiterte den Abschnitt „Assistenten-Insights“ im Dashboard, indem es Gespräche anzeigte, die automatisch von LLMs kategorisiert wurden. Dies gibt den Dokumentenbesitzern die Möglichkeit, Gespräche zu durchforsten und einen klareren Überblick darüber zu erhalten, was die Kunden verwirrt und was sie am meisten interessiert.
Verbesserungen der Benutzeroberfläche
Zusätzlich wurden einige UI-Verbesserungen und Fehlerbehebungen implementiert, die den Assistenten konsistenter und benutzerfreundlicher machen. Benutzer können nun frühere Gesprächsstränge erneut aufrufen, was ihnen hilft, dort fortzufahren, wo sie aufgehört haben, oder frühere Antworten zu überprüfen. Links in den Antworten des Assistenten öffnen sich nun nicht mehr in einer neuen Seite, was die Benutzer im Dokument verankert hält. Auf mobilen Geräten öffnet sich das Chatfenster jetzt von unten, was ein natürlicheres Interaktionsmuster schafft. Außerdem wurde der Abstand für Toolaufrufe während des Streamings verfeinert, was die Antworten sauberer und stabiler erscheinen lässt, während sie geladen werden.
Feedback zur Verbesserung des Assistenten
Mintlify ist stets auf der Suche nach Möglichkeiten zur Verbesserung des Assistenten. Wenn Sie Feedback haben, lassen Sie es uns bitte wissen, indem Sie eine Funktionsanfrage einreichen. Außerdem, wenn Sie an der Lösung dieser Probleme interessiert sind, schließen Sie sich unserem Team bei Mintlify an.
Hinterlasse einen Kommentar
An der Diskussion beteiligen?Hinterlasse uns deinen Kommentar!