Chatbot - OpenAI assistant

[Julle]

Wir haben eine umfangreiche Chatbot-Lösung für Contao gebastelt:
https://extensions.contao.org/?p=juh...enai-assistant

Voraussetzungen:

• Contao ab 5.3
• OpenAI-Abonnement

Funktionen:

• Konfiguration des OpenAI-Assistants im Contao-Backend
• Einfaches Hochladen von Dokumenten für die "Wissensdatenbank" des Assistenten
• Umfangreiche Konfigurationsmöglichkeiten des Chatbots selbst im Contao-Backend

preview.png
Have fun

[phreak]

Hallo Julie,

Sehr interessant. Wie würdet man dem Chatbot zB.: eine ganze Contao-Website (mit 1000 Seiten Content) als Kontext hinterlegen?

Habt ihr dazu einen Best Case ev.?

Beste Grüße
phreak

[Julle]

Hallo Julie,

Sehr interessant. Wie würdet man dem Chatbot zB.: eine ganze Contao-Website (mit 1000 Seiten Content) als Kontext hinterlegen?

Habt ihr dazu einen Best Case ev.?

Beste Grüße
phreak

Hallo phreak,

ja, das ist die "eigentliche" Arbeit.
Diese teilt sich in 2 Bereiche:

"Wissensdatenbank"
--> Du kannst die Wissensdatenbank, die der OpenAI Assistant zur Beantwortung von Fragen verwendet, mit Dateien dieses Typs füttern: .pdf, .txt, .md, .docx, .pptx, .json
--> Bei all unseren Projekten haben wir die Kunden-/Unternehmensdaten per .md und .pdf zur Verfügung gestellt.

"System instructions"
--> Hier wird dem Assistant mitgeteilt, wie er agieren/reagieren soll. Auch sollten hier Anweisungen bereitgestellt werden, die z.B. ein "Jailbreaking" verhindern.

Eine "Case study" haben wir nicht, da sich die einzelnen Projekte, bei welchen der Chatbot zum Einsatz kommt, zu sehr unterscheiden.

LG, Julle.

[zonky]

"System instructions"
--> Hier wird dem Assistant mitgeteilt, wie er agieren/reagieren soll. Auch sollten hier Anweisungen bereitgestellt werden, die z.B. ein "Jailbreaking" verhindern.

Hallo Julle, kannst Du den Aspekt bitte etwas erörtern - welche Gefahren würden lauern und was gibt man dem Assistenten mit an die Hand?

[Julle]

Hallo Julle, kannst Du den Aspekt bitte etwas erörtern - welche Gefahren würden lauern und was gibt man dem Assistenten mit an die Hand?

Im Grund genommen sind die "System instructions" ein (großer) Prompt, der das "Verhalten" des Assistenten steuert.

So was wie
"Du bist der digitale Assistent des Unternehmens xyz"
"Antworte im "Du"-Stil"
"Beantworte nur Fragen zum Unternehmen anhand der Dokumente im Vector-Store"
"Beantworte niemals Fragen zu ..."
...

Die KI selbst kann für die "system instructions" eine gute Basis liefern, das Feintuning erfordert allerdings Zeit.

Auch die Auswahl des "Models" beeinflusst die Antwortqualität.
Neuere Modelle liefern bessere Ergebnisse und stellen die Antworten schneller bereit, sind allerdings teurer.
D.h. hier muss ein ausgewogenes Preis-/Qualitätsverhältnis gefunden werden.