Input & Output Parameter (Felder des WorkFlow-Moduls)
- Quellfeld : Das Feld, das als Aufforderung zum Abschluss verwendet werden soll.
- JSON Request Field : Das Feld, in dem die vollständige JSON-Anfrage gespeichert wird.
- Zielfeld : Das Feld, in dem die Antwort gespeichert wird.
- JSON-Antwort Feld: Das Feld, in dem die vollständige JSON-Antwort gespeichert wird.
Request Body Parameter Beschreibung & Info
Zusammenfassung
In einer Chat-Vervollständigungsanfrage gibt es mehrere Parameter zu beachten:
- Model: Name der Bereitstellung. Aktuell werden die Werte in der „Azure OpenAI Einstellungen“ im Marini Systems Admin Bereich eingetragen.
- Max Tokens: Begrenzt die Antwortlänge.
- Temperature: Beeinflusst Antwortkreativität. Niedrig (0,2) für konservative, hoch (0,8) für kreative Antworten.
- Top P: Kontrolliert Token-Auswahl. Niedrig (0,1) für wahrscheinliche, hoch (1,0) für diverse Antworten.
- Frequency Penalty: Beeinflusst die Wiederholung von Tokens. Niedrig (0) ermutigt, hoch (0,8) vermeidet.
- Presence Penalty: Ein höherer Wert (z. B. 1,5) verringert die Wahrscheinlichkeit von Wiederholungen in den Antworten des Modells.
- API Version: Die Version der API, die benutzt werden sollte. Aktuell werden die Werte in der „Azure OpenAI Einstellungen“ im Marini Systems Admin Bereich eingetragen.
Beschreibung
Model : Name der Bereitstellung, an die Sie die Anforderung weiterleiten möchten. Azure OpenAI Service basiert auf einer Vielzahl von Modellen mit unterschiedlichen Funktionen und Preispunkten. Die Modellverfügbarkeit variiert je nach Region. Unterstützt für Endpunkte, die mehrere Bereitstellungen unterstützen.
Max Tokens : Die maximale Anzahl von Token, die in der Chatvervollständigung generiert werden können. Die Gesamtlänge der Eingabetoken und generierten Token wird durch die Kontextlänge des Modells begrenzt. Das Übergeben von NULL bewirkt, dass das Modell seine maximale Kontextlänge verwendet.
Temperature (eine Zahl zwischen 0 und 2,0; vorgegebener Wert 1) : Nicht negative Zahl Gibt 422 zurück, wenn der Wert vom Modell nicht unterstützt wird.
Top P (eine Zahl zwischen 0 und 1,0; vorgegebener Wert 1) :Eine Alternative zur Stichprobenentnahme mit Temperatur, die sogenannte Kernstichprobenentnahme (Nucleus Sampling), bei dem das Modell die Ergebnisse der Token mit der Wahrscheinlichkeitsmasse „top_p“ berücksichtigt. Daher bedeutet 0,1, dass nur die Token berücksichtigt werden, die die oberen 10 % der Wahrscheinlichkeitsmasse umfassen.
Frequency Penalty (eine Zahl zwischen -2,0 und 2,0; vorgegebener Wert 0) : Verhindert Wortwiederholungen, indem die Wahrscheinlichkeit reduziert wird, dass ein Wort ausgewählt wird, wenn es bereits verwendet wurde. Je höher die Häufigkeitsstrafe ist, desto geringer ist die Wahrscheinlichkeit, dass das Modell dieselben Wörter in seiner Ausgabe wiederholt. Gibt einen 422-Fehler zurück, wenn der Wert oder Parameter vom Modell nicht unterstützt wird.
Presence Penalty (eine Zahl zwischen -2,0 und 2,0; vorgegebener Wert 0) : Verhindert, dass dieselben Themen wiederholt werden, indem ein Wort bestraft wird, wenn es bereits in der Vervollständigung vorhanden ist, selbst wenn es nur einmal ist. Gibt einen 422-Fehler zurück, wenn der Wert oder Parameter vom Modell nicht unterstützt wird.
API Version: Die Version der API im Format „JJJJ-MM-TT“ oder „JJJJ-MM-TT-Vorschau“.
Beispiele
Was ist ein Pinguin? (angenommen alle andere Parameter haben die Standardwerte) model“:“gpt-35-turbo“
Temperature : 0,2 Ein Pinguin ist ein flugunfähiger Vogel, der in den kalten Gewässern der südlichen Hemisphäre, insbesondere in der Antarktis, lebt. Pinguine haben einen stromlinienförmigen Körper, kurze Flügel und sind hervorragende Schwimmer. Sie sind für ihre schwarz-weiße Gefiederfärbung und ihre Fähigkeit bekannt, auf dem Eis zu rutschen. Pinguine ernähren sich hauptsächlich von Fischen und Krill und leben in großen Kolonien. Es gibt verschiedene Arten von Pinguinen, darunter der Kaiserpinguin, der Königspinguin und der Eselspinguin.
Temperature : 0,8 Ein Pinguin ist ein flugunfähiger Vogel, der in den kalten Meeren der Südhalbkugel, insbesondere in der Antarktis, lebt. Pinguine haben einen stromlinienförmigen Körper, kurze Flügel und lange, dichte Federkleider, die sie vor der Kälte isolieren. Sie sind bekannt für ihre Fähigkeit, im Wasser zu schwimmen und zu tauchen, und sind ausgezeichnete Schwimmer. Pinguine ernähren sich hauptsächlich von Fischen, Krill und anderen Meeresorganismen. Es gibt verschiedene Arten von Pinguinen, darunter der Kaiserpinguin, der Eselspinguin und der Königspinguin.
Top P : 0,1 Ein Pinguin ist ein flugunfähiger Vogel, der in den kalten Gewässern der südlichen Hemisphäre lebt. Sie haben einen stromlinienförmigen Körper, kurze Flügel und sind für ihre Fähigkeit bekannt, im Wasser zu schwimmen und zu tauchen. Pinguine haben eine dicke Fettschicht und ein dichtes Federkleid, um sie vor der Kälte zu schützen. Sie ernähren sich hauptsächlich von Fischen und Krill. Pinguine leben in großen Kolonien und sind für ihr soziales Verhalten und ihre Brutpflege bekannt. Es gibt verschiedene Arten von Pinguinen, darunter der Kaiserpinguin, der Königspinguin und der Eselspinguin.
Top P : 1,0 Ein Pinguin ist ein flugunfähiger Vogel, der hauptsächlich in den kalten Meeresregionen der südlichen Hemisphäre vorkommt. Pinguine haben einen gedrungenen Körperbau, kurze Flügel und schwimmen mit ihren Flossen im Wasser. Sie sind für ihre schwarz-weiße Färbung und ihre watschelnde Bewegungsweise bekannt. Pinguine ernähren sich hauptsächlich von Fisch und anderen Meerestieren. Es gibt verschiedene Arten von Pinguinen, darunter Kaiserpinguine, Königspinguine, Eselspinguine und Zügelpinguine.
Frequency Penalty : -1 Ein Pinguin ist ein flugunfähiger Seevogel, der vor allem in den polaren Regionen der südlichen Hemisphäre vorkommt. Es gibt insgesamt 18 verschiedene Pinguinarten, die sich in Größe, Aussehen und Verhalten unterscheiden können. Pinguine haben einen torpedoartigen Körperbau, sind gut an das Leben im Wasser angepasst und können ausgezeichnet schwimmen. Sie sind bekannt für ihre aufrechte, watschelnde Gangart und ihr schwarz-weißes Gefieder. Pinguine ernähren sich vor allem von Fischen, Krill und Tintenfischen und sind gesellige Tiere, die in großen Kolonien, sogenannten Pinguinkolonien, leben. Sie sind an ihre polaren Lebensräume, in denen sie Temperaturen unter dem Gefrierpunkt, starke Winde und eisige Bedingungen.
Frequency Penalty : 1,9 Ein Pinguin ist ein flugunfähiger Seevogel, der hauptsächlich in den kalten Regionen der südlichen Hemisphäre vorkommt. Es gibt 18 verschiedene Arten von Pinguinen, die sich in Größe und Aussehen leicht unterscheiden können. Sie haben typischerweise einen kompakten Körperbau, kurze Flügel und eine charakteristische schwarz-weiße Gefiederzeichnung mit teilweise gelben oder orangefarbenen Akzenten. Pinguine sind hervorragende Schwimmer und tauchen nach Nahrung wie Fischen, Krill oder Tintenfischen im Meer. Einige beliebte Arten sind der Kaiserpinguin (der größte aller Pinguine), der Königspinguin (bekannt für seine lebhafte Farbgebung) sowie der Zwergpinguin (der kleinste aller Pinguine).
Presence Penalty : -1 Ein Pinguin ist ein flugunfähiger Vogel, der in den kalten Gewässern der Antarktis, aber auch in anderen Regionen der Südhalbkugel lebt. Pinguine haben einen gedrungenen Körperbau, kurze Beine und Flügel, die zu Flossen umgebildet sind. Sie haben ein charakteristisches schwarzes und weißes Federkleid, wobei die genaue Färbung je nach Art variiert. Pinguine sind an das Leben im Wasser angepasst und sehr gute Schwimmer. Sie ernähren sich vorwiegend von Fischen und kleinen Krebstieren. Pinguine leben in großen Kolonien und sind bekannt für ihr soziales Verhalten, die Brutpflege und ihre watschelnde Fortbewegung an Land.
Presence Penalty : 1,8 Ein Pinguin ist ein flugunfähiger, meist schwarz-weißer Vogel, der hauptsächlich in den kalten Regionen der südlichen Hemisphäre vorkommt. Sie sind an das Leben im Wasser perfekt angepasst und verbringen die meiste Zeit beim Schwimmen oder Tauchen, um nach Fischen zu jagen. Pinguine haben einen stromlinienförmigen Körperbau, kurze Flügel, die als Flossen dienen, und feste, dichte Federn, die sie vor Kälte isolieren. Sie sind bekannt für ihr watschelndes Gangbild an Land. Es gibt verschiedene Arten von Pinguinen, wie zum Beispiel den Kaiserpinguin, den Zügelpinguin oder den Eselspinguin.
Tipps für die Einstellung der Parameter
Experimentiere vorsichtig:
– Beginne mit kleinen Werten und erhöhe sie schrittweise, um die Auswirkungen zu verstehen. Insbesondere bei temperature und top_p können extreme Werte zu unerwarteten Ergebnissen führen.
Wechselseitige Beeinflussung:
– Änderungen in einem Parameter können Auswirkungen auf andere haben. Experimentiere mit verschiedenen Kombinationen, um das gewünschte Gleichgewicht zwischen Kreativität, Länge, Wiederholung und Vielfalt zu finden.
Sicherheit beachten:
– Überprüfe und filtere den generierten Text, um sicherzustellen, dass er den gewünschten Standards entspricht. Insbesondere bei niedrigeren Werten für top_p und temperature besteht die Gefahr von unerwünschten Inhalten.
Skalierung berücksichtigen:
– Berücksichtige die möglichen Kosten und die Zeit, die für die Verarbeitung von Anfragen mit verschiedenen Parametern benötigt wird.
Vorsicht – Beispiele für extreme Werte
- Eine Temperatur von 2 zB. führt zu sehr zufälligen und unvorhersehbaren Antworten. Dies liegt daran, dass die Temperatur den Einfluss der Wahrscheinlichkeitsverteilung auf die Auswahl der nächsten Token beeinflusst. Bei höheren Temperaturen werden Wahrscheinlichkeiten stärker verteilt, was zu mehr Zufälligkeit führt. Die Wahrscheinlichkeiten werden stark abgeschwächt, und es kommt zu einer Art „Entropie“, bei der die Auswahl der nächsten Wörter weniger vorhersehbar ist. Dies kann zu scheinbar willkürlichen oder unsinnigen Antworten führen, da das Modell weniger auf den Kontext oder die Wahrscheinlichkeit fokussiert ist. Wenn du stabilere und kohärentere Antworten möchtest, solltest du die Temperatur auf einen niedrigeren Wert setzen, zum Beispiel zwischen 0,2 und 0,8.
- Ein frequency_penalty von -2 bewirkt eine verstärkte Wiederholung von bereits verwendeten Tokens. Bei einem so extrem niedrigen Wert wird das Modell stark ermutigt, häufig verwendete Wörter zu wiederholen, und dies kann zu ungewöhnlichen oder sogar inkohärenten Ergebnissen führen. Negative Werte für frequency_penalty können dazu führen, dass das Modell dazu neigt, sich zu stark auf bestimmte Wörter zu konzentrieren, anstatt eine vielfältige und sinnvolle Antwort zu generieren. Es ist ratsam, moderate Werte für frequency_penalty zu verwenden, normalerweise zwischen 0 und -1, um eine angemessene Balance zwischen Wiederholung und Vielfalt zu erreichen.