Input & Output Parameter (Felder des WorkFlow-Moduls)
- Quellfeld : Das Feld, das als Aufforderung zum Abschluss verwendet werden soll.
- JSON Request Field : Das Feld, in dem die vollständige JSON-Anfrage gespeichert wird.
- Zielfeld : Das Feld, in dem die Antwort gespeichert wird.
- JSON-Antwort Feld: Das Feld, in dem die vollständige JSON-Antwort gespeichert wird.
Request Body Parameters Beschreibung & Info
Zusammenfassung
In einer Chat-Vervollständigungsanfrage gibt es mehrere Parameter zu beachten:
- Model: Definiert das GPT-3-Modell, z.B. „text-davinci-003.“
- Max Tokens: Begrenzt die Antwortlänge.
- Temperature: Beeinflusst Antwortkreativität. Niedrig (0,2) für konservative, hoch (0,8) für kreative Antworten.
- Top P: Kontrolliert Token-Auswahl. Niedrig (0,1) für wahrscheinliche, hoch (1,0) für diverse Antworten.
- Frequency Penalty: Beeinflusst die Wiederholung von Tokens. Niedrig (0) ermutigt, hoch (0,8) vermeidet.
- Presence Penalty: Ein höherer Wert (z. B. 1,5) verringert die Wahrscheinlichkeit von Wiederholungen in den Antworten des Modells.
Beschreibung
Model : Der Parameter model in einer Chat-Vervollständigungsanfrage definiert das spezifische GPT-3-Modell, das für die Generierung der Antwort verwendet werden soll. Die verfügbaren Modelle können sich ändern, also überprüfe die aktuelle OpenAI-Dokumentation oder die API-Referenz, um sicherzustellen, dass du den neuesten Modellnamen verwendest. Normalerweise wirst du Modelle wie „text-davinci-003“ verwenden, aber es gibt auch spezialisierte Modelle für bestimmte Anwendungen.
Max Tokens : Der Parameter max_tokens in einer Chat-Vervollständigungsanfrage begrenzt die maximale Anzahl der generierten Tokens in der Antwort. Du kannst ihn verwenden, um die Länge der generierten Antwort zu kontrollieren. Du kannst diesen Wert nach Bedarf anpassen, um die gewünschte Länge der Antwort zu steuern. Beachte jedoch, dass eine zu niedrige Zahl die Antwort möglicherweise unvollständig oder inkohärent machen kann.
Temperature (eine Zahl zwischen 0 und 2,0; vorgegebener Wert 1) : Der temperature-Parameter in einer Chat-Vervollständigungsanfrage beeinflusst die Kreativität der generierten Antworten. Ein niedriger Wert (z.B. 0,2) erzeugt konservativere und vorhersehbarere Antworten, während ein höherer Wert (z.B. 0,8) zu zufälligeren und kreativeren Antworten führt.
Top P (eine Zahl zwischen 0 und 1,0; vorgegebener Wert 1) : top_p ist eine Wahrscheinlichkeitsgrenze für Token-Auswahl im Chat-Modell. Ein niedriger Wert (z.B. 0,1) begrenzt die Auswahl auf die wahrscheinlichsten Token. Höhere Werte (z.B. 1,0) erlauben mehr Diversität. Nucleus Sampling ist eine Sampling-Technik in der Textgenerierung. Dabei werden nur die wahrscheinlichsten Token, deren kumulierte Wahrscheinlichkeit den vordefinierten Schwellenwert (oft als top_p bezeichnet) nicht überschreitet, ausgewählt. Das ermöglicht eine gewisse Kontrolle über die Textvielfalt, da weniger wahrscheinliche Token ausgeschlossen werden. Es hilft, kohärente und dennoch abwechslungsreiche Ergebnisse zu erzielen.
Frequency Penalty (eine Zahl zwischen -2,0 und 2,0; vorgegebener Wert 0) : frequency_penalty in der Anfrage für Chat-Vervollständigung steuert, wie sehr das Modell versucht, bereits verwendete Tokens zu wiederholen. Ein niedriger Wert (z.B. 0) ermutigt das Modell, häufig verwendete Wörter zu wiederholen, während ein höherer Wert (z.B. 0,8) dazu neigt, die Verwendung häufiger Tokens zu vermeiden.
Presence Penalty (eine Zahl zwischen -2,0 und 2,0; vorgegebener Wert 0) : Der Parameter presence_penalty in einer Chat-Vervollständigungsanfrage beeinflusst, wie sehr das Modell dazu neigt, bereits verwendete Tokens in der Konversation zu wiederholen. Ein höherer presence_penalty-Wert (normalerweise größer als 1) verringert die Wahrscheinlichkeit, häufig verwendete Wörter erneut zu verwenden.
Beispiele
Was ist ein iPhone? (angenommen alle andere Parameter haben die Standardwerte) model“:“gpt-3.5-turbo“
Temperature : 0,2
Ein iPhone ist ein Smartphone, das von Apple entwickelt und hergestellt wird. Es ist ein Mobiltelefon, das über eine Vielzahl von Funktionen verfügt, darunter Telefonieren, Textnachrichten senden, E-Mails abrufen, im Internet surfen, Fotos und Videos aufnehmen, Musik abspielen und verschiedene Apps herunterladen und nutzen. Das iPhone ist bekannt für sein elegantes Design, seine Benutzerfreundlichkeit und seine Integration mit anderen Apple-Produkten und -Diensten. Es gibt verschiedene Modelle und Generationen des iPhones, die regelmäßig aktualisiert und verbessert werden.
Temperature : 0,8
Ein iPhone ist eine Reihe von Smartphones, die von der Firma Apple entwickelt und hergestellt werden. Es wurde erstmals im Jahr 2007 eingeführt und hat seitdem verschiedene Modelle und Generationen hervorgebracht. Das iPhone zeichnet sich durch sein elegantes Design, seinen Touchscreen, seine leistungsstarke Hardware und sein Betriebssystem iOS aus. Es ermöglicht den Nutzern, Anrufe zu tätigen, SMS zu senden, im Internet zu surfen, Fotos und Videos aufzunehmen, Musik abzuspielen und eine Vielzahl von Apps herunterzuladen und zu nutzen. Das iPhone hat sich zu einem der bekanntesten und beliebtesten Smartphones weltweit entwickelt.
Top P : 0,1
Ein iPhone ist ein Smartphone, das von Apple entwickelt und hergestellt wird. Es ist ein Mobiltelefon, das verschiedene Funktionen wie Telefonieren, Textnachrichten, Internetzugang, E-Mail, Musik- und Videowiedergabe, Fotografie und vieles mehr bietet. Das iPhone verwendet das iOS-Betriebssystem von Apple und ist für seine Benutzerfreundlichkeit, sein Design und seine hohe Qualität bekannt. Es gibt verschiedene Modelle und Generationen des iPhones, die regelmäßig aktualisiert werden.
Top P : 1,0
Das iPhone ist ein Smartphone, das von Apple Inc. entwickelt und vermarktet wird. Es wurde erstmals im Jahr 2007 vorgestellt und hat seitdem verschiedene Modelle und Generationen durchlaufen. Das iPhone zeichnet sich durch sein elegantes Design, seine Benutzerfreundlichkeit und sein Ökosystem von Apps und Diensten aus. Es bietet eine Vielzahl von Funktionen, darunter Telefonie, Textnachrichten, Internetzugang, Kamera, Musik- und Video-Wiedergabe sowie den Zugriff auf verschiedene Anwendungen und Dienste.
Frequency Penalty : -1,9
Ein iPhone ist ein Mobiltelefon, das von der Firma Apple entwickelt und vertrieben wird. Es basiert auf dem iOS-Betriebssystem von Apple und verfügt über verschiedene Funktionen wie Anrufe, Textnachrichten, Internetzugang, Kamera, Musik, Apps, Speicher
Frequency Penalty : 1,9
Ein iPhone ist ein von Apple entwickeltes Smartphone. Es kombiniert Funktionen eines Mobiltelefons mit denen eines Tablets und bietet verschiedene Apps, Internetzugang und Kommunikationsmöglichkeiten. Das erste iPhone wurde im Jahr 2007 eingeführt und seitdem sind mehrere Modelle auf den Markt gekommen, die regelmäßig aktualisiert werden. iPhones verwenden das iOS-Betriebssystem von Apple. Sie gelten als hochwertige Geräte mit einem benutzerfreundlichen Design und einer breiten Palette an Funktionen für Benutzer aller Art.
Presence Penalty : -1,8
Ein iPhone ist ein Smartphone, das von der Firma Apple entwickelt und hergestellt wird. Es ist eine Kombination aus Mobiltelefon, Musik-Player und Internetgerät. Das iPhone verfügt über zahlreiche Funktionen, wie das Surfen im Internet, das Senden von und Empfangen von E-Mails, das Abspielen von Musik und Videos, das Aufnehmen von Fotos und Videos, das Spielen von Spielen und das Herunterladen von Apps. Es läuft auf dem Betriebssystem iOS und wird regelmäßig mit neuen Funktionen und Software-Updates aktualisiert. Es gibt verschiedene Modelle und Generationen des iPhones, wie das iPhone 12, iPhone 11 und iPhone SE.
Presence Penalty : 1,8
Ein iPhone ist eine Reihe von Smartphones, die von Apple Inc. entwickelt und hergestellt werden. Es ist eines der beliebtesten mobilen Geräte auf dem Markt und läuft auf Apples Betriebssystem iOS. Das iPhone verfügt über verschiedene Funktionen wie Telefonieren, Textnachrichten, Surfen im Internet, Fotografieren, Videos abspielen, Musik hören und viele weitere Anwendungen über den App Store. Es gibt verschiedene Modelle des iPhones, die regelmäßig mit neuen Funktionen und Verbesserungen eingeführt werden.
Tipps für die Einstellung der Parameter
Experimentiere vorsichtig:
– Beginne mit kleinen Werten und erhöhe sie schrittweise, um die Auswirkungen zu verstehen. Insbesondere bei temperature und top_p können extreme Werte zu unerwarteten Ergebnissen führen.
Wechselseitige Beeinflussung:
– Änderungen in einem Parameter können Auswirkungen auf andere haben. Experimentiere mit verschiedenen Kombinationen, um das gewünschte Gleichgewicht zwischen Kreativität, Länge, Wiederholung und Vielfalt zu finden.
Sicherheit beachten:
– Überprüfe und filtere den generierten Text, um sicherzustellen, dass er den gewünschten Standards entspricht. Insbesondere bei niedrigeren Werten für top_p und temperature besteht die Gefahr von unerwünschten Inhalten.
Skalierung berücksichtigen:
– Berücksichtige die möglichen Kosten und die Zeit, die für die Verarbeitung von Anfragen mit verschiedenen Parametern benötigt wird.
Vorsicht – Beispiele für extreme Werte
- Eine Temperatur von 2 zB. führt zu sehr zufälligen und unvorhersehbaren Antworten. Dies liegt daran, dass die Temperatur den Einfluss der Wahrscheinlichkeitsverteilung auf die Auswahl der nächsten Token beeinflusst. Bei höheren Temperaturen werden Wahrscheinlichkeiten stärker verteilt, was zu mehr Zufälligkeit führt. Die Wahrscheinlichkeiten werden stark abgeschwächt, und es kommt zu einer Art „Entropie“, bei der die Auswahl der nächsten Wörter weniger vorhersehbar ist. Dies kann zu scheinbar willkürlichen oder unsinnigen Antworten führen, da das Modell weniger auf den Kontext oder die Wahrscheinlichkeit fokussiert ist. Wenn du stabilere und kohärentere Antworten möchtest, solltest du die Temperatur auf einen niedrigeren Wert setzen, zum Beispiel zwischen 0,2 und 0,8.
- Ein frequency_penalty von -2 bewirkt eine verstärkte Wiederholung von bereits verwendeten Tokens. Bei einem so extrem niedrigen Wert wird das Modell stark ermutigt, häufig verwendete Wörter zu wiederholen, und dies kann zu ungewöhnlichen oder sogar inkohärenten Ergebnissen führen. Negative Werte für frequency_penalty können dazu führen, dass das Modell dazu neigt, sich zu stark auf bestimmte Wörter zu konzentrieren, anstatt eine vielfältige und sinnvolle Antwort zu generieren. Es ist ratsam, moderate Werte für frequency_penalty zu verwenden, normalerweise zwischen 0 und -1, um eine angemessene Balance zwischen Wiederholung und Vielfalt zu erreichen.