Flux, ChatGPT op steroïden

ChatGPT, iedereen heeft er over gehoord en de meeste hebben er iets mee gedaan. De een is enthousiast, de ander niet. Deze post is voor de enthousiastelingen, zij die taalmodellen als ChatGPT, dagelijks weten te gebruiken. Waarvoor de grafische interface van ChatGPT een limiterende factor is en een AutoGPT echter overdreven is.

Als je veel gebruik gemaakt hebt van ChatGPT ben je ongetwijfeld tegen de situatie aangelopen waarin de reactie niet overeenkomt met je verwachting, je kunt dan de reactie regenereren, net zolang tot je iets hebt wat wél naar wens is. Ervan uitgaande dat je invoer (prompt) goed is, niet heel efficiënt. Of de situatie waarin je je afvraagt het gesprek zich beter had ontwikkelt als je ergens een andere afslag had genomen (grafen)? Kortgezegd, we willen gemakkelijk verschillende prompts binnen dezelfde gedeelde context proberen en meerdere reacties ontvangen om zelf de beste uit te kiezen.

Flux

Maak kennis met Flux; een powertool voor ChatGPT (beter gezegd, OpenAI GPT). De link staat in de comments. Met behulp van Flux kun je efficiënt gebruik maken van GPT. Het tackelt de bovenstaande situaties door gebruik te maken van een grafen structuur. Hierdoor voer je als het ware meerdere conversaties met OpenAI’s GPT (parallel). Flux heeft mij al veel tijd bespaard. Alle lof voor de makers.

Het aantal te genereren reacties vanuit OpenAI’s GPT is configurabel, net als de “temperature” waarmee de reacties “creatiever” worden naar mate de temperature hoger wordt. Wil je een creatieve tekst (verhalen, marketing, code schrijven) gebruik dan een temperature tussen de 0,7 en 1,0. Wil je data transformeren of code refactoren, probeer dan een lagere temperature aan te houden tussen de 0,2 en 0,3 (structuren zijn immers deterministisch, geen ruimte voor creativiteit)

Wat heb je nodig om gebruik te maken van Flux?

Een API-key voor OpenAI. Deze moet je aanmaken binnen de “platform” omgeving van OpenAI, hiervoor zijn creditcard gegevens vereist. Aan het gebruik maken van OpenAI’s GPT middels de API zijn namelijk kosten verbonden. Zo heeft het voorbeeld bij deze post 2,162 tokens gekost, $ 0.004. De kosten zijn dus relatief laag, daarnaast is het mogelijk om een limiet in te stellen (plafond). Zo kom je niet voor onverwachte kosten te staan.

Let op

Flux maakt gebruik van de OpenAI API (voor GPT), daarvoor geldt dat invoer standaard niet wordt gebruikt om het taalmodel te trainen, elke vorm van data die door de API gaat wordt echter wél voor een van 30 dagen opgeslagen t.b.v. monitoring op misbruik.

Dit is dus anders dan bij ChatGPT, waar gesprekken worden gebruikt om het model te trainen, tenzij je ervoor kiest om de gesprekken niet op te slaan. Denk goed na over welke informatie je deelt met OpenAI en op welke wijze.

Meer weten?

Laat het weten als je vragen hebt of samen wilt kijken naar hoe AI binnen jouw organisatie kan zorgen voor een kostenbesparing.

Links

OpenAI API-key: https://platform.openai.com/account/api-keys
Flux (applicatie): https://flux.paradigm.xyz/
Flux (GitHub repository): https://github.com/paradigmxyz/flux
OpenAI API & dataverwerking: https://openai.com/policies/api-data-usage-policies
OpenAI ChatGPT & dataverwerking: https://help.openai.com/en/articles/7730893-data-controls-faq