ChatGPT kan ha blitt dårligere

Bruker du ChatGPT i jobb-hverdagen? I så fall kan det hende du burde se en ekstra gang på svarene du får den neste tiden.

I følge forskere fra Stanford og UC Berkeley kan det vise seg at tekstgeneratoren har blitt svakere de siste månedene.

– Vi hører rykter om at det koster 700 000 dollar per dag å drifte ChatGPT.

Forskerne ba både ChatGPT-3.5 og -4 om å løse matematiske problemer, svare på sensitive og farlige spørsmål, visuelt resonnere fra spørsmål og generere kode.

For eksempel identifiserte GPT-4 i mars 2023 primtall med en nøyaktighetsgrad på nesten 98 prosent. I juni skulle imidlertid GPT-4s nøyaktighet ha falt ned til mindre enn 3 prosent for samme oppgave.

Hele undersøkelsen kan du lese her.

Kan være for dyr å drifte?

Marco Angel Bertani-Økland, som er leder i styret til fagnettverket Tekna Big Data og som til daglig jobber som Chief Data Scientist i EcoOnline, har lest forskningen, og synes den ser grundig ut.

– Undersøkelsen ser bra ut. De valgte forskjellige nok oppgaver som kunne evalueres på en objektiv måte, sier han. Det dekker nok ikke alt som ChatGPT kan gjøre, men det er et godt utgangspunkt.

– Hvorfor kan den ha blitt dårligere de siste månedene?

– Det er vanskelig å si med sikkerhet, siden OpenAI ikke deler sånt med omverden. Men hvis vi skal spekulere litt, så hører man jo rykter om at det koster 700 000 dollar per dag å drifte ChatGPT.

– Kostnaden er så stor at de sikkert bruker mye tid for å endre systemet slik at det blir billigere å drifte. Jeg vil også spekulere i at dette ikke er et enkelt system, men en kompleks sammensetting av forskjellige «moduler» som gjør forskjellige ting (som diverse sjekk for å se om systemet skal svare på spørsmålet, eller verifisere kvalitet av svaret, sier han.

Bruker det ikke personlig av prinsipp

Selv om undersøkelsen kan vise noen nye svakheter, er det også noe som har blitt bedre, forteller Bertani-Økland. 

FOR DYRT: Marco Angel Bertani-Økland tror prisen kan være en grunn til at ChatGPT virker svakere på enkelte områder. Foto: Privat.

– En ting som er interessant fra undersøkelsen er at ytelsen på "LangChain" har faktiskt gått litt opp for GPT4. Kort fortalt, "LangChain" er en komponent som lar deg lage dine egne KI-agenter som gjør ting for deg. For eksempel kan du lage en app som lager matoppskrifter for deg ved å ta et bilde av det du har i kjøleskapet, ved å koble en bildegjenkjenningsmodul, ChatGPT og matprat.no sammen. OpenAI ønsker at deres produkt blir brukt mer og mer, og å bygge et app-økosystem er lønnsomt for dem. Så det er veldig fornuftig at de støtter denne type brukscenario så godt de kan.

– Ellers ser vi også at ChatGPT 3.5 blir litt bedre over tid generelt. Her tenker jeg at denne er mye billigere å drifte. Så det gir også mening å forbedre dette tilbudet for at folk øker forbruket, sier han.

– Bruker du det selv i arbeidet ditt? 

– Nei, ikke til personlige ting. Det er mest av prinsipp. Energikostnaden er så stor at jeg foretrekker å la være. Foreløpig har jeg heller ikke et stort behov for å bruke ChatGPT.

– Men på jobben, ser vi at den løser en av utfordringene vi har med å hente strukturert informasjon fra dokumenter, så det kan hende vi begynner å bruke dette (men det blir da via Azure, og ikke direkte fra OpenAI), sier han.