Jag lät Gemma 3 göra språkjobbet och började ta bort allt den inte behöver göra.
Gemma 3 körs via Ollama och blev språkkomponenten i Kontrollcenter. Första versionerna gav den alldeles för mycket ansvar. Den kunde få ett stort kandidatunderlag, stationskontext, showtext, tidigare repliker och flera uppgifter i samma prompt.
Det gav långa svarstider och märkligt låg variation. Jag kunde se anrop där tusentals tokens gick in för att få ut ett par dussin ord. Det är ett dåligt förhållande i radio, framför allt om nästa låtgräns närmar sig.
Jag började därför flytta beslut till kod. Gemma 3 behöver inte välja låt om Relay 7 Picker redan kan göra det deterministiskt. Den behöver inte räkna ut svensk klockfras om tidmodulen redan kan ge en färdig fras. Den behöver inte avgöra om weather är nytt om Weather Memory redan vet.
Gemma 3 ska vara bra på formulering. Ollama ska köra modellen. Relay 7 Kontrollcenter ska veta vad som faktiskt är sant och tillåtet.
Promptbantning gav både fart och bättre kvalitet
Jag såg flera gånger att Gemma 3 fick enorma mängder kontext för ett mycket litet output. Det kunde dessutom göra att de viktigaste reglerna drunknade bland mindre viktig historik.
Jag började därför vara mer aggressiv med vad varje call får se. En track link behöver inte hela stationens historia. En hourly behöver inte råa playlistkandidater. En weather-rad behöver inte alla tidigare showbeats.
Det här är lika mycket kvalitetsarbete som prestandaoptimering.
Jag började behandla tokenmängd som produktionskostnad i tid
När Gemma 3 fick stora prompts kunde jag se att mycket av väntetiden låg i input, trots att output bara var en kort radiolänk. Det var slöseri på två sätt: mer beräkning och större risk att de viktigaste instruktionerna försvinner i mängden.
Jag började därför bygga prompten per uppgift. Ett hourly behöver tid, aktuell show och relevant persona, inte hela biblioteket. Ett track link behöver aktuell och närliggande musik, inte hela schedulerhistoriken. En skill får bara de contextfält den faktiskt begärt.
Jag försöker även undvika att återberätta regler som redan kan implementeras i kod. Om weather redan filtrerats bort för att condition är oförändrad behöver prompten inte lägga hundra ord på att övertyga modellen om att inte prata om väder.
Det här gav en mycket renare relation mellan Kontrollcenter och Gemma 3: mindre kontext, tydligare uppgift, mer förutsägbart resultat.