API e Console: 3 leve di costo

“Paga per stampare una pagina una volta e fotocopiala a un decimo del costo, oppure ribattila da zero ogni volta. Il caching è la fotocopiatrice.”

16. Breakpoint di cache_control: dove metterli

Dove: il campo cache_control su un blocco di contenuto nella richiesta API. Cosa fa: marca un prefisso del tuo prompt come cacheabile; le richieste successive con lo stesso prefisso vengono fatturate a una frazione della tariffa di input. Perché conta: è la singola leva di costo più grande dell'API, e la maggior parte delle persone posiziona male il breakpoint ottenendo risparmi parziali. L'articolo riporta un conto da 340 $/mese sceso a 87 $ dopo aver corretto il breakpoint.

Il breakpoint va al confine tra contenuto statico e dinamico: tutto ciò che sta prima viene messo in cache, tutto ciò che sta dopo viene ricalcolato. Mettilo dopo il tuo system prompt stabile / i tool / il contesto lungo, e prima dell'input utente specifico della richiesta.

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": LONG_STABLE_CONTEXT,
                "cache_control": {"type": "ephemeral"},  # cache the prefix
            },
            {"type": "text", "text": per_request_question},  # recomputed
        ],
    }
]

Sono comunemente disponibili due TTL: un default effimero corto e uno più lungo per i system prompt che non cambiano tra le sessioni. Come regola pratica l'articolo indica: un prefisso in cache si ripaga quando lo leggi due o più volte dentro la finestra del TTL. (Verifica i moltiplicatori correnti di scrittura/lettura della cache e i TTL nella documentazione API.)

17. inference_geo e la tassa sulla residenza dei dati

Dove: l'articolo descrive un parametro di richiesta che instrada l'inferenza verso una regione specifica (solo US, solo EU, ecc.). Perché conta: riporta che la residenza regionale aggiunge un sovrapprezzo che non compare sul listino standard; lo vedi in fattura.

18. Workspace e rate limit per funzionalità

Dove: Console → Settings → Workspaces → il tuo workspace → rate limits. Cosa fa: imposta un rate limit per workspace (e, nota l'articolo, per funzionalità dentro un workspace), separato dai limiti a livello di account. Perché conta: un limite di account ti evita la bancarotta; un limite di workspace evita che un job batch impazzito si mangi la quota che serve alla tua chat rivolta ai clienti restituendo 429.

• Crea un workspace per superficie: chat interattiva, elaborazione batch, strumenti interni, sperimentale.
• Imposta il limite di ogni workspace a circa il 60-70% del tuo tier di account, lasciando margine a chi ha bisogno di picchi.
• Imposta tetti per funzionalità dentro un workspace per tutto ciò che fa lavoro batch; l'articolo segnala un tetto a livello di funzionalità che di default è illimitato e facile da mancare.