Benchmark di DeepSeek V4: MMLU, HumanEval e SWE-bench spiegati
Benchmark di DeepSeek V4: MMLU, HumanEval e SWE-bench spiegati
Un 80,6% su SWE-bench Verified sembra un'ottima risposta alla domanda «DeepSeek V4 sa programmare?». Poi trovi un 74% sullo stesso benchmark. Quale numero usi per scegliere un modello?
Entrambi possono essere corretti: il primo viene dalle prove di DeepSeek, il secondo da una valutazione indipendente del NIST, condotta con un agente e un budget di token diversi. Per capire i benchmark di DeepSeek V4 bisogna tenere insieme modello, modalità di ragionamento, data e metodo di prova. Solo dopo il punteggio diventa utile.
I risultati in breve
DeepSeek ha presentato la serie V4 il 24 aprile 2026. Il rapporto tecnico della versione preview, depositato il 26 aprile, distingue i modelli Base da quelli successivi all'addestramento finale e dalle modalità High e Max. Mescolare quelle righe produce confronti ingannevoli.
Fonte: tabelle 1, 6 e 7 del rapporto tecnico DeepSeek V4. Sono risultati pubblicati dal produttore per la preview di aprile, non misure intercambiabili con le versioni API successive.
La differenza più importante della tabella è questa: HumanEval e MMLU qui misurano i modelli Base; SWE-bench e LiveCodeBench misurano la modalità Max. Non sono sei esami sostenuti dallo stesso identico sistema.
Codice: che cosa dicono HumanEval e SWE-bench
In HumanEval, il modello scrive una funzione a partire da una descrizione e il codice viene controllato con test. Nel confronto interno di DeepSeek, V4-Pro-Base arriva a 76,8, V4-Flash-Base a 69,5 e V3.2-Base a 62,8 in pass@1. Il miglioramento rispetto a V3.2 è visibile, ma questo test non chiede di orientarsi in un repository, capire le dipendenze e preparare una modifica completa.
SWE-bench Verified si avvicina di più a quel lavoro: parte da issue di progetti reali e verifica se la patch risolve il problema. Nel rapporto di DeepSeek, V4-Pro-Max risolve l'80,6% dei casi e V4-Flash-Max il 79,0%. DeepSeek specifica però di aver usato un proprio ambiente di valutazione, con strumenti per la shell e la modifica dei file, fino a 500 passaggi e 512.000 token di contesto. Sono dettagli che influenzano il risultato di un agente di coding.
Qui c'è anche un controllo esterno concreto. Nel maggio 2026 il NIST ha misurato il 74% per V4-Pro-Max su SWE-bench Verified. Ha usato l'agente ReAct di Inspect e un budget di 500.000 token ponderati. Il NIST stesso avverte che i suoi risultati su questo test tendono a essere più bassi per differenze di prompt di sistema, infrastruttura dell'agente e budget. 74% non smentisce automaticamente 80,6%; mostra quanto conta la configurazione. La prova NIST riguarda il V4 Pro disponibile ad aprile, non certifica le release API arrivate dopo.
Per scegliere un assistente di sviluppo, la domanda utile diventa quindi più concreta: con il tuo repository, i tuoi strumenti e il tuo limite di spesa, quante issue chiude senza introdurre regressioni? Un punteggio pubblico orienta la scelta dei candidati; una prova sul tuo lavoro decide se adottarli.
Ragionamento: MMLU, MMLU-Pro e GPQA Diamond
MMLU misura conoscenze su molte discipline tramite domande a scelta multipla. DeepSeek riporta 90,1 per V4-Pro-Base e 88,7 per V4-Flash-Base, contro 87,8 per V3.2-Base. Sono prove condotte nello stesso ambiente interno e con cinque esempi nel prompt: il confronto tra quelle tre righe ha senso, mentre confrontarle direttamente con un modello istruito in modalità Max ne cambia le condizioni.
MMLU-Pro pone domande più difficili e lascia meno spazio a una risposta indovinata. Nei risultati della preview, V4-Pro-Max segna 87,5 e V4-Flash-Max 86,2; su GPQA Diamond, una prova di ragionamento scientifico avanzato, i punteggi sono 90,1 e 88,1. Queste cifre descrivono la configurazione scelta da DeepSeek. Non dimostrano, da sole, che uno dei due modelli sia il migliore per ogni domanda tecnica o scientifica.
La distinzione pratica è fra sapere la risposta a una domanda chiusa e portare a termine un compito con documenti, strumenti e verifiche. Se il tuo uso combina ricerca e codice, guarda entrambe le famiglie di prove. Se un numero ti sembra decisivo, controlla prima se appartiene al modello Base, alla modalità High o alla modalità Max.
Il contesto da un milione di token è utilizzabile?
La preview di V4-Pro e V4-Flash supporta una finestra di un milione di token. DeepSeek dichiara anche che, in questa configurazione, V4-Pro richiede il 27% dei FLOP per generare un singolo token e il 10% della cache KV rispetto a V3.2. Sono misure di efficienza dichiarate dal produttore, non un tempo di risposta garantito per ogni applicazione.
Una finestra ampia dice quanto materiale può entrare nella richiesta; non garantisce che il modello ritrovi e usi bene ogni dettaglio. La tabella DeepSeek per i test su contesti da un milione di token dà a V4-Pro-Max 83,5 su MRCR e 62,0 su CorpusQA; V4-Flash-Max arriva rispettivamente a 78,7 e 60,5. La differenza tra i due test basta a suggerire prudenza: un repository, una raccolta di contratti e un archivio di log possono mettere alla prova capacità diverse.
Se vuoi sfruttare il contesto lungo, prepara due o tre richieste che somiglino davvero al tuo lavoro. Inserisci informazioni verificabili all'inizio, al centro e verso la fine del materiale. Poi controlla se la risposta le recupera, le collega e cita il punto giusto. È un test più vicino alla tua decisione rispetto alla sola dimensione della finestra.
Prezzi e versioni API: cosa è cambiato
Questa è la parte in cui una tabella di luglio può diventare fuorviante. A ottobre 2026, la pagina prezzi dell'API DeepSeek indica deepseek-flash come V4.1-Flash e deepseek-v4-pro come V4-Pro-0813. Il vecchio nome deepseek-v4-flash viene ancora accettato, ma le richieste sono servite da V4.1-Flash: non ottieni il modello Flash della preview semplicemente usando quell'alias.
Prezzi in dollari per milione di token, verificati sulla pagina DeepSeek il 12 ottobre 2026. Gli input già presenti nella cache hanno tariffe diverse; gli orari di punta sono definiti in UTC nella stessa pagina.
DeepSeek ha aggiornato V4-Flash a luglio, V4-Pro ad agosto e ha introdotto V4.1-Flash a settembre. Il changelog dell'API precisa che V4-Pro continua a essere disponibile, nonostante un precedente annuncio ne prevedesse il reindirizzamento. Per questo i risultati della preview di aprile servono a capire la famiglia V4, mentre per stimare qualità e costo dell'API attuale devi verificare il nome del modello effettivamente servito e la tariffa del giorno.
Come leggere i benchmark senza scambiare una tabella per una scelta
Ogni prova risponde a una domanda diversa:
- HumanEval: sa produrre una funzione corretta in un compito circoscritto?
- SWE-bench Verified: un agente riesce a risolvere issue reali con gli strumenti e il budget assegnati?
- MMLU e MMLU-Pro: quanto regge su conoscenza e ragionamento in domande strutturate?
- GPQA Diamond: come affronta domande scientifiche difficili?
- LiveCodeBench: come va su problemi di programmazione più recenti?
- MRCR e CorpusQA: riesce a recuperare e usare informazioni in input molto lunghi?
Il controllo che spesso manca è la versione. Segna il checkpoint, la modalità di ragionamento, il numero di tentativi, gli strumenti concessi, il limite di token e la data della prova. Poi confronta modelli nella stessa cornice. In un flusso di sviluppo, misura anche costo complessivo, tempo, patch accettate e problemi introdotti: il prezzo per token, preso da solo, non racconta il costo di una issue risolta.
Quale numero merita davvero attenzione?
Per il coding su repository, SWE-bench Verified è più informativo di HumanEval, ma il confronto tra 80,6% di DeepSeek e 74% del NIST è la parte più istruttiva. Il compito ha lo stesso nome; l'agente e i limiti cambiano. Non c'è un unico «punteggio V4» che possa sostituire questa spiegazione.
Se devi scegliere oggi, parti dai risultati pubblici per selezionare le versioni da provare e registra quale modello l'API ti restituisce. Usa poi un piccolo insieme di attività tue, con criteri di successo fissati prima della prova. Se una modalità Max migliora il risultato ma consuma molto più tempo o output, la scelta può cambiare. È meno spettacolare di una classifica, ma più vicino al lavoro che dovrai fare.
Sul blog di Macaron parliamo spesso di come trasformare un confronto tra strumenti in una decisione utilizzabile. Se vuoi partire da un'attività concreta, prova Macaron su un tuo caso d'uso e valuta il risultato con gli stessi criteri: utilità, controlli necessari e tempo speso.
Domande frequenti
Quali punteggi di DeepSeek V4 sono confermati?
Nel rapporto della preview, DeepSeek pubblica 90,1 su MMLU e 76,8 su HumanEval per V4-Pro-Base; per V4-Pro-Max pubblica 87,5 su MMLU-Pro e 80,6% su SWE-bench Verified. Sono risultati ufficiali del produttore. Il NIST ha valutato indipendentemente il V4-Pro di aprile e ha ottenuto 74% su SWE-bench Verified con un altro agente e un altro budget.
DeepSeek V4 Pro è migliore di V4 Flash per programmare?
Nella preview di aprile, Pro-Max supera Flash-Max su SWE-bench Verified (80,6% contro 79,0%) e LiveCodeBench (93,5 contro 91,6). Il divario non basta a promettere lo stesso vantaggio sul tuo codice. Inoltre l'API deepseek-flash oggi usa V4.1-Flash, quindi quelle righe della preview non sono un confronto diretto fra i due endpoint attuali.
Un milione di token significa che posso caricare tutto il repository?
La finestra consente input molto lunghi, ma la qualità del recupero varia con il compito. Nella prova CorpusQA a un milione di token, DeepSeek riporta 62,0 per V4-Pro-Max. Se il progetto è importante, verifica con richieste che obblighino il modello a trovare e collegare informazioni lontane tra loro.
Quanto costa oggi usare DeepSeek V4 via API?
Dipende dal modello utilizzato, dai token in ingresso e in uscita, dalla cache e dalla fascia oraria. Al controllo del 12 ottobre 2026, l’output costa 0,60–1,20 $ per milione di token su deepseek-flash e 1,98–3,96 $ per milione di token su deepseek-v4-pro. Per un preventivo, consulta la tabella dei prezzi aggiornata e calcola i token del tuo flusso di lavoro reale.
Articoli Correlati
Candidatar-se para se tornar Os primeiros amigos de Macaron
Ler e descobrir
Assistente pessoal de IA
Calculadoras gratuitas
