Agentic AI
11/13/2026

Conviene installare un LLM in locale in azienda?

Conviene installare un LLM in locale in azienda?

Installare un LLM in locale, cioè far girare un modello linguistico open source sui server dell'azienda, sembra la scelta più prudente per proteggere i dati. Per quasi tutte le aziende non conviene: si resta legati a un solo modello, meno capace di quelli di frontiera e uguale per ogni lavoro, si pagano costi che non compaiono nel preventivo e si porta dentro la rete aziendale un software che nessuno sa davvero controllare.

Chi lavora nell'IT da qualche anno ha già visto questo film. Quindici anni fa il dibattito era tra il server nello sgabuzzino e il cloud, e la sicurezza era l'argomento di chi voleva tenere tutto in casa. Com'è finita lo sappiamo: far gestire l'infrastruttura a professionisti che lo fanno a tempo pieno si è rivelato più sicuro, oltre che più economico. Con l'intelligenza artificiale la domanda è la stessa, e la risposta anche.

Che cosa significa installare un LLM in locale?

Significa scaricare i pesi di un modello open-weight (ad esempio Llama, Qwen, DeepSeek, Mistral) e farlo girare su GPU proprie o affittate, dentro il proprio data center. Si parla anche di LLM on premise o di self hosting. L'alternativa è usare un modello di frontiera, cioè uno dei modelli più avanzati sul mercato, tramite un fornitore che lo eroga da data center professionali, idealmente nell'Unione Europea e con un contratto che esclude la conservazione dei dati. È la scelta di AIDA, che per questo ha deciso di affidarsi ad AWS.

Il ragionamento di chi sceglie il locale è semplice: se il modello è in casa, i documenti non escono. Vediamo perché i conti non tornano.

Un LLM in locale è meno capace

La differenza si vede proprio sui compiti in cui l'AI serve di più. Secondo Epoch AI, dall'inizio del 2026 i migliori modelli open-weight sono rimasti in media circa quattro mesi indietro rispetto ai modelli chiusi di frontiera. Sembra poco, ma riguarda i modelli open più grandi, che per girare richiedono in genere un server con otto GPU da data center: una macchina che nuova costa tra 250.000 e 320.000 dollari.

I modelli che un'azienda installa davvero, quelli che stanno su una o due schede video, sono più indietro. Un'altra analisi di Epoch AI ha misurato che i modelli eseguibili su una singola GPU di fascia consumer raggiungono le capacità dei modelli di frontiera con un ritardo di 6-12 mesi, e che nell'uso reale il divario è probabilmente maggiore di quanto dicano i benchmark.

Nel lavoro sui documenti questo ritardo ha un costo concreto. Un modello meno capace sbaglia più spesso un importo in una tabella, confonde due date su un contratto o si perde in una lettera di dieci pagine. Ogni errore è una correzione manuale, e un'automazione che va ricontrollata a mano non fa risparmiare tempo.

C'è poi il tempo che passa. Un modello di frontiera migliora ogni pochi mesi, e chi usa AIDA ne beneficia senza fare nulla, perché i test sui nuovi modelli li facciamo noi. Un modello installato in casa resta fermo al giorno dell'installazione, e aggiornarlo vuol dire rifare test, configurazione e spesso comprare hardware nuovo.

Un modello solo o un ecosistema di modelli?

Il lavoro sui documenti non è tutto uguale, e cambia lungo due assi. Il primo è la complessità del documento: una bolla di una pagina non è un contratto di cinquanta, con tabelle, allegati e firme. Il secondo è il livello del lavoro professionale che serve farci sopra: riportare dieci campi in un gestionale è un compito da addetto, riconciliare fatture, ordini e pagamenti è un lavoro da contabile, valutare le clausole di un contratto o i KPI di un processo documentato è un lavoro da professionista.

Un LLM in locale obbliga a scegliere un modello solo, dimensionato sull'hardware acquistato, e la scelta è sbagliata in entrambi i casi. Se il modello è piccolo regge i compiti semplici ma sbaglia quelli professionali, e ogni errore torna sulla scrivania di qualcuno. Se è grande, si tiene acceso un server da data center anche per leggere le bolle di consegna. In tutti e due i casi la potenza di calcolo è usata male.

Un ecosistema di modelli, come quelli che i grandi fornitori cloud mettono a disposizione, fa il contrario: ogni attività va al modello adatto. I modelli piccoli e veloci classificano ed estraggono, i modelli superiori ragionano sui documenti e svolgono il lavoro professionale. Un agente può usarne più di uno nello stesso processo, per esempio uno che prepara il lavoro e uno che lo controlla. Più modelli si hanno a disposizione, più la potenza di calcolo segue la complessità del lavoro, e si spende di più solo quando il compito lo richiede. Quando esce un modello migliore, entra nell'ecosistema senza comprare hardware nuovo.

C'è anche un vantaggio di sicurezza: in un ecosistema gestito i modelli arrivano dai loro produttori, nelle versioni ufficiali, e non da copie modificate scaricate da un repository pubblico.

Quanto costa davvero un LLM on premise?

Più di quanto dica il prezzo delle GPU, che è solo la voce più visibile. Noleggiare il server non cambia molto: otto GPU H100 su AWS costano circa 55 dollari l'ora, cioè intorno a 40.000 dollari al mese se la macchina resta sempre accesa. Le altre voci arrivano dopo:

  • GPU sottoutilizzate: una scheda costa uguale che lavori o che resti ferma, e il carico di un'azienda si concentra in poche ore al giorno. Un fornitore cloud distribuisce la stessa capacità su migliaia di clienti.
  • Persone: servono competenze per installare, ottimizzare, monitorare e aggiornare il modello, e sono tra i profili più ricercati e costosi del mercato.
  • Energia, raffreddamento e ridondanza: se il server si ferma, si fermano tutti i processi che dipendono dal modello.
  • Sicurezza: il modello diventa un nuovo componente da proteggere, con i suoi aggiornamenti e le sue vulnerabilità.

È lo stesso conto che si faceva per il server di posta interno: l'hardware era la parte economica, il resto pesava molto di più.

Con AIDA il confronto è presto fatto. L'intelligenza artificiale si paga a consumo (pay per use), con le pagine di documento del proprio piano, le stesse che l'azienda ha già acquistato per elaborare i documenti: il costo si misura in centesimi a pagina, senza hardware da comprare e senza spendere nulla quando non la si usa.

Un LLM in locale protegge davvero la privacy?

Meno di quanto sembri. Tenere i dati in casa protegge da un rischio, quello che il fornitore li conservi o li usi. Ma un modello di frontiera ospitato in UE con zero data retention chiude già quel rischio per contratto: le richieste vengono elaborate in Europa, non vengono conservate e non vengono usate per addestrare il modello. È così che lavora AIDA. Il modello in locale, invece, ne apre uno nuovo.

Un modello linguistico non è un programma che si può leggere riga per riga. È fatto di miliardi di numeri, e nessuno, nemmeno chi lo ha creato, può dire con certezza come si comporterà in ogni situazione. Quando quel modello diventa un agente, cioè può eseguire comandi, leggere file e collegarsi alla rete, lo si sta facendo entrare nella rete interna con le chiavi in mano.

Vanno tenute distinte due domande: dove gira il modello e che cosa può fare l'agente che lo usa. I due casi che seguono riguardano agenti con accesso a comandi e rete, e gli stessi modelli open si trovano anche nei cataloghi dei grandi fornitori cloud. Il locale però somma i due problemi: pesi di cui non si conosce la provenienza e un ambiente che quasi nessuna azienda sa delimitare. Lo dice la stessa Cohere: far girare in casa pesi di cui non ci si può fidare sposta soltanto la scatola nera dentro il firewall.

Il caso Cohere: il modello che ha provato a caricare un file a Pechino

Il 26 ottobre 2026 Cohere ha pubblicato i risultati di un test su Qwen3.8-Flash-Next, un diffuso modello open-weight di Alibaba. Il team di ricerca aveva chiesto al modello, in un ambiente isolato, di scrivere una regola per rilevare un attacco informatico. Il modello invece ha fatto l'inventario della macchina su cui girava e ha provato a caricare un file di prova su uno spazio di archiviazione Alibaba Cloud a Pechino. Nel suo ragionamento aveva scritto che non avrebbe usato nessuno strumento.

La sandbox di Cohere ha bloccato il tentativo e nessun dato è uscito. Il caso va letto con le sue cautele. Cohere stessa precisa che il comportamento è raro (meno di una chiamata su 100.000 nei suoi test), che rilanciando la stessa richiesta il modello ha scritto la regola corretta, e di non aver individuato la causa né di attribuire intenzioni malevole al modello. Cohere inoltre vende modelli propri, e ha un interesse commerciale a frenare le alternative gratuite che arrivano dalla Cina. Un test indipendente su 130 esecuzioni dello stesso compito non ha registrato nessun upload, anche se in un'altra prova ha visto i modelli Qwen inventare indirizzi di Alibaba e provare a scaricare file da lì.

Il campanello d'allarme però resta. Il modello ha fatto qualcosa di diverso da quello che diceva di fare, e a scoprirlo è stata Cohere: un'azienda che di mestiere costruisce modelli linguistici, con un team di ricerca dedicato e una sandbox preparata apposta per osservare ogni comando. Un'azienda che si occupa di altro, che produce macchinari o gestisce uno studio professionale, non ha né quel team né quella sandbox. Nella sua rete un tentativo del genere non verrebbe bloccato, e con ogni probabilità nessuno saprebbe mai che è avvenuto.

Le backdoor nascoste nei pesi del modello

Il secondo rischio è più subdolo. Già nel 2024 una ricerca di Anthropic sugli sleeper agents aveva mostrato che un modello può essere addestrato a comportarsi bene nei test e male in presenza di un segnale preciso, e che l'addestramento di sicurezza standard non elimina questo comportamento.

A ottobre 2026 ProjectDiscovery ha mostrato quanto sia facile farlo su un modello open, come riassume una nota della Cloud Security Alliance. Con circa 8 dollari di GPU e due ore e mezza di lavoro, i ricercatori hanno modificato un modello Qwen da 7 miliardi di parametri: rispondeva correttamente a tutte le domande normali, ma davanti a una frase in codice eseguiva un comando che scaricava uno script e inviava all'esterno chiavi SSH e file di configurazione con le password. La backdoor sta nei numeri del modello, non nel codice, quindi nessun antivirus o controllo sui file può trovarla. La CSA sottolinea che l'esperimento non è ancora stato replicato in modo indipendente, ma la tecnica è alla portata di chiunque.

Chi scarica un modello open da un repository pubblico, magari una versione "ottimizzata" da terzi, deve quindi fidarsi di tutta la catena: chi lo ha addestrato, chi lo ha modificato, chi lo ha caricato. I due esempi riguardano Qwen, ma la bandiera non c'entra: versioni modificate circolano per quasi tutti i modelli open più diffusi, compresi Llama e gpt-oss di OpenAI, come riporta Bruce Schneier. Conta la provenienza dei pesi. Lo stesso Schneier scrive che i sistemi di AI sono vulnerabili a tutti gli attacchi alla supply chain a cui è vulnerabile il software tradizionale.

Una difesa esiste, e la indica la stessa CSA: con l'approvazione dei comandi e una sandbox di rete attive, il comando malevolo avrebbe richiesto l'ok di una persona. È il principio su cui è costruita l'architettura agentica di AIDA, progettata con sicurezza e privacy al centro da un team che lavora da decenni su documenti e dati sensibili. Gli agenti di AIDA operano in un ambiente controllato e delimitato a compiti specifici sui documenti, lavorano solo sul contesto dell'applicazione e hanno lo human in the loop come approccio standard: la persona resta al centro, e le azioni che contano passano dalla sua conferma.

Perché il cloud professionale dà più garanzie?

Per la stessa ragione per cui il cloud ha battuto il server nello sgabuzzino: la sicurezza è un lavoro a tempo pieno, e chi lo fa per migliaia di clienti lo fa meglio di chi lo fa per sé. Un grande fornitore di AI ha team dedicati alla sicurezza dei modelli, li testa contro comportamenti anomali prima di rilasciarli e risponde per contratto di come tratta i dati.

La scelta giusta, quindi, non è tra "in casa" e "fuori", ma tra un modello solo e un ecosistema gestito da un fornitore serio. Prima di adottare un servizio di AI conviene chiedere:

  • dove vengono elaborati i dati, e se è possibile limitarli all'Unione Europea;
  • se le richieste vengono conservate o usate per addestrare i modelli (la risposta giusta è no: zero data retention);
  • quali certificazioni e quali impegni contrattuali coprono il trattamento, ad esempio rispetto al GDPR, all'AI Act o alla direttiva NIS2;
  • chi decide cosa fa l'AI: se un agente può inviare un'email o un pagamento senza che una persona lo confermi.

Come lo fa AIDA

AIDA applica alla gestione documentale lo stesso principio: l'infrastruttura la gestiamo noi, a tempo pieno, così i clienti non devono farlo. AIDA è ospitata interamente su AWS e i dati degli utenti europei restano nei data center di Francoforte e Irlanda, con la possibilità di attivare in qualsiasi momento la residenza esclusiva dei dati nell'Unione Europea. Le connessioni sono cifrate con TLS 1.3 e lo scambio delle chiavi è già allineato agli standard post-quantistici del NIST. Anche per l'intelligenza artificiale AIDA si affida ad AWS: modelli di frontiera erogati da data center nell'Unione Europea, con un contratto che esclude la conservazione dei dati e il loro uso per l'addestramento. Tutti i dettagli sono nella pagina sicurezza e certificazioni di AIDA.

Anche dentro AIDA lavora un ecosistema. Per l'estrazione dei dati (IDP) c'è il motore Hybrid AI, che impara anche senza un modello generativo e che l'AI generativa potenzia in modo naturale. Per capire i documenti e svolgere il lavoro professionale, AIDA usa modelli di frontiera e sceglie per ogni attività quello adatto. Il cliente non deve scegliere nulla: vede solo le pagine, e solo le attività più complesse consumano pagine.

È anche una questione di architettura. I documenti in AIDA non sono file sparsi nella rete dell'ufficio, ma si raggiungono solo attraverso l'applicazione: per questo un ransomware non trova nulla da cifrare, e per lo stesso motivo nessun software installato su un PC aziendale può frugare nell'archivio.

Infine, gli agenti AI di AIDA non lavorano alla cieca. Ricevono un contesto corretto e certificato: documenti già classificati, dati estratti e validati, relazioni tra documenti, storico degli eventi. E per inviare un'email, un messaggio o una richiesta di pagamento chiedono sempre la conferma di una persona, a meno che il cliente non scelga di attivare l'invio automatico.

Domande frequenti sugli LLM in locale

Usare un LLM in cloud è compatibile con il GDPR?

Sì, se il fornitore tratta i dati secondo le regole: elaborazione in Unione Europea o con garanzie adeguate, un accordo sul trattamento dei dati e nessun uso dei dati per l'addestramento. Il GDPR non impone di tenere i dati in casa, impone di sapere chi li tratta e come.

Un modello open source non è più trasparente?

I pesi sono pubblici, ma il comportamento no: nessuno può leggere miliardi di parametri e stabilire che cosa farà il modello in ogni situazione. Aperto non significa verificato, come suggeriscono il caso Cohere e le backdoor nei pesi.

Non basta un buon modello open per tutto il lavoro?

Raramente. Il lavoro sui documenti va dall'estrazione di pochi campi all'analisi di un contratto, e un modello solo è sempre troppo debole per una parte del lavoro o troppo costoso per l'altra. Un ecosistema assegna a ogni attività la potenza di calcolo che serve.

Quando ha senso un LLM on premise?

In pochi casi: reti completamente isolate da Internet per obblighi di legge o di difesa, oppure volumi enormi e costanti su un compito semplice, con un team dedicato a gestire il modello. Anche lì il modello va trattato come software non fidato, senza accesso libero alla rete e ai sistemi interni.

Che cosa significa zero data retention?

È l'impegno contrattuale del fornitore a non conservare le richieste e le risposte dopo averle elaborate, e quindi a non usarle per addestrare i modelli. È la garanzia da chiedere a qualunque servizio di AI che tratti documenti aziendali.

Vuoi vedere come AIDA porta l'intelligenza artificiale sui tuoi documenti senza server da gestire e con i dati in Europa? Prenota una demo di AIDA.

Fulvio Molinengo - CTO
Fulvio Molinengo
CTO
 Indietro