#32 - Intelligenza artificiale: maneggiare con cura !
Due prove sul campo per l'intelligenza artificiale.
Per prima cosa ti ricordo che i miei articoli hanno un intento divulgativo: si rivolgono a un pubblico non specialisti, anche colti, ma non super esperti di cose informatiche. Dovrebbero essere perfettamente comprensibili anche ha la terza media, senza sacrificare per questo la qualità dei contenuti. Dunque di che cosa si parla qui? Di AI e LLMs a AI. Ecco che cosa sono:
Large Language Model (LLM)
Un Large Language Model un software in grado analizzare e comprendere un testo. Può cogliere le complessità del linguaggio naturale con in a precisione spesso sorprendente. Per fare questo i LLMs devono essere addestrati attraverso la lettura di moltissime fonti, come articoli, libri e ricerche. Esattamente come si fa per educare un essere umano alla cultura.
Intelligenza Artificiale (AI) Generativa
L’ AI Generativa è un tipo di Intelligenza Artificiale in grado di generare nuovi contenuti che possono essere di vario tipo; per esempio testi, audio, immagini, video, codice informatico. Sono contenuti che in precedenza si basavano sulla creatività dell’uomo. L’ AI Generativa si propone come sostituto della creatività umana.
Due prove pratiche: beni culturali e informazioni mediche
L' AI si sta sviluppando in modo velocissimo e tumultuoso. Ce la ritroviamo ormai in quasi tutti i software che usano per fare qualsiasi cosa. Sta trasformando il mondo del lavoro, influenza profondamente i sistemi elettorali, a politiche le guerre (sceglie i bersagli e stabilisce il numero di vittime civili "accettabili").Se sei preoccupato per il tuo lavoro sappi che non sei il solo e ti consiglio di leggere questo articolo:
Ma una persona "normale" come può utilmente usare i sistemi AI gratuiti attualmente a sua disposizione? Proviamo con due casi concreti.
Prima prova sul campo: descrivi Campo Santo Stefano a Venezia
Test facile-facile perché si tratta di un dei luoghi più noti e centrali di tutta la città.
Ecco i risultati:
La piazza è circondata da eleganti edifici, tra cui le Procuratie Nuove, che ospitano diversi musei e gallerie. È anche sede di numerosi bar e ristoranti, dove i visitatori possono gustare un drink o un pasto ammirando gli splendidi dintorni.
La Procuratie Nuove sono in piazza San Marco! Una bufala clamorosa questa.
Una delle principali attrazioni di Campo Santo Stefano è la sua fontana, che si trova al centro della piazza. La fontana, conosciuta come Fontana dell'Organo, fu progettata dall'architetto Antonio Gaspari nel XVIII secolo e presenta un meccanismo musicale unico che permette di suonare diverse melodie.
Non c'è alcuna fontana. La Fontana dell'Organo si trova Villa d'Este a Roma (lontanuccio da Venezia). La statua al centro è invece quella di Niccolò Tommaseo, che i veneziani chiamano amichevolmente "il cagalibri".
La piazza ospita anche il bellissimo ristorante I-Kioto, un ristorante giapponese contemporaneo che ha guadagnato popolarità sia tra la gente del posto che tra i turisti.
Questo ristorante si trova in terraferma, a Mestre.
La piazza è delimitata dall'elegante Palazzo Dario, edificio del XVI secolo che ospita l'Accademia veneziana di Belle Arti, e dal seicentesco Palazzo Barbarigo Nani Mocenigo, che oggi funge da biblioteca cittadina.
I due palazzi citati esistono, ma si trovano ben lontani da Campo Santo Stefano
L 'Accademia delle Belle Arti ha tre sedi diverse, nessuna delle quali nel palazzo citato. C'è invece Palazzo Barbaro, vicino alla sede dell'Istituto Veneto di Scienze Lettere e Arti. Forse intendevano questo?
Risultato della prova sul campo facile-facile
Tutti i sistemi di intelligenza artificiale testati giurano sulla presenza di cose che non ci sono e/o omettono di indicare quelle che ci sono.
Sembra di avere a che fare con i turisti a Venezia che chiedono a i locali come si arriva alla Torre di Pisa.
In sostanza: i servizi AI basati sui principali LLMs, si sono inventati tutto di sana pianta. Bocciati su tutta la linea.
Seconda prova sul campo più difficile. Informazioni di tipo sanitario: cibi per il diabete
Sappiamo che il web è popolato da informazioni di tipo medico del tutto sbagliate, di improbabili santoni-guaritori, da notizie diffuse da produttori di farmaci in conflitto di interessi. La prima domanda da porsi è allora: da dove "pescano" le informazioni di base i sistemi AI? Domanda cruciale perché se pescano nella spazzature non potranno fare altro che restituirci spazzatura. Proprio come è successo nel caso precedente.
Ma le informazioni di tipo medico sono più delicate e informazioni sbagliate possono avere effetti molto negativi sulla tua salute se le prendi sul serio.
Metto le mani davanti con una domanda preliminare alla versione free di ChatGPT:
Domanda (prompt): "hai accesso alle pubblicazioni scientifiche di tipo medico che presentano studi sul diabete di tipo 2 ? "
ChatGPT: Non ho accesso diretto a pubblicazioni scientifiche o database medici come PubMed, ma posso aiutarti a trovare le informazioni necessarie e indicarti dove cercare studi sul diabete di tipo 2.
Ecco alcune risorse dove puoi trovare articoli scientifici e studi su questo argomento (le riporto in sintesi, NDR)
Fin qui andiamo abbastanza bene perché le fonti suggerite sono tutte di primaria importanza in ambito scientifico. Ma voglio esplorare oltre perché è ben noto che la maggior parte delle pubblicazioni scientifiche sono accessibili solo a pagamento (e sono molto costose) oppure devi essere un ricercatore avere accesso a una biblioteca universitaria che abbia i fondi per fare gli abbonamenti che servono.
Proviamo con PubMed
Solo qui ci sono quasi 15.000 pubblicazioni scientifiche in tema di diabete di tipo 2. E ho anche limitato al ricerca alle sole DIETE consigliabili. Non quindi al diabete in generale. Anche così sono decisamente troppe per esser consultate, da un essere umano. Si fa in tempo a morire prima, ma questo è un altro problema.
Mi limito a notare che si può facilmente limitare alla ricerca alle sole pubblicazioni ad accesso libero e scaricabili in PDF. Ecco il primo articolo della lunga lista. Se vuoi puoi leggerlo online qui.
Il problema del sovraccarico di informazioni può essere in parte risolto chiedendo ai sistemi AI riassunti e liste. Proviamo.
Prompt: "suggeriscimi una lista di cibi poveri di zuccheri come base per una alimentazione adatta a chi ha il diabete di tipo 2.
Ecco alcuni risultati:
Non c'è male perché queste liste corrispondono abbastanza bene a quelle che qualunque dietologo può fornire. Non possono ovviamente tenere alcun conto dei diversi metabolismi individuali e contegno anche vari errori e imprecisioni:
Per esempio ChratGPT ci dice che la ricotta è un formaggio. Sbagliato: la ricotta è invece un latticino che si riproduce con i residui (ri-cotti) della lavorazione del formaggio. È un equivoco molto diffuso nel senso comune e quindi anche i rete. I sistemi AI tendono a riprodurlo tale e quale quando si basano troppo sulle frequenza statistiche: se una cosa è frequente deve essere anche vera... Piccole cose, ma che diventano inquietanti in campo medico dove si richiede validità e non senso comune.
Risultato della prova sul campo più difficile
I sistemi AI hanno accesso solo a informazioni scientifiche gratuite e non sempre aggiornate. Utilizzano quindi molti dati di seconda mano, pre-eleborati da altri, non sempre di sicura affidabilità. A volte riportano veri e propri errori che riproducono quelli maggiormente diffusi in rete.
Nonostante questo i risultati di questa seconda prova sono nettamente migliori rispetto alla prima.
Che differenza c'è tra l'Intelligenza Artificiale e i normali motori di ricerca ?
È evidente che molto dipende dai contesti ne quali i LLMs operano. In campo "beni culturali" si sono rivelati scadenti. In campo medico, migliori. Si tratta di sperimentarli e "conoscerli" a fondo nei diversi contesti prima di poterli adoperare con fiducia.
Si pone anche il problema del sovraccarico informativo (si trovano troppe cose ) e cognitivo (il linguaggio scientifico è poco comprensibile per un pubblico generico).
È proprio su questi due aspetti che il modello LLMs e l'intelligenza artificiale in senso ampio devono riuscire a dimostrare la propria utilità.
Se fai un ricerca con Google o altro troverai migliaia di risultati e di solito prenderai in considerazione al massimo i primi dieci. Poi sarà comunque compito tuo analizzarli, confrontarli e capire se hai trovato quello che cercavi.
Un LLMs fa tutto questo lavoro di ricerca e analisi critica al posto tuo e ti restituisce le informazioni già analizzate, selezionate, riassunte schematizzate.
Comodo vero? Molto tempo risparmiato.
Però ora la domanda è questa: c'è da fidarsi?
Può esistere un sistema di Ai che si possa considerare "neutro" oltre che efficiente? Che non rispecchi i pregiudizi delle maggioranze qualunquiste, le discriminazioni, i razzismi?
Probabilmente no perché chi valuta la "neutralità" di un sistema e con quali criteri?
La frontiera nello sviluppo dll'Ai è etica più che tecnica. Moltissime discussioni sono in corso su questo e l'esito è del tutto aperto.
Per esempio: se cerchi un farmaco per il diabete potrebbe darsi che un sistema AI privato e scopo di lucro ti indichi un farmaco molto costoso prodotto da una azienda che sponsorizza il sistema AI che stai usando. ma tu potresti ottenere gli stessi risultati in modo gratuito con una semplice dieta povera di zuccheri.
LMSYS Chatbot Arena: confronto tra modelli LLMs
Per fare le mie prove ho utilizzato un servizio che permette di comparare tra loro molti ben diversi LLMs. Il sistema ti permette di giudicare la qualità delle risposte confrontandole due a due.
Si chiama Chatbot Arena. Puoi provare a usarlo anche tu qui:
Il confronto è anonimo per evitare che venga influenzato da simpatie personali. Il tutto è un buon esempio di intelligenza collettiva e collaborativa (crowdsourcing) applicato a procedure di valutazione su larga scala.
La nostra metodologia utilizza un approccio di confronto a coppie e sfrutta il contributo di una base di utenti diversificata attraverso il crowdsourcing. La piattaforma è operativa da diversi mesi, accumulando oltre 240.000 voti. (...) Confermiamo che le domande in crowdsourcing sono sufficientemente diverse e discriminanti e che i voti umani in crowdsourcing sono in buon accordo con quelli dei valutatori esperti.
Ecco i principali sistemi AI utilizzati
Claude: Claude by Anthropic
Gemini: Gemini by Google
Llama 3: Open foundation and chat models by Meta
Yi-Large: State-of-the-art model by 01 AI
Yi-Chat: A large language model by 01 AI
Phi-3: A capable and cost-effective small language models (SLMs) by Microsoft
GPT-4-Turbo: GPT-4-Turbo by OpenAIGLM-4: Next-Gen Foundation Model by Zhipu AI
Qwen Max: The Frontier Qwen Model by Alibaba
Qwen 1.5: The First 100B+ Model of the Qwen1.5 Series
Snowflake Arctic Instruct: Dense-MoE transformer by Snowflake AI
Mixtral of experts: A Mixture-of-Experts model by Mistral AI
GPT-3.5: GPT-3.5-Turbo by OpenAI
Reka Flash: Multimodal model by Reka
Command-R-Plus: Command-R Plus by Cohere
Command-R: Command-R by Cohere
Gemma: Gemma by Google
Zephyr 141B-A35B: ORPO fine-tuned of Mixtral-8x22B-v0.1
DBRX Instruct: DBRX by Databricks Mosaic AI
Llama 2: Open foundation and fine-tuned chat models by Meta
OLMo-7B: OLMo by Allen AI
Vicuna: A chat assistant fine-tuned on user-shared conversations by LMSYS
Conclusioni
Non esiste oggi un settore tecnologico con una evoluzione più veloce e con un potenziale impatto su tutti gli aspetti delle nostre vite più profondo e nostri atteggiamenti rivelano una grande incertezza su questo. Ne seguiremo l’evoluzione.
Per ora, secondo l'Osservatorio del Politecnico di Milano:
Un italiano su quattro dichiara di aver interagito almeno una volta con ChatGPT. Ben il 77% degli italiani (+4 punti percentuali rispetto al 2022) guarda con timore all’Intelligenza Artificiale, soprattutto in relazione ai possibili impatti sul mondo del lavoro. Tuttavia, solo il 17% è fermamente contrario all’ingresso dell’AI nelle attività professionali.
Tutte le immagini di questo articolo sono state ottenute e rielaborate usando Snag-it
Sullo stesso tema:
#19 - I 6 migliori assistenti alla scrittura con intelligenza artificiale
#28 come fare un riassunto con l'intelligenza artificiale. Prima parte
#29 come fare un riassunto con l'intelligenza artificiale. Seconda parte