Un nuovo framework di mobile forensics unifica testo, immagini, video e audio da diverse app di messaggistica. Utilizzando l’intelligenza artificiale, JoSemA estrae il significato contestuale dei dati, aiutando gli investigatori a setacciare montagne di informazioni e accelerando le indagini su crimini complessi.
I dispositivi mobili sono ormai il principale strumento di comunicazione, anche per la pianificazione di attività criminali. Per le forze dell’ordine, analizzare i dati estratti da smartphone rappresenta una sfida titanica: i messaggi sono enormi in volume, eterogenei nella forma (testo, audio, immagini, video) e frammentati tra diverse app (WhatsApp, Telegram, Facebook, ecc.).
Gli strumenti forensi tradizionali richiedono query manuali e analizzano le singole modalità separatamente, perdendo il contesto semantico complessivo della conversazione. Questo genera arretrati che possono rallentare le indagini per mesi o anni.
Mobile forensics e il framework JoSemA
Uno studio pubblicato su Forensic Science International: Digital Investigation propone una soluzione innovativa: il Joint Semantic Analysis (JoSemA). Questo framework integra l’analisi semantica di tutte le modalità di comunicazione attraverso un’unica lente interpretativa.
JoSemA si basa su un concetto chiave: per comprendere una conversazione criminale, non si possono analizzare separatamente un messaggio di testo, una foto scambiata e una nota vocale. Il significato emerge dall’insieme.
Pipeline di JoSemA
Nel contesto della mobile forensics, JoSemA segue questa pipeline:
- Preparazione e unificazione dei dati
I dati estratti da diversi dispositivi e app vengono convertiti in un formato standardizzato. - Rilevamento delle conversazioni
I singoli messaggi vengono raggruppati in conversazioni semanticamente coerenti e sequenziali nel tempo, superando la frammentazione. - Annotazione semantica multimodale (il cuore innovativo)
- Testo: analizzato con tecniche NLP.
- Immagini e video: gli oggetti e le scene vengono rilevati e convertiti in descrizioni testuali (es.: “pistola”, “sacca di polvere bianca”, “auto parcheggiata”).
- Audio: i messaggi vocali sono trascritti automaticamente in testo.
Risultato: tutti i contenuti, indipendentemente dalla forma originale, sono mappati su un linguaggio semantico comune testuale. - Modellazione degli argomenti guidata dalla conoscenza
Sui testi unificati (messaggi originali + descrizioni dei media) viene applicato un algoritmo avanzato di topic modeling. L’algoritmo può essere “guidato” dall’esperienza dell’investigatore, incorporando parole chiave note (es.: gergo per droghe, armi) per individuare meglio i temi sospetti in mezzo al rumore di fondo. - Collegamento tra canali e visualizzazione
JoSemA collega automaticamente conversazioni simili su app diverse, ricostruendo il filo logico delle attività criminali. I risultati sono visualizzati in reti semantiche e linee temporali interattive che mostrano l’evoluzione degli eventi.
Vantaggi pratici
I principali vantaggi per la mobile forensics includono:
- Efficienza: trasforma l’analisi da manuale/reattiva (query specifiche) a automatica ed esplorativa, fornendo all’investigatore una “mappa dei temi” sospetti.
- Completezza: cattura il contesto completo di una comunicazione, dove un’immagine può chiarire un testo criptico e un audio confermare un’intenzione.
- Resistenza al rumore: gestisce dati “sporchi” (errori di battitura, slang, contenuti cancellati) e sbilanciati (poche prove in mezzo a molte conversazioni innocue).
- Ricostruzione degli eventi: la visualizzazione temporale delle attività (es.: “pianificazione fuga” → “individuazione obiettivo” → “furto” → “vendita refurtiva”) aiuta a rispondere alle domande investigative fondamentali: chi, cosa, dove, quando e perché.
Risultati dello studio
Lo studio ha testato JoSemA su un dataset sintetico complesso (“Stockholm Stealers”), simulando una gang coinvolta in furti di gioielli, traffico di droga e uso di criptovalute, che comunicava via WhatsApp, Facebook e Viber.
- Analisi multimodale vs singola modalità: considerando solo i testi, alcuni contesti rimanevano oscuri. Integrando le descrizioni automatiche delle immagini scambiate (es.: “maniglia d’argento”, “orecchino”), il contesto diventava chiaro: si parlava di specifici gioielli da rubare.
- Valore della conoscenza esperta: cercando solo con parole generiche, le discussioni sulle criptovalute non emergevano. Inserendo termini di dominio (es.: “bitcoin”, “monero”) come conoscenza preliminare, JoSemA le ha individuate con successo.
- Collegamento tra dispositivi: l’analisi ha collegato persone e attività attraverso due smartphone diversi, ricostruendo una mappa delle relazioni e una timeline degli eventi dell’intera operazione criminale.
Conclusioni
JoSemA rappresenta un cambio di paradigma nell’analisi forense mobile. Non sostituisce l’investigatore, ma agisce come un potente “assistente AI” che setaccia automaticamente terabyte di dati, unifica informazioni frammentate e suggerisce dove concentrare l’attenzione umana.
Integrando l’esperienza investigativa con l’elaborazione multimodale automatizzata, promette di ridurre drasticamente gli arretrati, accelerare le indagini su crimini organizzati complessi e fornire prove contestuali più solide e comprensibili in tribunale.
Il futuro della mobile forensics è nell’analisi congiunta e intelligente del significato, oltre la semplice raccolta dei dati.
Lumen Investigazioni è un’agenzia investigativa con sede a Milano, specializzata in indagini private, aziendali e penali basate su metodo scientifico e ricerca.