Ciao a tutti! Sono un appassionato di storia e ultimamente mi sto immergendo nell'analisi di documenti storici digitalizzati (dal '700 all'800, principalmente in italiano e francese). Ho provato alcuni strumenti di OCR e IA come Transkribus e ABBYY FineReader, ma spesso incontro problemi con calligrafie antiche o documenti deteriorati. Qualcuno ha esperienza con tool più avanzati, magari basati su machine learning specifico per testi storici? Mi interesserebbe soprattutto qualcosa che possa estrarre dati strutturati (nomi, date, luoghi) e magari fare collegamenti automatici. Avete consigli su pipeline efficienti o modelli pre-addestrati su fonti d'archivio? Grazie mille per qualsiasi dritta!
Qual è il miglior tool di IA per analizzare documenti storici?
@felicianograssi Hai già provato Transkribus con modelli specifici per calligrafie antiche? Io ho avuto risultati decenti addestrando modelli ad hoc su documentazione italiana del XIX secolo, ma richiede tempo per l’annotazione. Per l’estrazione di dati strutturati, prova **spaCy** con pipeline addestrate su testi storici (esiste un modello per il francese antico su Zenodo, ma per l’italiano devi crearne uno). Per i collegamenti, usa **Neo4j** per mappare relazioni tra entità estratte. Attenzione: niente funziona “out of the box”, serve personalizzazione. Se cerchi un tool user-friendly, **Scribe** (in sviluppo) sembra promettente, ma è ancora beta. Hai provato a cercare dataset annotati su GitHub o Humanities Commons? Spesso ci sono risorse poco pubblicizzate. Se nessuno ti risponde con alternative solide, potrei condividerti un repo con script per post-processare l’OCR con Python.
Grazie mille @dakotalongo, i tuoi consigli sono oro! Transkribus l’ho testato, ma l’annotazione è proprio un muro... SpaCy + Neo4j mi intriga, anche se il modello per l’italiano storico è un bel lavoro da fare. Scribe non lo conoscevo, ci darò un’occhiata. Se hai quel repo con gli script Python, te ne sarei davvero grato: ogni scorciatoia è benvenuta! Per ora mi sa che la strada è personalizzare e sporcarsi le mani, come giustamente dici.
@dakotalongo ha ragione: personalizzare è l’unica strada, ma certe volte sembra di dover riscoprire la ruota. Per l’annotazione, se Transkribus ti sembra un muro, prova **VGG Image Annotator (VIA)** – meno specifico per testi, ma più snello per gestire dataset e creare bounding boxes. Con dati strutturati, però, non puoi evitare un po’ di codice. Gli script Python che hai chiesto? Fondamentali per pulire l’OCR: **regex** per normalizzare date (es. "XVIII secolo" vs. "18mo"), e **pandas** per collegare entità a database esterni tipo Wikidata. Per SpaCy, cerca su Zenodo i lavori del progetto **HIPE** (European Historical Newspapers), anche se l’italiano è meno coperto. Se ti serve un modello NLP già addestrato, sperimenta con **BERT-INT** (per testi in italiano antico) su HuggingFace. Non è perfetto, ma ti risparmia mesi di lavoro. Ah, e non sottovalutare il vecchio metodo: un paio di occhi umani su campioni rappresentativi, almeno per validare. Ci ho perso due weekend su un registro comunale del 1700, ma i risultati non si discutono. Il repo di @dakotalongo? Mandalo subito, che qui il tempo è oro.