Trasformazione per l’estrazione dei termini

Si applica a:SQL Server SSIS Integration Runtime in Azure Data Factory

La trasformazione Estrazione termini consente di estrarre termini da un testo in una colonna di input di una trasformazione e quindi scrivere tali termini in una colonna di output della trasformazione. La trasformazione è applicabile solo a testo in lingua inglese, utilizza un dizionario inglese interno e le proprie informazioni sulla lingua inglese.

È possibile utilizzare la trasformazione Estrazione termini per individuare il contenuto di un set di dati. Il testo contenuto nei messaggi di posta elettronica, ad esempio, può fornire utili commenti e suggerimenti sui prodotti. È pertanto possibile utilizzare la trasformazione Estrazione termini per estrarre gli argomenti di discussione dei messaggi al fine di analizzare tali commenti e suggerimenti.

Tipi di dati e termini estratti

La trasformazione Estrazione dei termini può estrarre solo sostantivi, solo sintagmi nominali o entrambi. Un sostantivo è costituito da una sola parola, mentre un sintagma nominale include almeno due parole, di cui una costituita da un sostantivo e l'altra da un sostantivo o da un aggettivo. Ad esempio, se la trasformazione usa l'opzione per i soli sostantivi, estrae termini come bicicletta e paesaggio. Se la trasformazione usa l'opzione per i sintagmi nominali, estrae termini come nuova bicicletta blu, casco da biciclettae biciclette confezionate.

Gli articoli e i pronomi non vengono estratti. Ad esempio, la trasformazione Estrazione termini estrae il termine bicicletta da la bicicletta, la mia biciclettae quella bicicletta.

Per ogni termine estratto la trasformazione Estrazione termini genera un punteggio, Il punteggio può essere un valore TFIDF oppure la frequenza grezza, ossia il numero di volte in cui il termine normalizzato appare nell'input. In entrambi i casi, il punteggio viene rappresentato da un numero reale che è maggiore di 0. Ad esempio, il punteggio TFIDF potrebbe avere il valore 0,5 e la frequenza sarebbe un valore come 1,0 o 2,0.

L'output della trasformazione Estrazione termini include solo due colonne, una con i termini estratti e l'altra con il punteggio. I nomi predefiniti delle colonne sono Termine e Punteggio. Poiché la colonna di testo nell'input può contenere più termini, l'output della trasformazione Estrazione termini include in genere un numero di righe maggiore rispetto all'input.

Se i termini estratti vengono scritti in una tabella, potranno essere utilizzati da altre trasformazioni di ricerca, ad esempio le trasformazioni Ricerca termini, Ricerca fuzzy e Ricerca.

La trasformazione Estrazione termini può essere applicata solo a testo contenuto in colonne con tipo di dati DT_WSTR o DT_NTEXT. Se una colonna contiene testo ma non ha uno di questi tipi di dati, sarà possibile utilizzare la trasformazione Conversione dati per aggiungere al flusso di dati una colonna con tipo di dati DT_WSTR o DT_NTEXT e copiare nella nuova colonna i valori della colonna originale. Il risultato della trasformazione Conversione dati può quindi essere utilizzato come input per la trasformazione Estrazione termini. Per ulteriori informazioni, vedi Trasformazione della conversione dei dati.

Termini di esclusione

Facoltativamente, la trasformazione Estrazione termini può fare riferimento a una colonna in una tabella che contiene termini di esclusione, ovvero parole che la trasformazione deve ignorare durante l'estrazione dei termini da un set di dati. Ciò è utile quando un insieme di termini è già stato identificato come irrilevante in una determinata azienda e in un determinato settore, in genere perché il termine ricorre con una frequenza così elevata da diventare una parola di disturbo. Durante l'estrazione di termini da un set di dati che contiene informazioni sul servizio di assistenza clienti per una particolare marca di automobili, ad esempio, è possibile escludere la marca stessa, perché viene citata troppo spesso per essere significativa. I valori nell'elenco di esclusione possono essere pertanto personalizzati in base al set di dati che si sta utilizzando.

Quando si aggiunge un termine all'elenco di esclusioni, vengono esclusi anche tutti i termini, ovvero parole o sintagmi nominali, che contengono tale termine. Ad esempio, se l'elenco di esclusione include la singola parola dati, verranno esclusi anche tutti i termini che contengono questa parola, come dati, origine datiintegrità dei datie convalida dei dati . Per escludere solo i composti che contengono la parola dati, è necessario aggiungerli in modo esplicito all'elenco di esclusione. Ad esempio, per estrarre le incidenze di datiescludendo convalida dei dati, è necessario aggiungere convalida dei dati all'elenco di esclusione e assicurarsi che la parola dati venga rimossa dall'elenco.

La tabella di riferimento deve essere una tabella in un database di SQL Server o di Access. La trasformazione Estrazione termini utilizza una connessione OLE DB distinta per connettersi alla tabella di riferimento. Per altre informazioni, vedere Gestione connessione OLE DB.

La trasformazione Estrazione termini funziona in una modalità con pre-memorizzazione nella cache completa. In fase di esecuzione legge i termini di esclusione dalla tabella di riferimento e li archivia nella propria memoria privata, prima di elaborare le righe di input della trasformazione.

Estrazione di termini da un testo

Per estrarre termini da un testo, la trasformazione Estrazione termini esegue le operazioni seguenti.

Identificazione di parole

La trasformazione Estrazione termini identifica innanzitutto le parole eseguendo le operazioni seguenti:

• Suddivisione del testo in parole, tramite spazi, interruzioni di riga e altri caratteri di terminazione delle parole utilizzati nella lingua inglese. Ad esempio, i segni di punteggiatura come ? e : sono caratteri di separazione delle parole.

• Preservare le parole collegate da trattini o trattini bassi. Ad esempio, le parole copy-protected e read-only rimangono un’unica parola.

• Mantenere invariati gli acronimi che includono punti. Ad esempio, l'azienda A.B.C Company verrebbe suddivisa in token come ABC e Company.

• Suddivisione delle parole in corrispondenza di caratteri speciali. Ad esempio, la parola data/ora viene estratta come data e ora, la parola (bicicletta) come biciclettae C# viene considerato C. I caratteri speciali vengono ignorati e non possono essere lessicalizzati.

• Riconoscimento dei casi in cui i caratteri speciali, come l'apostrofo, non devono essere utilizzati per suddividere le parole. Ad esempio, la parola inglese bicycle's non viene suddivisa in due parole e produce il singolo termine bicycle (sostantivo).

• Suddivisione di espressioni di data e ora, espressioni di valuta, indirizzi di posta elettronica e indirizzi postali. Ad esempio, la data 31 gennaio 2004 viene separata in tre token, 31, gennaioe 2004.

Parole etichettate

La trasformazione Estrazione termini applica un tag a ogni parola in modo da identificarla come una delle parti del discorso seguenti:

• Sostantivo in forma singolare, ad esempio bicicletta e pomodoro.

• Sostantivo in forma plurale, ad esempio biciclette e pomodori. Tutti i sostantivi in forma plurale non lemmatizzati vengono sottoposti a stemming.

• Nome proprio in forma singolare, Per esempio, aprile e Pietro.

• Nome proprio in forma plurale, ad esempio Aprils e Peters. Affinché un nome proprio possa essere sottoposto a stemming, deve far parte del lessico interno, che è limitato alle parole inglesi standard.

• Aggettivo, ad esempio blu.

• Aggettivo comparativo per il confronto di due elementi, ad esempio maggiore e migliore.

• Aggettivo superlativo che identifica un elemento con una qualità di livello superiore o inferiore a quello di almeno altri due elementi, Per esempio, più alto e il più alto.

• Numero, ad esempio 62 e 2004.

Le parole non identificate come una delle parti del discorso precedenti vengono ignorate. Ad esempio, i verbi e i pronomi vengono scartati.

Se la trasformazione Estrazione termini è configurata in modo da estrarre solo i sostantivi, verranno estratte solo le parole classificate come forme singolari o plurali di sostantivi e nomi propri.

Se la trasformazione Estrazione termini è configurata in modo da estrarre solo sintagmi nominali, è possibile che parole classificate come sostantivi, nomi propri, aggettivi e numeri vengano combinate in modo da formare un sintagma nominale, che tuttavia deve includere almeno una parola classificata come forma singolare o plurale di un sostantivo o nome proprio. Ad esempio, il sintagma nominale altitudine superiore combina una parola classificata come aggettivo superlativo (superiore) e una parola classificata come sostantivo (altitudine).

Se Estrazione termini è configurata per estrarre sia i sostantivi sia i sintagmi nominali, si applicano sia le regole per i sostantivi sia quelle per i sintagmi nominali. Ad esempio, dal testo molte belle biciclette blu la trasformazione estrae bicicletta e belle biciclette blu.

Parole in forma flessiva

La trasformazione Estrazione termini applica anche lo stemming ai sostantivi per estrarne solo la forma singolare. Ad esempio, la trasformazione estrae man da men, mouse da mice e bicycle da bicycles. La trasformazione utilizza il proprio dizionario per ridurre i sostantivi alla radice. I gerundi vengono trattati come sostantivi, se presenti nel dizionario.

La trasformazione Estrazione termini riduce le parole alla loro forma di dizionario, come mostrato in questi esempi, utilizzando il dizionario interno alla trasformazione Estrazione termini.

• Rimozione della desinenza inglese s dai nomi. Ad esempio, bicycles diventa bicycle.

• Rimozione della desinenza inglese es dai nomi. Ad esempio, stories diventa story.

• Recupero dal dizionario della forma singolare per i sostantivi irregolari. Ad esempio, geese diventa goose.

Parole normalizzate

La trasformazione Estrazione termini normalizza i termini che hanno iniziale maiuscola solo a causa della propria posizione nella frase, sostituendoli con la forma senza maiuscole. Ad esempio, nelle frasi Cani che inseguono gatti e Montagne con sentieri ripidi, le parole Cani e Montagne vengono normalizzate in cane e montagna.

La trasformazione Estrazione termini normalizza le parole in modo che le versioni con e senza maiuscole di una stessa parola non vengano considerate come termini diversi. Ad esempio, nei testi A Milano puoi vedere molte biciclette e Biciclette di colore blu, biciclette e Biciclette vengono riconosciuti come lo stesso termine e la trasformazione mantiene solo bicicletta. Le parole e i nomi propri non elencati nel dizionario interno non vengono normalizzati.

Normalizzazione con distinzione tra maiuscole e minuscole

È possibile configurare la trasformazione Estrazione termini in modo da considerare le parole maiuscole e minuscole come termini diversi o come varianti diverse di uno stesso termine.

• Se la trasformazione è configurata per riconoscere la distinzione tra maiuscole e minuscole, Metodo e metodo vengono estratti come due termini diversi. Le parole con iniziale maiuscola che non si trovano all'inizio di una frase non vengono mai normalizzate e vengono classificate come nomi propri.

• Se la trasformazione è configurata in modo da non distinguere tra maiuscole e minuscole, termini come Metodo e metodo vengono riconosciuti come varianti di un singolo termine. L'elenco dei termini estratti può includere Metodo o metodo, a seconda di quale compare per primo nel set di dati di input. Se la parola Metodo ha iniziale maiuscola solo perché è la prima parola di una frase, verrà estratta in forma normalizzata.

Confini di frase e di parola

Per suddividere il testo in frasi, la trasformazione Estrazione termini utilizza i caratteri seguenti come delimitatori di frase:

• Caratteri ASCII di interruzione di riga, 0x0d (ritorno a capo) e 0x0a (avanzamento riga). Tali caratteri vengono utilizzati come delimitatori di frase solo se nella riga sono presenti due o più caratteri di interruzione di riga.

• Trattini (-). Per usare questo carattere come delimitatore di frase, né il carattere a sinistra né quello a destra del trattino può essere una lettera.

• Carattere di sottolineatura (_). Per utilizzare questo carattere come confine di frase, né il carattere a sinistra né quello a destra del trattino può essere una lettera.

• Tutti i caratteri Unicode minori o uguali a 0x19 o maggiori o uguali a 0x7b.

• Combinazioni di numeri, segni di punteggiatura e caratteri alfabetici. Ad esempio, A23B#99 restituisce il termine A23B.

• I caratteri %, @, &, $, #, *, :, ;, ., , , !, ?, <, >, +, =, ^, ~, |, \, /, (, ), [, ], {, }, ", e '.

  Nota

  Gli acronimi che includono uno o più punti (.) non vengono suddivisi in più frasi.

La trasformazione Estrazione termini suddivide quindi le frasi in parole utilizzando i delimitatori di parola seguenti:

• Spazio

• Tab

• ASCII 0x0d (ritorno carrello)

• ASCII 0x0a (avanzamento riga)

  Nota

  Se un apostrofo si trova in un'espressione costituita da una contrazione, ad esempio we're o it's, l'espressione verrà suddivisa in corrispondenza dell'apostrofo, altrimenti le lettere che seguono l'apostrofo verranno eliminate. Ad esempio, we're viene suddiviso in we e 're, e bicycle's viene ridotto a bicycle.

Configurazione della trasformazione di estrazione dei termini

Per generare i risultati la trasformazione Estrazione termini utilizza algoritmi interni e modelli statistici. Può essere necessario eseguire la trasformazione Estrazione termini più volte ed esaminare i risultati per configurare la trasformazione in modo da generare il tipo di risultati più adatto per la propria soluzione di text mining.

La trasformazione Estrazione dei termini dispone di un input normale, un output e un output di errore.

È possibile impostare le proprietà tramite Progettazione SSIS o a livello di codice.

Per ulteriori informazioni sulle proprietà che è possibile impostare nella finestra di dialogo Editor avanzato o a livello di codice, fare clic su uno degli argomenti seguenti:

• Proprietà comuni

• Proprietà personalizzate delle trasformazioni

Per altre informazioni su come impostare le proprietà, vedere Impostazione delle proprietà di un componente del flusso di dati.

Editor di trasformazione dell'estrazione dei termini (scheda Estrazione dei termini)

Utilizzare la scheda Estrazione termini della finestra di dialogo Editor di trasformazione Estrazione termini per specificare una colonna di testo che contiene il testo da estrarre.

Opzioni

Colonne di input disponibili
Utilizzando le caselle di controllo, selezionare un'unica colonna di testo da utilizzare per l'estrazione dei termini.

Termine
Specificare un nome per la colonna di output che conterrà i termini estratti.

Punteggio
Consente di digitare un nome per la colonna di output che conterrà il punteggio per ogni termine estratto.

Configura output di errore
Usare la finestra di dialogo Configura output errori per specificare la gestione degli errori per le righe che causano errori.

Editor della trasformazione di estrazione dei termini (scheda Esclusione)

Utilizzare la scheda Esclusione della finestra di dialogo Editor di trasformazione Estrazione termini per configurare una connessione a una tabella di esclusione e specificare le colonne che contengono termini di esclusione.

Opzioni

Usa termini di esclusione
Consente di indicare se escludere termini specifici durante l'estrazione dei termini specificando una colonna che contiene termini di esclusione. Se si sceglie di escludere termini, è necessario specificare le proprietà delle origini dei dati seguenti.

Gestione connessione OLE DB
Selezionare una gestione connessione OLE DB esistente oppure fare clic su Nuovaper creare una nuova connessione.

New
Consente di creare una nuova connessione a un database usando la finestra di dialogo Configura gestione connessione OLE DB .

Tabella o vista
Selezionare la tabella o la vista che contiene i termini di esclusione.

Colonna
Consente di selezionare la colonna della tabella o della vista che contiene i termini di esclusione.

Configura output degli errori
Usare la finestra di dialogo Configura output errori per specificare la gestione degli errori per le righe che causano errori.

Editor di trasformazione dell'estrazione dei termini (scheda Avanzata)

Utilizzare la scheda Avanzate della finestra di dialogo Editor della trasformazione Estrazione termini per specificare le proprietà dell'estrazione, ad esempio frequenza, lunghezza e se estrarre parole o frasi.

Opzioni

Sostantivo
Consente di specificare che la trasformazione estrarrà solo singoli sostantivi.

Sintagma nominale
Consente di specificare che la trasformazione estrarrà solo sintagmi nominali.

Sostantivo e sintagma nominale
Consente di specificare che la trasformazione estrarrà sia sostantivi che sintagmi nominali.

Frequenza
Specificare che il punteggio è la frequenza del termine.

TFIDF
Specificare che il punteggio è il valore TFIDF del termine. Il punteggio TFIDF è il prodotto della frequenza dei termini e della frequenza inversa dei documenti, definito come: TFIDF di un termine T = (frequenza di T) * log( (numero di righe nell'input) / (numero di righe contenenti T) )

Soglia di frequenza
Consente di specificare il numero di volte in cui una parola o una frase deve ricorrere prima che venga estratta. Il valore predefinito è 2.

Lunghezza massima del termine
Consente di specificare la lunghezza massima in parole di una frase. Questa opzione ha effetto soltanto sui sintagmi nominali. Il valore predefinito è 12.

Usa l'estrazione dei termini con distinzione tra maiuscole e minuscole
Specificare se effettuare l'estrazione con distinzione tra maiuscole e minuscole. Il valore predefinito è False.

Configura l'output degli errori
Usare la finestra di dialogo Configura output errori per specificare la gestione degli errori per le righe che causano errori.

Contenuti correlati

• Riferimento all'errore e ai messaggi dei Servizi di Integrazione
• Trasformazione della ricerca dei termini