SdcaLogisticRegressionBinaryTrainer Classe

Definizione

public sealed class SdcaLogisticRegressionBinaryTrainer : Microsoft.ML.Trainers.SdcaBinaryTrainerBase<Microsoft.ML.Calibrators.CalibratedModelParametersBase<Microsoft.ML.Trainers.LinearBinaryModelParameters,Microsoft.ML.Calibrators.PlattCalibrator>>

type SdcaLogisticRegressionBinaryTrainer = class
    inherit SdcaBinaryTrainerBase<CalibratedModelParametersBase<LinearBinaryModelParameters, PlattCalibrator>>

Public NotInheritable Class SdcaLogisticRegressionBinaryTrainer
Inherits SdcaBinaryTrainerBase(Of CalibratedModelParametersBase(Of LinearBinaryModelParameters, PlattCalibrator))

Ereditarietà

Object

TrainerEstimatorBase<TTransformer,TModel>

StochasticTrainerBase<TTransformer,TModel>

SdcaTrainerBase<SdcaBinaryTrainerBase<TModelParameters>.BinaryOptionsBase,BinaryPredictionTransformer<TModelParameters>,TModelParameters>

SdcaBinaryTrainerBase<CalibratedModelParametersBase<LinearBinaryModelParameters,PlattCalibrator>>

SdcaLogisticRegressionBinaryTrainer

Commenti

Per creare questo formatore, usare SdcaLogisticRegression o SdcaLogisticRegression(Options).To create this trainer, use SdcaLogisticRegression or SdcaLogisticRegression(Options).

Colonne di input e output

I dati della colonna dell'etichetta di input devono essere Boolean. Le caratteristiche di input dei dati della colonna devono essere un vettore di dimensioni note di Single.

Questo formatore restituisce le colonne seguenti:

Caratteristiche del trainer

Dettagli algoritmo di training

Questo formatore si basa sul metodo SdCA (Stochastic Dual Coordinate Ascent), una tecnica di ottimizzazione all'avanguardia per le funzioni obiettivo convesse. L'algoritmo può essere ridimensionato perché si tratta di un algoritmo di training di streaming come descritto in un documento KDD migliore.

La convergenza viene sottoscritta applicando periodicamente la sincronizzazione tra variabili primarie e doppie in un thread separato. Sono inoltre disponibili diverse scelte di funzioni di perdita, ad esempio perdita della cerniera e perdita logistica. A seconda della perdita usata, il modello sottoposto a training può essere, ad esempio, la macchina a vettori di supporto o la regressione logistica. Il metodo SDCA combina diverse delle proprietà migliori, ad esempio la possibilità di eseguire lo streaming learning (senza adattare l'intero set di dati nella memoria), raggiungendo un risultato ragionevole con alcune analisi dell'intero set di dati (ad esempio, vedere esperimenti in questo documento) e non spendendo alcun calcolo su zeri in set di dati di tipo sparse.

Si noti che SDCA è un algoritmo di ottimizzazione dello streaming e stocastico. Il risultato dipende dall'ordine dei dati di training perché la tolleranza di arresto non è sufficiente. Nell'ottimizzazione fortemente convessa, la soluzione ottimale è unica e quindi tutti alla fine raggiungono lo stesso posto. Anche in casi non fortemente convessa, si otterranno soluzioni altrettanto valide da eseguire per l'esecuzione. Per i risultati riproducibili, è consigliabile impostare 'Shuffle' su False e 'NumThreads' su 1.

Questa classe usa la riduzione al minimo dei rischi empirici (ad esempio, ERM) per formulare il problema di ottimizzazione basato sui dati raccolti. Si noti che il rischio empirico viene in genere misurato applicando una funzione di perdita alle stime del modello sui punti dati raccolti. Se i dati di training non contengono sufficienti punti dati (ad esempio, per eseguire il training di un modello lineare nello spazio $n$dimensionale, è necessario almeno $n$ punti dati), l'overfitting può verificarsi in modo che il modello prodotto da ERM sia valido per descrivere i dati di training, ma potrebbe non riuscire a prevedere i risultati corretti in eventi non visualizzati. La regolarizzazione è una tecnica comune per alleviare tale fenomeno penalizzando la grandezza (in genere misurata dalla funzione norm) dei parametri del modello. Questo formatore supporta la regolarizzazione della rete elastica, che penalizza una combinazione lineare di L1-norm (LASSO), $|| \textbf{w}_c ||_1$, e L2-norm (ridge), $|| \textbf{w}_c ||Regolarizzazioni _2^2$ per $c=1,\dots,m$. Le regolarizzazioni L1-norm e L2-norm hanno effetti e usi diversi che sono complementari in determinati aspetti.

Insieme all'algoritmo di ottimizzazione implementato, la regolarizzazione L1-norm può aumentare la spazità dei pesi del modello, $\textbf{w}_1,\dots,\textbf{w}_m$. Per i set di dati ad alta dimensione e sparse, se gli utenti selezionano attentamente il coefficiente della norma L1, è possibile ottenere una buona qualità di stima con un modello con solo alcuni pesi non zero (ad esempio, 1% dei pesi totali del modello) senza influire sulla potenza di stima. Al contrario, la norma L2 non può aumentare la spazità del modello sottoposto a training, ma può comunque impedire l'overfitting evitando valori di parametri di grandi dimensioni. A volte, l'uso della norma L2 porta a una migliore qualità di stima, quindi gli utenti potrebbero comunque voler provare e ottimizzare i coefficienti di L1-norm e L2-norm. Si noti che concettualmente, l'uso di L1-norm implica che la distribuzione di tutti i parametri del modello è una distribuzione Laplace mentre L2-norm implica una distribuzione gaussiana per loro.

Una regolarizzazione aggressiva (ovvero l'assegnazione di coefficienti di grandi dimensioni ai termini di regolarizzazione L1-norm o L2) può danneggiare la capacità predittiva escludendo variabili importanti dal modello. Ad esempio, un coefficiente di norma L1 molto grande può forzare tutti i parametri a essere zeri e portare a un modello semplice. Pertanto, la scelta dei coefficienti di regolarizzazione corretti è importante in pratica.

Per ulteriori informazioni consulta:

• Aumento dell'ascente della doppia coordinata stocastica.
• Metodi di ascente a doppia coordinata stocastica per ridurre al minimo la perdita regolarizzata.

Vedere anche la sezione Vedere anche per i collegamenti ad esempi di utilizzo.

Vedi anche

• SdcaLogisticRegressionBinaryTrainer.Options
• SdcaLogisticRegression(BinaryClassificationCatalog+BinaryClassificationTrainers, String, String, String, Nullable<Single>, Nullable<Single>, Nullable<Int32>)
• SdcaLogisticRegression(BinaryClassificationCatalog+BinaryClassificationTrainers, SdcaLogisticRegressionBinaryTrainer+Options)