Regularizers laat jou toe om boetes toe te pas op laagparameters of laagaktiwiteit tydens optimalisering. Hierdie boetes word opgesom in die verliesfunksie wat die netwerk optimaliseer. Reguleringsboetes word op 'n per-laag basis toegepas.
Wat is aktiwiteitreëlaar?
Die aktiwiteitreguleerder werk as 'n funksie van die uitset van die net, en word meestal gebruik om versteekte eenhede te reguleer, terwyl weight_regularizer, soos die naam sê, op die gewigte werk (bv. laat hulle verval).
Wanneer moet ek aktiwiteitsreëlaar gebruik?
As jy wil hê dat die uitsetfunksie deur moet gaan (of 'n afsnit nader aan) die oorsprong het, kan jy die vooroordeelreëlaar gebruik. As jy wil hê die uitset moet kleiner (of nader aan 0) wees, kan jy die aktiwiteitreëlaar gebruik.
Hoe gebruik ek Keras-reguleerder?
Om 'n reguleerder by 'n laag te voeg, het jy eenvoudig om die voorkeur-regulariseringstegniek na die laag se sleutelwoordargument 'kernel_regularizer' deur te gee. Die Keras-regulasie-implementeringsmetodes kan 'n parameter verskaf wat die regularisering-hiperparameterwaarde verteenwoordig.
Wat is kern en vooroordeel?
Dense class
Dense implementeer die bewerking: uitvoer=aktivering(dot(invoer, kern) + vooroordeel) waar aktivering die element-gewyse aktiveringsfunksie is wat as die aktiveringsargument deurgegee word, kern is 'n gewigmatriks geskep deur die laag, envooroordeel is 'n vooroordeelvektor wat deur die laag geskep word (slegs van toepassing as use_bias Waar is).
