googlenet papír

Googlenet Paper



0 、

kezdeti struktúra



Használja a hálózat számítási erőforrásait a hálózat szélességének és mélységének növeléséhez, de a számítás mennyiségét ne változtassa meg.



1,



Ebben a cikkben az első újítás az algoritmusban és a hálózati struktúrában rejlik

Másodsorban figyelmet fordítunk a mobil és a beágyazott forgatókönyvekre, figyelembe véve a memória és az energiafogyasztást, így a javasolt struktúra nem rögzített, kevesebb paraméterrel és kevesebb számítással rendelkezik.

Ezért egy hatékony mély neurális hálózati struktúrát javasolunk, amelyet úgy hívunk, hogy a Network in Network ihlette.



Ebben az esetben a hálózat mélysége főleg két szempontból tükröződik: az első az Inception modul, a második a hálózat mélysége.

2. Kapcsolódó munka

A Lenetből kiindulva volt egy konvolúciós hálózati struktúra, amely egymásra került, és az általános tendencia az, hogy növeli a rétegek számát, és a lemorzsolódást használja a túlillesztés problémájának megoldására.

Tekintettel arra, hogy a max pooling csökkenti a pontosságot, ugyanazt a konvolúciós struktúrát használjuk a max pooling helyett (alexnet)

[15] Különböző méretű nagyhullámú szűrők sorozatát alkalmazzák. Egy hasonló googlenet használja az Inception szolgáltatást, amelyet folyamatosan ismételve 22 rétegű mély hálózat jön létre.

A hálózat hálózata 1x1 konvolúciós réteget ad hozzá a mélység növeléséhez. A googlenet-ben az 1x1 konvolúciónak két funkciója van. Az első a méret csökkentése, a második a hálózat szélességének és mélységének növelése.

3. Motiváció és magas szintű megfontolások

A neurális hálózat teljesítményének javításának leg intuitívabb módja a hálózat mélységének és szélességének növelése, de két hiányosság van. Az első hiányosság könnyen túlilleszthető, különösen, ha az adatok kicsiek, a második hiányosság a számítás mennyiségének növekedése. .

Az alapvető megoldás a ritka kapcsolatok bevezetése a teljes kapcsolatok vagy akár konvolúció helyett. Két konkrét oka van: az első az, hogy a biológiai idegrendszer kapcsolata ritka, a második pedig az, hogy amint azt a [2] említi, egy ritka ideghálózat esetén elemezni lehet az aktivációs értékek statisztikai jellemzőit És csoportosítja a szorosan összefüggő kimeneteket.

4. Szerkezeti részletek

Ez egy részletes videó az Inceptionről:

http://ziyubiti.github.io/imgs/googlenet/Inception%20Module.mp4

clipboard_thumb [10]

A b-ben 1x1 konvolúciót alkalmaznak a méret csökkentésére, ezáltal csökkentve a 3x3 vagy 5x5 konvolúció számítási mennyiségét. Az 1x1, 3x3 és 5x5 konvolúció beállítása szintén megkönnyíti az összehangolást. Ha a konvolúciós lépés mérete 1, állítsa a padot 0, 1, 2 értékre, és a konvolúció után az azonos méretű jellemzők térképe megszerezhető.

clipboard_thumb [12]

clipboard_thumb [22]

5. A reLU segítségével adjon meg egy 224x224 0 átlagos RBG képet.

Érdemes megjegyezni, hogy az osztályozót hozzáadják a középső réteghez. A hálózat középső helyzetének jellemzői ugyanis nagyon eltérőek, és a veszteség különböző mélységekben növekszik, hogy megakadályozzák a gradiens eltűnését.

6. A képzés helyének stratégiája

Elosztott gépi tanulási rendszeren történő edzéshez [17] aszinkron sztochasztikus gradiens süllyedés, 0,9 impulzus segítségével a tanulási ráta nyolc ciklusonként 4% -kal csökken. Végül a tesztelés végső modelljének elkészítéséhez Polyak átlagolást [13] használtunk.

A mintavétel nagyon eltérő. [8] fényerő-torzulása segít kezelni a túlillesztést. Véletlenszerű beillesztést is végeztek.

Kérdés:

Aszinkron gradiens süllyedés

Hogyan valósítja meg a kezdeti struktúra az összesített ritka ábrázolást és számítást?