רשת קטנה מחימר במעבר אחורה: עובי כל חוט הוא גודל הגרדיאנט של המשקל שלו — **באיור:** רשת זעירה, 4–3–2, מתוך מערך השיעור, במעבר אחורה. בכל נוירון כתוב ∂E/∂x, ועובי כל חוט הוא גודל הגרדיאנט של המשקל שלו, בהיר לחיובי וכהה לשלילי. החוטים שיוצאים מן הקלט שערכו 0 נשארים דקים: הגרדיאנט שלהם הוא אפס בדיוק, כי ∂E/∂w = (∂E/∂x)·y ו־y = 0. הרשת שבניסוי עצמו גדולה יותר: 784–64–10.

ניסוי · Rumelhart, Hinton & Williams 1986 · המודל שאומן בקוד הקורס

ציירו ספרה, והרשת שאומנה בהפצה לאחור תזהה אותה

שלוש שכבות: 784 → 64 → 10, סיגמואיד בכל שכבה, משקלים שנלמדו בכלל העדכון W ← W − η∇E, קלט אחרי קלט, במעבר אחד על 60,000 ספרות בסדר שבו הן נתונות. דיוק על 10,000 ספרות בדיקה: .

הדף בוויקי: ההגדרות, המשפט וההוכחות מערך השיעור מסמך העדות הקוד (zip)

ציירו ספרה

הקלט x¹

28×28, ממורכז כמו ב־MNIST, ערכים ב־[0,1]

או בחרו ספרה מהמאגר

ההחלטה

עדיין אין ציור.

הפלט y³ = σ(W²y² + b²)

עשרה מספרים ב־[0,1]; הרשת בוחרת את הגדול ביותר. ככל שהערך קרוב ל־1 הרשת "בטוחה" יותר.

השכבה החבויה y² = σ(W¹x¹ + b¹)

64 הנוירונים החבויים (כהה = קרוב ל־1). כל נוירון הוא "מבחן" שהרשת למדה בעצמה; השוו לנוירונים האקראיים של הפרספטרון.

המודל (W¹, b¹, W², b²) נוצר ע"י code/backprop.py ונטען מהקובץ model.js. בדף רץ רק המעבר קדימה; האימון, כלומר ההפצה לאחור עצמה, נעשה בקוד ומתועד במסמך העדות.

נתונים: MNIST (LeCun, Cortes & Burges), ברישיון CC BY-SA 3.0.