הסתברות מותנית ונוסחת בייס
הסתברות מותנית ונוסחת בייס הם הכלים המרכזיים לחישוב הסתברויות במצבים שבהם יש "מידע חלקי" על תוצאת הניסוי - למשל כאשר ידוע שקרה מאורע מסוים, ורוצים לעדכן לפיו את ההסתברות של מאורע אחר. הנושא מופיע בקורסי מבוא להסתברות (כגון 88-165 מבוא להסתברות וסטטיסטיקה) כהמשך ישיר לאקסיומות ההסתברות ולחוקים הבסיסיים שלה, ומהווה בסיס הכרחי להמשך הקורס. בשפת הסטודנטים ובמקורות שונים מקובלים גם השמות "משפט בייס", "נוסחת ההסתברות השלמה", "עץ הסתברות" (השיטה הגרפית הנפוצה לפתרון שאלות מהסוג הזה) ו"מאורעות בלתי תלויים" (התכונה שהופכת חלק גדול מהחישובים לפשוטים יותר).
הגדרה
הסתברות משותפת מול הסתברות מותנית
יהי [math]\displaystyle{ (\Omega,P) }[/math] מרחב הסתברות, ויהיו [math]\displaystyle{ A,B\subseteq\Omega }[/math] מאורעות. ההסתברות המשותפת של A ו-B היא פשוט [math]\displaystyle{ P(A\cap B) }[/math] - ההסתברות ששני המאורעות מתרחשים יחד, מתוך כל מרחב המדגם [math]\displaystyle{ \Omega }[/math]. לעומת זאת, ההסתברות המותנית של A בהינתן B, כאשר [math]\displaystyle{ P(B)>0 }[/math], מוגדרת בתור
[math]\displaystyle{ P(A\mid B)=\frac{P(A\cap B)}{P(B)} }[/math]
ההבדל בין השתיים הוא ה"מרחב הייחוס": בהסתברות המשותפת עדיין מסתכלים על כל [math]\displaystyle{ \Omega }[/math], ואילו בהסתברות המותנית "מצמצמים" את מרחב המדגם ל-B בלבד (כאילו B הוא כעת העולם כולו) ושואלים מהו החלק היחסי של [math]\displaystyle{ A\cap B }[/math] בתוכו. באופן שקול, [math]\displaystyle{ P(A\cap B)=P(A\mid B)\cdot P(B) }[/math] - זהו כלל השרשרת, והוא הכלי שמאפשר לעבור מהסתברויות מותנות (שקל לקרוא אותן מתיאור הבעיה) חזרה להסתברות המשותפת.
מאורעות בלתי תלויים
שני מאורעות A,B נקראים בלתי תלויים אם הידיעה שאחד מהם קרה אינה משנה את ההסתברות של השני, כלומר
[math]\displaystyle{ P(A\cap B)=P(A)\cdot P(B) }[/math]
כאשר [math]\displaystyle{ P(B)>0 }[/math], זה שקול לכך ש-[math]\displaystyle{ P(A\mid B)=P(A) }[/math] (ובאופן סימטרי, כאשר [math]\displaystyle{ P(A)>0 }[/math], [math]\displaystyle{ P(B\mid A)=P(B) }[/math]). חשוב להבחין בין "בלתי תלויים" לבין "זרים" (מאורעות עם [math]\displaystyle{ A\cap B=\emptyset }[/math]): אלו שתי תכונות שונות לגמרי, וכפי שמפורט בסעיף הטעויות הנפוצות, שני מאורעות זרים בעלי הסתברות חיובית לעולם אינם בלתי תלויים.
משפטים ותכונות
נוסחת ההסתברות השלמה
תהי [math]\displaystyle{ B_1,\dots,B_n }[/math] חלוקה של [math]\displaystyle{ \Omega }[/math] (כלומר המאורעות זרים בזוגות ואיחודם הוא [math]\displaystyle{ \Omega }[/math]), כך שלכל i מתקיים [math]\displaystyle{ P(B_i)>0 }[/math]. אז לכל מאורע A:
[math]\displaystyle{ P(A)=\sum_{i=1}^n P(A\mid B_i)\cdot P(B_i) }[/math]
הוכחה: מכיוון שה-[math]\displaystyle{ B_i }[/math] זרים בזוגות ומכסים את [math]\displaystyle{ \Omega }[/math], גם המאורעות [math]\displaystyle{ A\cap B_1,\dots,A\cap B_n }[/math] זרים בזוגות ואיחודם הוא A. מאדיטיביות ההסתברות, [math]\displaystyle{ P(A)=\sum_i P(A\cap B_i) }[/math], ולפי כלל השרשרת [math]\displaystyle{ P(A\cap B_i)=P(A\mid B_i)P(B_i) }[/math] לכל i, ומכאן הנוסחה. [math]\displaystyle{ \blacksquare }[/math]
הנוסחה שימושית בדיוק כאשר קל לחשב את ההסתברות של A בכל אחד מ"תרחישים" נפרדים [math]\displaystyle{ B_i }[/math] (למשל: מאיזה מקור/מכונה/קופסה הגיע הפריט), אך לא ישירות את [math]\displaystyle{ P(A) }[/math] עצמה.
נוסחת בייס
באותם תנאים על החלוקה [math]\displaystyle{ B_1,\dots,B_n }[/math], ולכל מאורע A עם [math]\displaystyle{ P(A)>0 }[/math]:
[math]\displaystyle{ P(B_k\mid A)=\frac{P(A\mid B_k)\cdot P(B_k)}{\sum_{i=1}^n P(A\mid B_i)\cdot P(B_i)}=\frac{P(A\mid B_k)\cdot P(B_k)}{P(A)} }[/math]
הוכחה: לפי הגדרת ההסתברות המותנית, [math]\displaystyle{ P(B_k\mid A)=\frac{P(B_k\cap A)}{P(A)} }[/math], ולפי כלל השרשרת [math]\displaystyle{ P(B_k\cap A)=P(A\mid B_k)P(B_k) }[/math]; את המכנה מחשבים בעזרת נוסחת ההסתברות השלמה. [math]\displaystyle{ \blacksquare }[/math]
המקרה הפרטי הנפוץ ביותר הוא [math]\displaystyle{ n=2 }[/math], עם חלוקה [math]\displaystyle{ B,\overline{B} }[/math]:
[math]\displaystyle{ P(B\mid A)=\frac{P(A\mid B)P(B)}{P(A\mid B)P(B)+P(A\mid \overline{B})P(\overline{B})} }[/math]
שיטה: פתרון שאלות בעזרת עץ הסתברות
רוב שאלות ההסתברות המותנית בקורס נפתרות באופן שיטתי בעזרת עץ הסתברות:
- לזהות את שלב ה"תנאי" הראשון - המאורעות שמתוכם נעשית החלוקה (למשל: איזו קופסה, איזו מכונה, האם המטבע הוגן וכו'), ולצייר אותם כענפים היוצאים מהשורש. על כל ענף רושמים את ההסתברות הא-פריורית [math]\displaystyle{ P(B_i) }[/math].
- מכל [math]\displaystyle{ B_i }[/math] לצייר ענפי המשך לפי המאורע שמעניין אותנו A ומשלימו [math]\displaystyle{ \overline{A} }[/math], ולרשום על כל ענף כזה את ההסתברות המותנית [math]\displaystyle{ P(A\mid B_i) }[/math] - זו בדרך כלל ההסתברות שקל לקרוא ישירות מנוסח השאלה.
- הסתברות של מסלול (מהשורש ועד עלה) מתקבלת בכלל השרשרת: מכפילים את ההסתברויות לאורך המסלול, [math]\displaystyle{ P(A\cap B_i)=P(B_i)\cdot P(A\mid B_i) }[/math].
- נוסחת ההסתברות השלמה - כדי לקבל את [math]\displaystyle{ P(A) }[/math], מסכמים את ההסתברויות של כל המסלולים (העלים) שבהם מתקיים A.
- נוסחת בייס - אם נשאלים על הכיוון ההפוך, [math]\displaystyle{ P(B_k\mid A) }[/math] ("בהינתן ש-A קרה, מה הסיכוי שהגענו מ-[math]\displaystyle{ B_k }[/math]"), לוקחים את הסתברות המסלול העובר דרך [math]\displaystyle{ B_k }[/math] ומחלקים בסכום הכולל מהשלב הקודם.
טיפ מעשי: נוסחת בייס משמשת בדיוק כשהשאלה "הופכת" את כיוון המידע הטבעי - כלומר כאשר נתון (או קל לחשב) [math]\displaystyle{ P(A\mid B) }[/math] אך נשאלים על [math]\displaystyle{ P(B\mid A) }[/math]. כדי לבדוק אם שני מאורעות בלתי תלויים, מחשבים בנפרד את [math]\displaystyle{ P(A) }[/math], את [math]\displaystyle{ P(B) }[/math] ואת [math]\displaystyle{ P(A\cap B) }[/math] ובודקים אם השוויון שבהגדרה אכן מתקיים - אי אפשר "להניח" אי-תלות בלי הצדקה, אלא אם כן היא ניתנת בשאלה במפורש (למשל "שתי הגרלות בלתי תלויות").
דוגמאות
דוגמה 1 - עץ הסתברות ונוסחת ההסתברות השלמה. בקופסה 1 יש 3 כדורים לבנים ו-2 שחורים, ובקופסה 2 יש כדור לבן אחד ו-3 שחורים. בוחרים קופסה באקראי (כל אחת בהסתברות 1/2) ומוציאים ממנה כדור אחד. מהי ההסתברות שהכדור לבן? פתרון: יהי [math]\displaystyle{ B_i }[/math] = "נבחרה קופסה i" ו-A = "הכדור לבן". [math]\displaystyle{ P(A\mid B_1)=3/5,\ P(A\mid B_2)=1/4 }[/math]. לפי נוסחת ההסתברות השלמה: [math]\displaystyle{ P(A)=\tfrac12\cdot\tfrac35+\tfrac12\cdot\tfrac14=\tfrac{3}{10}+\tfrac{1}{8}=\tfrac{17}{40} }[/math].
דוגמה 2 - נוסחת בייס (היפוך הכיוון). באותה שאלה, נתון שהכדור שהוצא לבן - מה ההסתברות שהוא הוצא דווקא מקופסה 1? פתרון: לפי נוסחת בייס, [math]\displaystyle{ P(B_1\mid A)=\dfrac{P(A\mid B_1)P(B_1)}{P(A)}=\dfrac{\tfrac35\cdot\tfrac12}{\tfrac{17}{40}}=\dfrac{3/10}{17/40}=\dfrac{12}{17} }[/math]. שימו לב שההסתברות "התעדכנה" כלפי מעלה מ-1/2 (הא-פריורית) ל-12/17, כי בקופסה 1 יש יחסית יותר כדורים לבנים.
דוגמה 3 - בדיקה רפואית (הדוגמה הקלאסית לנוסחת בייס). מחלה מסוימת מופיעה אצל 1% מהאוכלוסייה. בדיקה למחלה מזהה חולה נכון ב-99% מהמקרים (רגישות), אך נותנת "חיובי שווא" גם ב-5% מהבריאים. אדם קיבל תוצאה חיובית - מה ההסתברות שהוא באמת חולה? פתרון: יהי D = "חולה", [math]\displaystyle{ + }[/math] = "תוצאה חיובית". נתון [math]\displaystyle{ P(D)=0.01,\ P(+\mid D)=0.99,\ P(+\mid \overline D)=0.05 }[/math]. לפי בייס: [math]\displaystyle{ P(D\mid +)=\dfrac{0.99\cdot0.01}{0.99\cdot0.01+0.05\cdot0.99}\approx\dfrac{0.0099}{0.0594}\approx0.167 }[/math]. למרות שהבדיקה מדויקת למדי, רק כ-17% מהמקבלים תוצאה חיובית באמת חולים - כי המחלה נדירה, ומספר החיוביים-השווא (מתוך אוכלוסיית הבריאים הגדולה) גדול יחסית למספר החולים האמיתיים.
דוגמה 4 - בדיקת אי-תלות. זורקים קובייה הוגנת פעם אחת. יהי A = "התוצאה זוגית" ו-B = "התוצאה גדולה מ-4" (כלומר 5 או 6). האם A,B בלתי תלויים? פתרון: [math]\displaystyle{ P(A)=3/6=1/2,\ P(B)=2/6=1/3 }[/math], ו-[math]\displaystyle{ A\cap B=\{6\} }[/math] ולכן [math]\displaystyle{ P(A\cap B)=1/6 }[/math]. בודקים: [math]\displaystyle{ P(A)\cdot P(B)=\tfrac12\cdot\tfrac13=\tfrac16=P(A\cap B) }[/math] - השוויון מתקיים, ולכן A,B בלתי תלויים (זו תוצאה של חישוב, לא הנחה).
שאלות תרגול
שאלה 1. בכיתה 60% מהתלמידים בנים ו-40% בנות. 30% מהבנים ו-50% מהבנות למדו למבחן. בוחרים תלמיד/ה באקראי ומגלים שהוא/היא למד/ה למבחן. מה ההסתברות שמדובר בבת?
פתרון
יהי G="בת", B="בן", L="למד/ה". נתון [math]\displaystyle{ P(B)=0.6,\ P(G)=0.4,\ P(L\mid B)=0.3,\ P(L\mid G)=0.5 }[/math]. לפי נוסחת ההסתברות השלמה [math]\displaystyle{ P(L)=0.6\cdot0.3+0.4\cdot0.5=0.18+0.2=0.38 }[/math]. לפי בייס, [math]\displaystyle{ P(G\mid L)=\dfrac{0.4\cdot0.5}{0.38}=\dfrac{0.2}{0.38}=\dfrac{10}{19}\approx0.526 }[/math].
שאלה 2. שתי קוביות הוגנות נזרקות. יהי A = "הסכום 7" ו-B = "בקובייה הראשונה יצא 4". בדקו אם A ו-B בלתי תלויים.
פתרון
[math]\displaystyle{ P(B)=1/6 }[/math]. מתוך 36 תוצאות שוות-הסתברות, [math]\displaystyle{ A=\{(1,6),(2,5),(3,4),(4,3),(5,2),(6,1)\} }[/math] כך ש-[math]\displaystyle{ P(A)=6/36=1/6 }[/math]. [math]\displaystyle{ A\cap B=\{(4,3)\} }[/math], כלומר [math]\displaystyle{ P(A\cap B)=1/36 }[/math]. בודקים: [math]\displaystyle{ P(A)P(B)=\tfrac16\cdot\tfrac16=\tfrac1{36}=P(A\cap B) }[/math] - שוויון מתקיים, ולכן A,B בלתי תלויים.
שאלה 3. מוציאים שני קלפים בזה אחר זה בלי החזרה מחפיסת 52 קלפים. מה ההסתברות ששני הקלפים אסים?
פתרון
יהי [math]\displaystyle{ A_1 }[/math]="הקלף הראשון אס", [math]\displaystyle{ A_2 }[/math]="הקלף השני אס". [math]\displaystyle{ P(A_1)=4/52 }[/math]. בהינתן שהראשון אס, נשארו 51 קלפים ו-3 אסים, כך ש-[math]\displaystyle{ P(A_2\mid A_1)=3/51 }[/math]. לפי כלל השרשרת, [math]\displaystyle{ P(A_1\cap A_2)=P(A_1)\cdot P(A_2\mid A_1)=\dfrac{4}{52}\cdot\dfrac{3}{51}=\dfrac{12}{2652}=\dfrac{1}{221} }[/math]. שימו לב שזו דוגמה שבה [math]\displaystyle{ A_1,A_2 }[/math] תלויים - ההוצאה בלי החזרה משנה את ההסתברות.
שאלה 4. שלוש מכונות ייצרו מנורות: מכונה 1 ייצרה 50% מהמנורות עם 2% פגומות, מכונה 2 ייצרה 30% עם 3% פגומות, ומכונה 3 ייצרה 20% עם 5% פגומות. בוחרים מנורה אקראית מכלל התוצרת. (א) מה ההסתברות שהיא פגומה? (ב) בהינתן שהמנורה פגומה, מה ההסתברות שהגיעה ממכונה 3?
פתרון
(א) לפי נוסחת ההסתברות השלמה: [math]\displaystyle{ P(D)=0.5\cdot0.02+0.3\cdot0.03+0.2\cdot0.05=0.01+0.009+0.01=0.029 }[/math]. (ב) לפי בייס: [math]\displaystyle{ P(M_3\mid D)=\dfrac{0.2\cdot0.05}{0.029}=\dfrac{0.01}{0.029}\approx0.345 }[/math].
טעויות נפוצות
- להתבלבל בין [math]\displaystyle{ P(A\mid B) }[/math] ל-[math]\displaystyle{ P(B\mid A) }[/math] - אלו שני מספרים שונים לגמרי (וזו בדיוק "טעות התובע" הקלאסית: לבלבל בין הסתברות הראיה בהינתן חפות, לבין הסתברות החפות בהינתן הראיה). ראו גם את מאמר הפרדוקסים המקושר בדף קומבינטוריקה והסתברות - ארז שיינר לדוגמאות נוספות מהסוג הזה.
- לבלבל בין "זרים" (disjoint) לבין "בלתי תלויים" - אם [math]\displaystyle{ A\cap B=\emptyset }[/math] ו-[math]\displaystyle{ P(A),P(B)>0 }[/math], אז דווקא בגלל הזרות יודעים ש-B לא קרה כאשר A קרה, כלומר [math]\displaystyle{ P(B\mid A)=0\neq P(B) }[/math]: מאורעות זרים עם הסתברות חיובית הם תמיד תלויים, לעולם לא בלתי תלויים.
- לחלק בכיוון הלא נכון - להגדיר בטעות [math]\displaystyle{ P(A\mid B)=P(A\cap B)/P(A) }[/math] במקום לחלק ב-[math]\displaystyle{ P(B) }[/math].
- לשכוח לבדוק שהחלוקה היא באמת חלוקה לפני שימוש בנוסחת ההסתברות השלמה או בבייס - המאורעות [math]\displaystyle{ B_i }[/math] חייבים להיות זרים בזוגות ולכסות את כל המרחב, אחרת הנוסחה פשוט אינה נכונה.
- "להניח" אי-תלות בלי הצדקה - אי-תלות היא מסקנה שיש להוכיח בחישוב (או נתון מפורש בשאלה), לא הנחת עבודה נוחה; שימוש שגוי בה מוביל לחישוב [math]\displaystyle{ P(A\cap B)=P(A)P(B) }[/math] כשלמעשה המאורעות תלויים.
שאלות ממבחנים
(אינדקס השאלות לקורס זה עדיין לא נבנה; הסעיף יתמלא בהמשך)
סרטונים
נכון לכתיבת שורות אלה אין בוויקי סרטון הרצאה ייעודי של ד"ר ארז שיינר בנושא הסתברות מותנית ונוסחת בייס: בדף הריכוז קומבינטוריקה והסתברות - ארז שיינר הסעיף "=הסתברות=" מכיל כרגע רק קישור למאמר פרדוקסים, ללא סרטון. לקריאה משלימה על פרדוקסים ומוקשים קלאסיים בהסתברות מותנית ראו: Bar-Hillel, Maya, and Ruma Falk. "Some teasers concerning conditional probabilities." סעיף זה יעודכן ויתווספו אליו תגיות <videoflash> ברגע שיוקלטו הרצאות בנושא.