שינויים

88-165 תשעב סמסטר ב/תקצירי הרצאות

נוספו 11,986 בתים, 15:42, 4 ביולי 2012
/* הרצאה שש-עשרה */
את הפתרון האקסיומטי מצא קולמוגורוב. ראשית, '''סיגמא-אלגברה''' על מרחב <math>\ \Omega</math> מוגדרת כמשפחה של תת-קבוצות, הכוללת את המרחב כולו כאיבר, וסגורה למשלים וללקיחת איחוד בן-מניה. (סגירות לאיחוד סופי אינה מספיקה, וסגירות לאיחוד כלשהו - לאו דווקא בן-מניה - היא דרישה חזקה מדי המקלקלת את כל הדוגמאות המעניינות). '''מרחב הסתברות''' הוא שלשה סדורה, שבה הרכיב הראשון הוא המרחב, השני הוא סיגמא-אלגברה (אבריה נקראים "מאורעות"), והשלישי הוא פונקציית הסתברות, שהיא פונקציה המתאימה מספר חיובי לכל מאורע, ומקיימת שני תנאים: ההסתברות של המרחב כולו היא 1, ואם <math>\ A_1,\dots</math> סדרת מאורעות זרים, אז <math>\ P(\cup A_n) = \sum P(A_n)</math>. החסרון בגישה זו הוא שכאשר הסיגמא-אלגברה אינה כוללת את כל תת-הקבוצות (וכך יהיה בדרך כלל), יהיו קבוצות שלא ניתן לדבר על ההסתברות שלהן. מתברר שהשד הזה אינו נורא כל-כך.
המרחב החשוב ביותר מבחינתנו הוא הישר הממשי, ולכן אנו ניגשים להגדיר סיגמא-אלגברה מסויימת עליו, הנקראת "הסיגמא-אלגברה של בורל". זוהי הסיגמא-אלגברה הקטנה ביותר הכוללת את כל הקרניים <math>\ (-\infty,a]</math>. מתברר שהיא כוללת את הקרניים מכל הסוגים, את הקטעים הפתוחים מכל הסוגים, נקודות, סדרות של נקודות, קבוצות כמו <math>\ \cdot cdots (-3,-2) \cup (-1,0) \cup (1,2) \cup \cdotcdots</math>, ועוד ועוד. עם הסיגמא-אלגברה הזו, נוכל לחשב את ההסתברות של מאורעות כמו <math>\ X\leq a</math> (ולכן גם מאורעות כמו <math>\ a<X<b</math> וכדומה) לכל משתנה מקרי X. === הרצאה שתים-עשרה === לכל משתנה מקרי אפשר להגדיר את פונקציית ההצטברות <math>\ F_X(t) = P(X\leq t)</math>. זוהי פונקציה מונוטונית עולה (במובן החלש), שואפת לאפס במינוס אינסוף ולאחד באינסוף, ורציפה מימין. גם בכיוון ההפוך, כל פונקציה כזו מאפשרת להגדיר משתנה מקרי על-פי ההסתברויות שלו ליפול בקטעים או בקרניים. באופן מעשי, פונקציית ההצטברות נותנת תאור מלא של המשתנה. קבוצת נקודות אי-הרציפות של פונקציית הצטברות היא (לכל היותר) בת מניה. פונקציית ההצטברות של משתנה היא רציפה אם ורק אם ההסתברות למאורעות הנקודתיים X=a היא תמיד אפס. קבוצת נקודות אי-הגזירות היא תמיד בעלת "מידה אפס", אבל היא עלולה שלא להיות בת-מניה. כאשר הפונקציה גזירה, הנגזרת שלה היא '''פונקציית צפיפות''': פונקציה חיובית שהאינטגרל הכולל שלה הוא <math>\ \int_{-\infty}^{\infty} f_X(t) dt = 1</math>. בכיוון ההפוך, פונקציית צפיפות מגדירה פונקציית הצטברות לפי הנוסחה <math>\ F_X(x) = \int_{-\infty}^x f(t)dt</math>.  פונקציית הצפיפות מאפשרת לחשב בקלות את ה'''תוחלת''' של משתנה מקרי רציף: <math>\ E(X) = \int_{-\infty}^{\infty} f_X(t)tdt</math>. באופן כללי יותר, לכל פונקציה (מדידה) g התוחלת של המשתנה המקרי <math>\ g(X)</math> היא <math>\ E(g(X)) = \int f_X(t)g(t)dt</math>. השונות מוגדרת כרגיל, לפי <math>\ V(X) = E(X^2)- E(X)^2 = E((X-E(X))^2)</math>.  === הרצאה שלוש-עשרה === דוגמאות להתפלגויות רציפות חשובות: (1) ההתפלגות האחידה, שבה הצפיפות של כל הנקודות בקטע (a,b) היא <math>\ \frac{1}{b-a}</math>.  (2) ההתפלגות המעריכית, עבור פרמטר חיובי <math> \lambda</math>, שבה פונקציית הצפיפות היא <math>\ f_X(t) = \frac{1}{\lambda}e^{-t/\lambda}</math>. זוהי ההתפלגות הרציפה היחידה שאין לה זכרון: למשתנה מעריכי X יש אותה התפלגות כמו למשתנה X-a בהנתן X>a. '''תרגיל'''. המינימום של כמה משתנים מעריכיים בלתי תלויים מתפלג מעריכית. === הרצאה ארבע-עשרה === במקרה הבדיד, את ההתפלגות של משתנה יחיד מתארים בעזרת רשימת הסתברויות, ואת ההתפלגות המשותפת של זוג משתנים בעזרת טבלה דו-ממדית. בדומה לזה, במקרה הרציף מתארים את ההתפלגות של משתנה יחיד באמצעות פונקציית צפיפות (חד-ממדית), ואת ההתפלגות המשותפת של זוג משתנים X,Y באמצעות פונקציית צפיפות דו-ממדית שתכונתה היא <math>\ \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f_{X,Y}(x,y) dydx=1</math>. התפלגות זוג המשתנים מוגדרת לפי הנוסחה <math>\ P(a<X<b,\,c<Y<d) = \int_{a}^{b}\int_{c}^{d}f_{X,Y}(x,y) dydx</math>. מן ההתפלגות המשותפת אפשר לשחזר את ההתפלגות של כל משתנה בנפרד: <math>\ f_X(x) = \int_{-\infty}^{\infty}f_{X,Y}(x,y) dy</math>, ובדומה לזה עבור Y. התפלגויות אלו נקראות '''צפיפות שולית'''. אומרים שהמשתנים בלתי-תלויים אם הצפיפות המשותפת שלהם היא מכפלת שתי הצפיפויות השוליות. אם נתונה הצפיפות של משתנה X, אפשר לעבור ממנה לצפיפות של <math>\ Y = g(X)</math> לפי החוק <math>\ f_Y(y) = f_X(x)|g'(x)|^{-1}</math>, כאשר <math>\ y = g(x)</math>. בדומה לזה אם נתונה הצפיפות של זוג משתנים X,Y, אפשר לעבור ממנה לצפיפות המשותפת של הזוג <math>\ (U,V) = g(X,Y)</math> על-ידי חילוק ביעקוביאן של g, שהוא הדטרמיננטה של מטריצת הנגזרות החלקיות של U,V לפי X ולפי Y. === הרצאה חמש-עשרה === בעזרת הנוסחה לטרנספורמציה של זוג משתנים ראינו ש-<math>\ \int_{-\infty}{\infty}\frac{1}{\sqrt{2\pi}} e^{-t^2/2}dt = 1</math>, וזה מאפשר להגדיר את המשתנה שצפיפותו <math>\ f_Z(z) = \frac{1}{\sqrt{2\pi}}e^{-z^2/2}</math>, ולקרוא לו '''משתנה נורמלי סטנדרטי''', <math>\ Z \sim N(0,1)</math>. להתפלגות של <math>\ X = \mu+\sigma Z</math> קוראים התפלגות נורמלית, ומסמנים <math>\ X \sim N(\mu,\sigma^2)</math> למשפחת ההתפלגויות הנורמליות תכונות מיוחדות רבות. למשל, כל צירוף לינארי של משתנים נורמליים בלתי תלויים הוא נורמלי. הגדרנו בעזרת ההתפלגות הנורמלית כמה התפלגויות חשובות נוספות, שנפגוש שוב בפרק הסטטיסטי: התפלגות חי-בריבוע, התפלגות t, התפלגות F. === הרצאה שש-עשרה === הוכחנו שני חסמים אוניברסליים על התפלגויות: '''חסם מרקוב''' -- לכל משתנה מקרי חיובי X מתקיים <math>\ P(X \geq a \mu) \leq \frac{1}{a}</math> לכל a, כאשר <math>\ \mu = E(X)</math>. '''חסם צ'ביצ'ב''' -- לכל משתנה מקרי X מתקיים <math>\ P(|X-\mu|\geq k \sigma) \leq \frac{1}{k^2}</math>, כאשר <math>\ \mu = E(X)</math> ו- <math>\ \sigma^2 = V(X)</math>. ה'''מומנטים''' של משתנה מקרי X הם התוחלות <math>\ E(X^n)</math>. אפשר לאסוף את כל המומנטים כמקדמים של טור חזקות, ולקבל את הפונקציה יוצרת המומנטים של X, <math>\ M_X(t) = E(e^{tX})</math>. לדוגמא, חישבנו שהפונקציה יוצרת המומנטים של ההתפלגות המעריכית היא <math>\ M_X(t) = \frac{1}{1-\lambda t}</math>, וראינו שאפשר להסיק מכאן את כל המומנטים, <math>\ E(X^n) = n!\lambda^n</math>.  להתפלגות הנורמלית הסטנדרטית יש פונקציה יוצרת מומנטים <math>\ M_Z(t) = e^{t^2/2}</math>. גם כאן אפשר לקבל את המומנטים בקלות: <math>\ E(Z^4) = 3, E(Z^6) = 15, E(Z^8) = 105</math>. === הרצאה שבע-עשרה === הגדרנו כמה אופנים שבהם יכולה סדרה של משתנים מקריים להתכנס למשתנה מקרי. בפרט אנחנו מעוניינים בהתכנסות של סדרת הממוצעים אל התוחלת (שהיא קבוע, כמובן). '''החוק החלש של המספרים הגדולים''' קובע שהממוצעים מתכנסים בהסתברות אל התוחלת (כלומר, ההסתברות לכך שהממוצע יהיה קרוב כדי אפסילון לתוחלת, שואפת ל-1). הוכחנו חוק זה בעזרת אי-שוויון צ'ביצ'ב. '''החוק החזק של המספרים הגדולים''' (שאותו לא הוכחנו) קובע שבהסתברות 1, סדרת הממוצעים מתכנסת אל התוחלת. '''משפט הגבול המרכזי''' עוסק בהפרש בין הממוצע לתוחלת, כשהוא מנורמל כך שהשונות שלו תהיה 1. המשפט מראה שההפרשים "מתכנסים בהתפלגות" אל ההתפלגות הנורמלית, כלומר, פונקציות ההתפלגות מתכנסות נקודתית אל הפונקציה הנורמלית. את המשפט הוכחנו (עד כדי למה ב"אנליזת פורייה", שלא הוכחנו) על-ידי חישוב הגבול של פונקציות יוצרות מומנטים. === הרצאה שמונה-עשרה === עברנו לסטטיסטיקה: הסקת ערכים ומסקנות על האוכלוסיה מתוך מדגם. השלב הראשון הוא '''אמידה''' של פמרטרים (כמו התוחלת, השונות, או כל פרמטר אחר המייחד התפלגות) לפי ערכים של מדגם. הגדרנו מהו '''אומד חסר הטיה''', והצגנו את שיטת אומד הנראות המקסימלית. ראינו שאומד הנראות המקסימלית אינו בהכרח חסר הטיה. הדגמנו את השיטות על ססטיסטיי הסדר של מדגם מתוך התפלגות אחידה. === הרצאה תשע-עשרה === דיברנו על '''רווחי סמך''', שהם רווחים שקצותיהם תלויים במדגם, ועבורם הסיכוי לכלול את ערך הפרמטר הוא מספר קבוע מראש (למשל 95% - רמת המובהקות של רווח הסמך).  בפרט בנינו נוסחאות לרווחי סמך עבור התוחלת בהתפלגות נורמלית, ראשית כאשר השונות ידועה, ושנית כאשר ההתפלגות אינה ידועה. בדומה לזה בנינו רווחי סמך לשונות עצמה, כאשר אומדים אותה משונות המדגם. === הרצאה עשרים === דנו ב'''בדיקת השערות''': בדיקה של השערות (בעיקר נקודתיות) על פרמטרים של האוכלוסיה. הצגנו את השערת האפס וההשערה האלטרנטיבית, ודיברנו על שני סוגי השגיאות האפשריים.  תארנו בהרחבה את השלבים העיקריים בתהליך: הרקע התאורטי, הרקע הסטטיסטי, ביצוע הניסוי והפרשנות.  בסופו של דבר, בדיקת השערות מתמצה בבדיקה האם הערך שנטען לפרמטר נופל בתוך רווח סמך מתאים. === הרצאה עשרים ואחת === ראינו כיצד לבצע בדיקת השערות (חד-צדדית ודו-צדדית) על התוחלת בהתפלגות נורמלית (עם שונות ידועה או לא ידועה); על השונות; על הפרש תוחלות (תחת הנחות שונות על שתי השונויות); ועל פרופורציה.  === הרצאה עשרים ושתיים === הגדרנו מהו תהליך מרקוב וראינו שמטריצת המעבר מאפשרת, על-ידי העלאה בחזקה, לחשב את הסתברויות המעבר לכל מספר של צעדים. הראינו שלמטריצה זו תמיד יש וקטור עצמי השייך לערך העצמי 1, ווקטור זה הוא ההתפלגות הסטציונרית המתארת את התנהגות התהליך "בטווח הארוך". === הרצאה עשרים ושלוש === ראינו שאפשר להציג תהליך מרקוב באופן גרפי, ונעזרנו בכך כדי לחשב את הסתברויות ההגעה למצבים סופגים ואת תוחלת הזמן עד להתרחשות זו. ראינו שבעזרת ההתפלגות הסטציונרית אפשר להפוך את ציר הזמן, ולחשב את ההסתברות שהיינו במקום מסויים אם אנחנו נמצאים כעת במקום אחר. === הרצאה עשרים וארבע === פתרנו שאלות נוספות בעזרת תהליכי מרקוב; למשל, מה הסיכוי שתהליך מסויים יימשך מספר זוגי של צעדים. === הרצאה עשרים וחמש === תהליך מרקוב הוא מטבעו חסר זכרון. הראינו שאפשר לבצע "הרחבת זכרון" על ידי הגדלת מספר המצבים, באופן שיאפשר מעקב מדוייק יותר אחרי התנהגות התהליך.