רגרסיה לוגיסטית -
מה עושים כאשר למשתנה המוסבר שלנו יש שני ערכים אפשריים?

המודל הלוגיסטי

סוף סוף נסביר מהו המודל הלוגיסטי, ונעמוד על הדימיון והשוני בינו לבין המודל הלינארי הרגיל.

מאת אריאלה כנעני

מה הקשר של ה"סיכויים" לרגרסיה לוגיסטית?

כזכור, המשימה שלנו היא לתאר את הקשר בין הציון במבחן החרדה להסתברות להתקף לב נוסף בתוך שנה בעזרת פונקציה.

ראינו שכשניסינו לתאר את הקשר הזה על ידי פונקציה לינארית, נתקלנו במספר בעיות. הבעייה המרכזית היא שהסתברויות, מעצם הגדרתן, לא יכולות לקבל ערכים קטנים מאפס או גדולים מאחד. אבל פונקציה לינארית אינה חסומה. היא הולכת וקטנה כאשר ערכי ציר ה X קטנים, וגדלה כאשר ערכי X גדלים. או להפך, גדלה כשערכי X קטנים וקטנה כשערכי X גדלים.

אולי אפשר לעשות צעד נוסף, אולי אפשר למצוא טרנספורמציה שאפשר להפעיל על ההסתברויות, שגם תהיה בעלת משמעות וגם לא תהיה חסומה על ידי 0 ו 1.

ראינו שאם הופכים את הסתברות ל"סיכויים", לערכים המתקבלים כבר אין גבול עליון. אם נעשה צעד נוסף וניקח לוגריתם טבעי של ה"סיכויים" נסיר גם את הגבול התחתון ואפשר יהיה לתאר את הערכים שיתקבלו בעזרת פונקציה לינארית. הטרנספורמציה הזו נקראת לוגיט.

המודל הלוגיסטי

המודל הלוגיסטי מתאר בעזרת פונקציה לינארית, את הקשר בין המשתנה המסביר ללוג הסיכויים.

אם יש לנו משתנה מסביר אחד ו i=1..n תצפיות, המודל הלוגיסטי הוא:

כאשר pi הוא ההסתברות שהמשתנה המוסבר יקבל את הערך 1.

כמו ברגרסיה לינארית, ה x-ים יכולים להיות משתנים רציפים או משתני דמי. שלא כמו ברגרסיה הלינארית הרגילה, אין ביטוי שארית רנדומי במישוואה של המודל הלוגיסטי.

אבל רצינו לתאר את ההסתברות לקבל התקף לב נוסף, לא את הסיכויים ולא את הלוג שלהם

כאן קצת אלגברה באה לעזרתנו, נחלץ את pi

אם נחלק את המונה והמכנה בצד ימין במונה, נקבל

כעת ברור שלא משנה מה הערכים שאנחנו מציבים בשביל ה β - ות וה x-ים הערך המתקבל עבור p יהיה תמיד בין 0 ל 1.

איך ניראה הגרף

אם יש לנו משתנה מסביר יחיד x עם α שווה 0 ו β שווה 1, אפשר לצייר את המשוואה ולקבל עקומה בצורה של האות s. ככל ש x גדל או קטן, p הופך לקרוב ל 1 או ל 0 אבל אף פעם לא שווה לא ל 0 ולא ל 1.

בהמשך ניראה איך אומדים את המקדמים כך שהעקומה שמתקבלת תהיה הקרובה ביותר לנתונים.

בבליוגרפיה:

Paul D. Allison (2012) , Logistic Regression Using SAS: Theory and Application , Second Edition , SAS Press

Michael T. Brannick , Multiple Regression; Research Methods , from http://luna.cas.usf.edu/~mbrannic/files/regression/Logistic.html

Prof. Galit Shmueli , Linear regression for a binary outcome: is it Kosher? , from http://www.bzst.com/2012/05/linear-regression-for-binary-outcome-is.html