سؤالات متداول: چگونه می توانم نسبت های شانس را در رگرسیون لجستیک تفسیر کنم؟

هنگامی که یک متغیر نتیجه باینری با استفاده از رگرسیون لجستیک مدل می شود ، فرض بر این است که تبدیل ورود به سیستم متغیر نتیجه یک رابطه خطی با متغیرهای پیش بینی کننده دارد. این باعث می شود تفسیر ضرایب رگرسیون تا حدودی مشکل باشد. در این صفحه ، ما از مفهوم نسبت شانس عبور خواهیم کرد و سعی خواهیم کرد نتایج رگرسیون لجستیک را با استفاده از مفهوم نسبت شانس در چند مثال تفسیر کنیم.

از احتمال تا شانس تا ورود به شانس

همه چیز با مفهوم احتمال شروع می شود. بیایید بگوییم که احتمال موفقیت برخی از رویدادها . 8 است. سپس احتمال شکست 1 - . 8 = . 2 است. شانس موفقیت به عنوان نسبت احتمال موفقیت نسبت به احتمال شکست تعریف می شود. در مثال ما ، شانس موفقیت 8/. 2 = 4 است. این بدان معنی است که شانس موفقیت 4 تا 1 است. اگر احتمال موفقیت 5 باشد ، یعنی 50-50 درصد شانس ، پسشانس موفقیت 1 تا 1 است.

تحول از احتمال به شانس یک تحول یکنواخت است ، به این معنی که با افزایش احتمال یا برعکس ، شانس افزایش می یابد. احتمال از 0 و 1 متغیر است. اختلافات از 0 و بی نهایت مثبت است. در زیر جدول تحول از احتمال به شانس وجود دارد و ما همچنین برای دامنه P کمتر از یا مساوی با 0. 9 ترسیم کرده ایم.

تحول از شانس به ورود به سیستم ، تحول ورود به سیستم است (به طور کلی ، وقتی از log استفاده می کنیم تقریباً همیشه به معنای لگاریتم طبیعی است). باز هم این یک تحول یکنواخت است. یعنی هرچه شانس بیشتر باشد ، ورود به سیستم شانس بیشتر و برعکس. جدول زیر رابطه بین احتمال ، شانس و ورود به سیستم را نشان می دهد. ما همچنین طرح شانس ورود به سیستم را در برابر شانس نشان داده ایم.

چرا ما همه مشکل را برای انجام تحول از احتمال به وجود می آوریم؟یکی از دلایل این است که معمولاً مدل سازی متغیری که محدوده محدود مانند احتمال دارد ، دشوار است. این تحول تلاشی برای حل مشکل محدوده محدود است. این احتمال وجود دارد که بین 0 تا 1 از بین برود تا شانس اعم از بی نهایت منفی گرفته تا بی نهایت مثبت باشد. دلیل دیگر این است که در بین همه گزینه های بی نهایت بسیاری از تحولات ، ورود به سیستم یکی از ساده ترین درک و تفسیر است. این تحول را تحول logit نامیده می شود. انتخاب متداول دیگر تحول پروبیت است که در اینجا پوشش داده نمی شود.

یک مدل رگرسیون لجستیک به ما اجازه می دهد تا بین یک متغیر نتیجه باینری و گروهی از متغیرهای پیش بینی کننده رابطه برقرار کنیم. احتمال تغییر شکل لاجیت را به عنوان یک رابطه خطی با متغیرهای پیش بینی مدل می کند. به طور رسمی تر، اجازه دهید $Y$ متغیر نتیجه باینری باشد که نشان دهنده شکست/موفقیت با $$ است و $p$ احتمال $y$ برای $1$، $p = P(Y=1)$ باشد. اجازه دهید $x_1، cdots، x_k$ مجموعه ای از متغیرهای پیش بین باشند. سپس رگرسیون لجستیک $Y$ روی $x_1, cdots, x_k$ مقادیر پارامتر را برای $x08eta_0, x08eta_1, cdots, x08eta_k$ از طریق روش حداکثر درستنمایی معادله زیر تخمین می زند.

$$logit(p) = log(frac

) = x08eta_0 + x08eta_1 x_1 + cdots + x08eta_k x_k.$$

ضریب معکوس هر دو طرف را بسنجید و بگیرید،

کسری در سمت چپ معادله را جزئی بردارید و به هر دو طرف یک عدد اضافه کنید.

1 را به مخرج مشترک تغییر دهید،

در نهایت، دوباره معکوس ضرب را بگیرید تا فرمول احتمال $P(Y=1)$ را بدست آورید.

ما اکنون برای چند نمونه از رگرسیون لجستیک آماده هستیم. ما از یک مجموعه داده نمونه، https://stats. idre. ucla. edu/wp-content/uploads/2016/02/sample. csv، به منظور تصویرسازی استفاده خواهیم کرد. مجموعه داده دارای 200 مشاهدات است و متغیر نتیجه استفاده شده بسیار خوب است، که نشان می دهد دانش آموز در کلاس ممتاز است یا خیر. بنابراین p = prob ما (hon = 1). ما عمداً تمام آزمون های معناداری را نادیده می گیریم و بر معنای ضرایب رگرسیون تمرکز می کنیم. خروجی این صفحه با استفاده از Stata با کمی ویرایش ایجاد شده است.

رگرسیون لجستیک بدون متغیرهای پیش بینی کننده

بیایید با ساده ترین رگرسیون لجستیک شروع کنیم، مدلی بدون هیچ متغیر پیش بینی کننده. در یک معادله، ما در حال مدل سازی هستیم

این به معنای log(p/(1-p)) = -1. 12546 است. p در اینجا چیست؟معلوم می شود که p احتمال کلی بودن در کلاس افتخارات است (hon = 1). بیایید به جدول فرکانس برای hon نگاهی بیندازیم.

بنابراین p = 49/200 = 0. 245. شانس 0. 245/(1-. 245) = 0. 3245 و لاگ شانس (logit) log(. 3245) = -1. 12546 است. به عبارت دیگر، رهگیری از مدل بدون متغیرهای پیش بینی کننده، شانس تخمینی قرار گرفتن در کلاس افتخاری برای کل جمعیت مورد نظر است. همچنین می توانیم گزارش شانس را به احتمال برگردانیم: p = exp(-1. 12546)/(1+exp(-1. 12546)) = 0. 245، اگر بخواهیم.

رگرسیون لجستیک با یک متغیر پیش بین دوگانه

اکنون با اضافه کردن یک متغیر پیش بینی باینری ، زن ، به مدل ، یک قدم جلوتر برویم. با نوشتن آن در یک معادله ، مدل رابطه خطی زیر را توصیف می کند.

قبل از تلاش برای تفسیر دو پارامتر تخمین زده شده در بالا ، بیایید نگاهی به متقاطع متغیر HON با زن بیندازیم.

در مجموعه داده های ما ، احتمال وجود یک مرد در کلاس افتخارات چیست و شانس وجود یک زن در کلاس افتخارات چیست؟ما می توانیم به صورت دستی این شانس ها را از جدول محاسبه کنیم: برای مردان ، شانس حضور در کلاس افتخارات (91/17)/(74/91) = 17/74 = . 23 است. و برای زنان ، شانس حضور در کلاس افتخارات (32/109)/(77/109) = 32/77 = . 42 است. نسبت شانس زن به شانس برای مردان (32/77)/(17/74) = (32*74)/(77*17) = 1. 809 است. بنابراین شانس مردان 17 تا 74 است ، شانس زنان 32 تا 77 است و شانس زنان در حدود 81 ٪ بیشتر از شانس مردان است.

اکنون می توانیم شانس مردان و زنان و خروجی را از رگرسیون لجستیک مرتبط کنیم. رهگیر ی-1. 471 شانس ورود به سیستم برای مردان است زیرا مرد گروه مرجع است (زن = 0). با استفاده از شانس هایی که در بالا برای مردان محاسبه کردیم ، می توانیم این را تأیید کنیم: log (. 23) = -1. 47. ضریب برای زنان نسبت به شانس بین گروه زن و گروه مرد است: log (1. 809) = . 593. بنابراین ما می توانیم با استفاده از ضریب زنان ، نسبت شانس را بدست آوریم. بیشتر بسته های آماری هم ضرایب رگرسیون خام را نشان می دهد و هم ضرایب بازنمایی برای مدلهای رگرسیون لجستیک. جدول زیر توسط Stata ایجاد شده است.

رگرسیون لجستیک با یک متغیر پیش بینی کننده مداوم واحد

مثال ساده دیگر ، مدلی با یک متغیر پیش بینی کننده مداوم مانند مدل زیر است. این رابطه بین نمرات ریاضی دانش آموزان و شانس ورود به سیستم در کلاس افتخارات را توصیف می کند.

در این حالت ، ضریب تخمین زده شده برای رهگیری ، شانس ورود به سیستم یک دانش آموز با نمره ریاضی صفر در کلاس افتخارات است. به عبارت دیگر ، شانس حضور در کلاس افتخارات وقتی نمره ریاضی صفر است (-9. 793942) = . 00005579. این شانس ها بسیار کم است ، اما اگر به توزیع متغیر ریاضی نگاه کنیم ، خواهیم دید که هیچ کس در نمونه نمره ریاضی پایین تر از 30 ندارد. در واقع ، تمام نمرات آزمون در مجموعه داده ها در حدود میانگین استاندارد شده است50 و انحراف استاندارد از 10. بنابراین رهگیری در این مدل با شانس ورود به سیستم در کلاس افتخارات مطابقت دارد وقتی ریاضی در مقدار فرضی صفر قرار دارد.

چگونه ضریب ریاضی را تفسیر کنیم؟برآوردهای ضریب و رهگیری معادله زیر را به ما می دهد:

log (p/(1-p)) = logit (p) =-9. 793942 + . 1563404* ریاضی

بیایید ریاضی را با مقداری برطرف کنیم. ما از 54 استفاده خواهیم کرد. سپس ورود مشروط بودن در کلاس افتخارات وقتی نمره ریاضی در 54 برگزار می شود

log (p/(1-p)) (ریاضی = 54) =-9. 793942 + . 1563404 * 54.

ما می توانیم تأثیر افزایش یک واحدی در نمره ریاضی را بررسی کنیم. هنگامی که نمره ریاضی در 55 برگزار می شود ، ورود مشروط بودن در کلاس افتخارات است

با توجه به تفاوت دو معادله ، موارد زیر را داریم:

اکنون می توانیم بگوییم که ضریب ریاضی تفاوت در شانس ورود به سیستم است. به عبارت دیگر ، برای افزایش یک واحدی در نمره ریاضی ، تغییر مورد انتظار در شانس ورود به سیستم . 1563404 است.

آیا می توانیم این تغییر را در شانس ورود به سیستم به تغییر شانس ترجمه کنیم؟در واقع ، ما می توانیم. به یاد بیاورید که لگاریتم ضرب و تقسیم را به افزودن و تفریق تبدیل می کند. معکوس آن ، نمایندگی علاوه بر این و تفریق را به ضرب و تقسیم تبدیل می کند. اگر هر دو طرف آخرین معادله خود را به نمایش بگذاریم ، موارد زیر را داریم:

exp [log (p/(1-p)) (ریاضی = 55)-ورود به سیستم (p/(1-p)) (ریاضی = 54)] = exp (log (p/(1-p)) (ریاضی =55))/exp (log (p/(1-p)) (ریاضی = 54)) = شانس (ریاضی = 55)/شانس (ریاضی = 54) = exp (. 1563404) = 1. 1692241.

بنابراین می توانیم برای افزایش یک واحدی در نمره ریاضی بگوییم ، انتظار داریم حدود 17 ٪ افزایش در شانس حضور در کلاس افتخارات را مشاهده کنیم. این 17 ٪ افزایش به ارزش ریاضی در آن بستگی ندارد.

رگرسیون لجستیک با متغیرهای پیش بینی کننده چندگانه و بدون اصطلاح تعامل

به طور کلی ، ما می توانیم چندین متغیر پیش بینی کننده را در یک مدل رگرسیون لجستیک داشته باشیم.

با استفاده از چنین مدلی در مجموعه داده های مثال ما ، هر ضریب تخمین زده شده ، تغییر انتظار می رود شانس ورود به سیستم در یک کلاس افتخارات برای افزایش واحد در متغیر پیش بینی کننده مربوطه که متغیرهای پیش بینی کننده دیگر را با ارزش مشخص ثابت می کند. هر ضریب نمایانگر نسبت دو شانس است ، یا تغییر شانس در مقیاس چند برابر برای افزایش واحد در متغیر پیش بینی کننده مربوطه که متغیرهای دیگر را با ارزش خاصی نگه می دارد. به عنوان مثال.

این مدل متناسب می گوید ، با نگه داشتن ریاضیات و خواندن با ارزش ثابت ، شانس ورود به کلاس افتخارات برای زنان (زن = 1) به دلیل شانس ورود به کلاس افتخارات برای مردان (زن = 0) exp (. 979948) = 2. 66. از نظر درصد تغییر ، می توان گفت که شانس زنان 166 ٪ بیشتر از شانس مردان است. ضریب ریاضی می گوید ، با نگه داشتن زن و خواندن با ارزش ثابت ، شاهد افزایش 13 درصدی شانس ورود به کلاس افتخارات برای افزایش یک واحدی در نمره ریاضی از زمان EXP (. 1229589) = 1. 13 هستیم.

رگرسیون لجستیک با یک اصطلاح تعامل از دو متغیر پیش بینی کننده

در تمام مثالهای قبلی ، ما گفته ایم که ضریب رگرسیون یک متغیر با تغییر در شانس ورود به سیستم مطابقت دارد و فرم نمایانگر آن با نسبت شانس مطابقت دارد. این تنها زمانی صادق است که مدل ما هیچ اصطلاح تعامل ندارد. هنگامی که یک مدل دارای اصطلاح (های) تعامل از دو متغیر پیش بینی کننده است ، سعی می کند توصیف کند که چگونه تأثیر یک متغیر پیش بینی کننده به سطح/مقدار متغیر پیش بینی کننده دیگر بستگی دارد. تفسیر ضرایب رگرسیون بیشتر درگیر می شود.

بیایید یک مثال ساده بگیریم.

در حضور اصطلاح تعامل زن توسط ریاضیات ، دیگر نمی توانیم در مورد تأثیر زن صحبت کنیم و تمام متغیرهای دیگر را با ارزش مشخص نگه داریم ، زیرا این معنی ندارد که ریاضی و ماده را با ارزش خاصی برطرف کنید و هنوز هم اجازه تغییر زن را از آن می کنید0 تا 1!

در این مثال ساده که در آن تعامل یک متغیر باینری و یک متغیر مداوم را بررسی می کنیم ، می توانیم فکر کنیم که در واقع دو معادله داریم: یکی برای مردان و دیگری برای زنان. برای مردان (زن = 0) ، معادله به سادگی است

برای زنان ، معادله است

اکنون می توانیم خروجی رگرسیون لجستیک را به این دو معادله نقشه برداری کنیم. بنابراین می توانیم بگوییم که ضریب ریاضی تأثیر ریاضی است وقتی زن = 0. صریح تر ، می توان گفت که برای دانش آموزان پسر ، افزایش یک واحدی در نمره ریاضی باعث تغییر در شانس ورود به سیستم 0. 13 می شود. از طرف دیگر ، برای دانش آموزان دختر ، افزایش یک واحدی در نمره ریاضی باعث تغییر در شانس ورود به سیستم (0. 13 + 0. 067) = 0. 197 می شود. از نظر نسبت شانس ، می توان گفت که برای دانش آموزان پسر ، نسبت شانس Exp (13. 13) = 1. 14 برای افزایش یک واحدی در نمره ریاضی است و نسبت شانس برای دانش آموزان دختر EXP (197) = 1. 22 برایافزایش یک واحدی در نمره ریاضی. نسبت این دو نسبت شانس (زن نسبت به مرد) ضریب ضریب برای مدت تعامل زن توسط ریاضی است: 1. 22/1. 14 = Exp (0. 067) = 1. 07.