تخمین تراکم

KDE مخفف برآورد چگالی هسته است و برای تجسم چگالی احتمال یک متغیر مداوم استفاده می شود و برای تجزیه و تحلیل غیر پارامتری استفاده می شود. لطفاً توجه داشته باشید که توطئه های KDE می توانند در تعیین شکل توزیع مفید باشند. هنگامی که KDE روی یک پارامتر واحد اعمال می شود ، چگالی مشاهده در یک محور و ارتفاع در محور دیگر (تجسم توزیع یک مجموعه داده ، n. d.) ترسیم می شود. روش "SNS. KDEPLOT ()" می تواند برای ترسیم KDE استفاده شود. در زیر نمونه ای از ترسیم اشباع آب در مقابل یورو (طرح چگالی دو متغیره) است. رنگ "CMAP =‘ Reds ‘" نقشه را با استفاده از رنگ قرمز نقشه می کند و "سایه = درست" سایه ای را در منطقه زیر منحنی KDE فراهم می کند.

sns. kdeplot (df_shale ['اشباع آب'] ، df_shale ['ere'] ، cmap = 'reds' ، سایه = true ، shade_lowest = false)

خروجی پایتون = شکل 2. 28

بیشتر بخوانید در پایین حرکت کنید URL: https://www.scienceirect.com/science/article/pii/b978012821929400007x

تخمین تراکم توزیع مدت زمان گشت و گذار برای سیگنال های باند پهن تصادفی تصادفی

بخش 3. 1 برآورد چگالی توزیع را برای فواصل عبور صفر در یک فرآیند تصادفی متفاوت ارائه می دهد. برآورد چگالی توزیع بالا و پایین برای مدت زمان فواصل منفرد و مدت زمان کل دو فواصل متوالی یافت می شود. برآورد فوقانی همزمان با تقریب شناخته شده به دست آمده توسط S. برنج برای فواصل منفرد است ، در حالی که برآورد پایین تر به طور مستقیم با مشتق دوم عملکرد همبستگی برای فرآیند ایده آل محدود متناسب است. شبیه سازی های رایانه ای فرآیندهای گاوسی با طیفهای گاوسی و مستطیل ثابت کرد که برآوردهای بالایی به دست آمده بسیار دقیق است. برخلاف تصور عامه ، کاربرد فرمول برنج محدود به فواصل نسبتاً کوتاه نیست. این فرمول همچنین در مورد گشت و گذارهای طولانی که از نظر اندازه با دو (در مورد طیف گاوسی) یا سه (در مورد مستطیل شکل) قابل مقایسه است ، نسبتاً دقیق است.

بخش 3. 2 بر اساس این فرض که نقاط عبور سطح از نظر آماری مستقل هستند ، دو فرمول مکرر که دامنه کاربرد تقریب برنج را به مناطقی از دم های نمایی گسترش می دهد ، بدست می آید. فرمول ها با رابطه مکرر مکفادن مقایسه می شوند.

در بخش 3. 3 ، پارامترهای سطح عبور برای برخی از فرآیندهای غیر گاوسی به دست آمده با تبدیل از موارد گاوسی محاسبه می شود. تبدیل با کمک یک عنصر غیرخطی غیرقانونی انجام می شود. یک فرمول به دست می آید که عملکرد همبستگی یک فرآیند غیر گائوسسی را به فرآیند معادل گاوسی با همان توزیع فواصل عبور سطح مرتبط می کند.

بیشتر بخوانید در پایین حرکت کنید URL: https://www.scienceirect.com/science/article/pii/b9780124095014000036

تقسیم حجمی

Alberto F. Goldszal ، Dzung L. Pham ، در کتابچه راهنمای تصویربرداری پزشکی ، 2000

طبقه بندی کننده پنجره 3. 5 پارزن

طبقه بندی کننده پنجره Parzen [20 ، 27] شبیه به طبقه بندی کننده K NN است زیرا غیرپارامتری است. این یک برآورد چگالی احتمال غیر پارامتری از فضای ویژگی برای هر کلاس را بدست می آورد و به کلاس هر وکسل اجازه می دهد با توجه به احتمالات خلفی حاصل از آن تعیین شود. در ابتدایی ترین شکل خود ، یک وکسل به کلاس اختصاص داده می شود که بیشترین نمونه های آموزشی را در یک پنجره از پیش تعیین شده از فضای ویژگی با محوریت وکسل طبقه بندی نشده دارد. از آنجا که روش پنجره پارزن (و همچنین خوشه بندی گاوسی و روشهای K NN) وکسل ها را به طور مستقل طبقه بندی می کند ، ممکن است تقسیم بندی های پر سر و صدا داشته باشد. بنابراین ، هموار سازی داده های طبقه بندی شده در اصل ممکن است انجام شود (به عنوان مثال ، با روش های آرامش تکراری) باعث بهبود ظاهر تصویر تقسیم شده می شود.

بیشتر بخوانید در پایین حرکت کنید URL: https://www.scienceirect.com/science/article/pii/b9780120777907500163

گرافیک در علوم فیزیکی

تخمین چگالی یک متغیره II. A

هنگامی که ما به تراکم داده علاقه مند هستیم ، محاسبه و نشان دادن چگالی تا حد امکان مناسب است. شکل 4 ساخت یک برآورد چگالی هسته را بر اساس نمونه ای از پنج مقدار یک متغیره نشان می دهد. مکان مثلث های سفید نسبت به x-axis نشانگر بزرگی مقادیر مشاهده شده است. ایده اصلی این است که هر مقدار مشاهده شده یک جانشین برای ارزش های یک محله است. سپس ما یک احتمال نسبی برای یک محله در مورد ارزش ایجاد می کنیم. شکل 4 پنج احتمال (یا هسته) را به عنوان منحنی های زنگ شکل نشان می دهد ، یکی در هر یک از پانل های بالا. برای هر مکانی که می خواهیم چگالی داده ها را تخمین بزنیم (مکان X خطوط سفید در شکل 4) ما به سادگی مقادیر متوسط از پنج احتمال ساخته شده را داریم. خطوط سفید نشانگر مکان تخمین های چگالی است. در پانل پایین هر خط سفید متوسط ارتفاع تمام خطوط سفید به طور مستقیم بالای آن است.(هنگامی که پانل ها خطوط سفید به طور مستقیم بالاتر از آن ندارند ، آنها صفر را به طور متوسط کمک می کنند.) ساخت و ساز ساده است.

اسکات (1992) تئوری برآورد چگالی را ارائه می دهد. برای برآورد چگالی معتبر ، هسته باید در 1 ادغام شود. قسمت سخت در تصمیم گیری در مورد چگونگی ساخت هسته است. اسکات روشهای تصمیم گیری را توصیف می کند.

بیشتر بخوانید در پایین حرکت کنید URL: https://www.scienceirect.com/science/article/pii/b0122274105002970

پاسخ تصادفی از سیستم های همراه اولیه و دوم تحت تحریک زمین نامشخص با استفاده از روش هرج و مرج چند جمله ای عمومی

Anoop Kodakkal ،. وانت ماتساگار ، در دفترچه راهنمای مدلهای احتمالی ، 2020

2. 6. 2 تخمین تراکم - pdfs

عملکرد چگالی احتمال QOI را می توان از گسترش رایانه به طور ارزان دریافت کرد. از گسترش PC ممکن است برای نمونه برداری از تعداد زیادی از خروجی ها استفاده شود و از این نمونه ها می توان برای ارزیابی PDF به صورت عددی با استفاده از برآورد چگالی هسته استفاده کرد. برآوردگر چگالی هسته PDF f y k (y) است ، جایی که y با استفاده از عبارت زیر بدست می آید

(16. 28) f y k (y) = 1 n s h ∑ i = 1 n s k (y - y k (i) h).

In this expression, the function K is called as keel and h>0 پهنای باند است. جزئیات بیشتر در مورد این کار را می توان از اثر گزارش شده توسط گرگ و جانز (1995) ارجاع داد. توابع چگالی هسته داخلی (KsDensal) در زبانهای برنامه نویسی محبوب مانند Matlab ، Python ، R و غیره در دسترس هستند.

بیشتر بخوانید در پایین حرکت کنید URL: https://www.scienceirect.com/science/article/pii/b9780128165140000163

طبقه بندی اجتماعی

4. 1 تجزیه و تحلیل تحرک

نقطه شروع مرسوم برای محققان تحرک، تجزیه و تحلیل «جدول تحرک» دو متغیره است که با طبقه بندی متقابل مبدأ و مقصد طبقاتی افراد تشکیل شده است (به عنوان مثال، به تحرک اجتماعی، تاریخچه مراجعه کنید). جداول ساخته شده را می توان برای تخمین تراکم وراثت، ترسیم فواصل اجتماعی بین طبقات و مشاغل تشکیل دهنده آنها، و بررسی تفاوت ها در میان جمعیت های فرعی در مقدار و الگوی سیالیت و فرصت استفاده کرد. علاوه بر این، هنگامی که جداول تحرک قابل مقایسه از چندین کشور جمع آوری می شود، امکان پرداختن به بحث های اساسی در مورد خطوط اساسی تنوع بین ملی در سیستم های طبقه بندی وجود دارد (به عنوان مثال، اریکسون و گلدتورپ 1994). این خط تجزیه و تحلیل طولانی مدت، در حالی که هنوز در حال انجام است، با این وجود اخیراً کاهش یافته است، شاید به این دلیل که تحقیقات گذشته آنقدر قطعی بوده است که تلاش های بیشتر را کاهش داده است. بنابراین، تمرکز به مطالعات تحرک درآمد تغییر کرده است، با انگیزه دوگانه برای این توسعه (الف) نگرانی از این که فرار از فقر به طور فزاینده ای دشوار است و ممکن است یک طبقه زیرین دائمی در حال شکل گیری باشد، و (ب) فرضیه مقابل که درآمد رو به رشد است. نابرابری ممکن است با افزایش نرخ تحرک بین گروه های درآمدی متعادل شود.

بیشتر بخوانید در پایین حرکت کنید آدرس اینترنتی: https://www.sciencedirect.com/science/article/pii/B0080430767019744

چگالی طیفی توان

اسکات ال. میلر، دونالد چیلدرز، در فرآیندهای احتمالی و تصادفی، 2004

10. 4. 1 تخمین طیفی ناپارامتری

فرض کنید یک فرآیند تصادفی، x (t) را در یک بازه زمانی ( to، به) (یا یک فرآیند زمانی گسسته X [n] در بازه زمانی [0، n] مشاهده می کنیم._o 1]) و ما می خواهیم عملکرد PSD آن را تخمین بزنیم. دو رویکرد بلافاصله به ذهن می رسد. اولین روشی که از آن به عنوان روش مستقیم یا پریودوگرام یاد خواهیم کرد. این بر اساس تعریف PSD در معادله 10. 11 است. روش دوم را روش غیر مستقیم یا روش همبستگی می نامیم. ایده اصلی در اینجا این است که تابع همبستگی خود را تخمین بزنیم و سپس تبدیل فوریه خود همبستگی تخمین زده را برای تخمین PSD بگیریم. ابتدا روش همبستگی را شرح می دهیم. در تمام بحث هایی که در مورد تخمین طیفی دنبال می شود، فرض می شود که فرآیندهای تصادفی WSS هستند.

تخمین تابع همبستگی یک فرآیند تصادفی پیوسته را می توان با در نظر گرفتن میانگین زمانی تحقق خاص مشاهده شده تشکیل داد:

(10. 26) r ˆ x x (τ) = 〈x (t - τ 2) x (t + τ 2) = 1 2 t o - |τ |∫ t o + |τ |2 t o - |τ |2 x (t - τ 2) x (t + τ 2) d t.

دشوار نیست که نشان دهیم این برآوردگر بی طرفانه است (یعنی ، e [r_XX(τ)] = r_XX(τ)) ، اما در بعضی مواقع برآوردگر مخصوصاً خوبی نیست ، به خصوص برای مقادیر بزرگ τ. مثال بعدی این واقعیت را نشان می دهد.

مثال 10. 7: روند تصادفی تلگراف مثال 10. 4 را در نظر بگیرید. تحقق نمونه این فرآیند در شکل 10. 6 به همراه برآورد عملکرد همبستگی نشان داده شده است. برای راحتی ، همبستگی واقعی نیز نشان داده شده است. توجه داشته باشید که تخمین برای مقادیر کوچک τ کاملاً مطابقت دارد ، اما به عنوان | τ |→ τ_o، برآورد بسیار بد می شود.

به منظور بهبود کیفیت تخمین همبستگی ، معرفی یک عملکرد پنجره ای برای سرکوب رفتار نامنظم تخمین در مقادیر بزرگ τ معمول است. این امر به ویژه هنگام تخمین PSD از اهمیت ویژه ای برخوردار است زیرا رفتار وحشی در مقادیر بزرگ | τ |هنگامی که تبدیل فوریه برآورد همبستگی ، تخمین PSD را در تمام فرکانس ها تحریف می کند.

تعریف 10. 6: برای یک فرآیند تصادفی WSS X (t) ، برآورد پنجره ای از عملکرد همبستگی با استفاده از یک تابع پنجره W (t) توسط

(10. 27) r ˆ x x (ω) (τ) = ω (τ) 2 t o - |τ |∫ t o + |τ |2 t o - |τ |2 x (t - τ 2) x (t + τ 2) d t.

بسیاری از توابع پنجره ای ممکن است که قابل استفاده است. برآورد همبستگی قبلی (بدون عملکرد پنجره) را می توان به عنوان یک تخمین پنجره با یک پنجره مستطیل مشاهده کرد ،

(10. 28) ω (t) = r e c t (t 4 t o).

گزینه دیگر استفاده از یک پنجره مثلثی است ،

(10. 29) ω (t) = t r i (t 2 t o) =<1 - | t | 2 t o | t | به .

این منجر به برآورد همبستگی می شود ،

(10. 30) r ˆ x x (t r i) (τ) = 1 2 t o ∫ t o + |τ |2 t o - |τ |2 x (t - τ 2) x (t + τ 2) d t.

در حالی که این برآوردگر مغرضانه است ، خطای میانگین مربع در برآورد به طور کلی از زمان استفاده از پنجره مستطیل کوچکتر خواهد بود. بخش عمده ای از تئوری تخمین طیفی کلاسیک بر نحوه انتخاب یک عملکرد پنجره مناسب برای برآورده کردن معیارهای مختلف متمرکز است.

مثال 10. 8: عملکرد همبستگی سیگنال تلگراف تصادفی بار دیگر تخمین زده می شود ، این بار با برآوردگر همبستگی پنجره ای با استفاده از پنجره مثلثی. تحقق نمونه و همچنین برآورد همبستگی در شکل 10. 7 نشان داده شده است. این بار توجه داشته باشید که رفتار تخمین برای مقادیر بزرگ τ کنترل تر است.

پس از یافتن تخمین همبستگی ، برآورد PSD از طریق تحول فوریه بدست می آید.

تعریف 10. 7: برای یک فرآیند تصادفی WSS X (t) ، برآورد همبستگی مبتنی بر همبستگی (با عملکرد پنجره W (t)) PSD توسط PSD ارائه شده است

.- 2 t o 2 t o r ˆ x x (τ) (τ) e - j 2 π f τ d τ.

مثال 10. 9: تخمین PSD مربوط به تخمین همبستگی از مثال قبلی در شکل 10. 8 نشان داده شده است. در آنجا تخمین های PSD مبتنی بر همبستگی ترسیم شده و با PSD واقعی مقایسه می شوند. توجه داشته باشید که وقتی از ویندوز استفاده نمی شود ، برآورد PSD تمایل به بیش از حد PSD واقعی دارد. مشاهده دیگر این است که از این نتایج به نظر می رسد که تخمین PSD با هموار سازی می تواند بهبود یابد. ما به زودی در مورد آن توضیح خواهیم داد.

رویکرد بعدی که ما برای تخمین PSD از یک فرآیند تصادفی در نظر می گیریم ، استفاده مستقیم از تعریف PSD در معادله 10. 11 است. این رویکرد به عنوان برآورد پریودوگرام گفته می شود.

تعریف 10. 8: با توجه به مشاهده فرآیند x (t) در طی یک بازه (-T_o, t_o ), X_to(T) ، برآورد دوره نویسی PSD است

(10. 32) S ˆ x x (p) (f) = 1 2 t o |x t o (f) |بشر

قضیه 10. 2: برآورد پریودگرام PSD معادل برآورد مبتنی بر همبستگی با یک پنجره مثلثی است. به این معنا که،

(10. 33) S ˆ x x (p) (f) = s ˆ x x (t r i) (f).

اثبات: اثبات این قضیه یک تمرین نسبتاً ابتدایی در دستکاری خواص تحول های فوریه است. به یاد بیاورید که برای هر دو سیگنال ، x (t) و y (t) ، محصول طیف آنها یک جفت تبدیل با حلق دو سیگنال تشکیل می دهد. یعنی f [x (t) * y (t)] = x (f) y (f). استفاده از این در معادله 10. 32 منجر به

(10. 34) |x t o (f) |= f [x t o (τ) * x t o ( - τ)] = f [∫ - ∞ x t o (u) x t o (u - τ) d u] = f [∫ - t o t o x t o (t) x t o o(t + τ) d t] ، 1 2 t o |x t o (f) |= f [1 2 t o ∫ - t o t o x t o (t) x t o (t - τ) d u] = f [r ˆ x x (t r i) (τ)] = s ˆ x x (t r i) (f).

نمونه ای از پریودوگرام در طرح (c) شکل 10. 8 آورده شده است. در آن زمان ، به آن برآورد مبتنی بر همبستگی با یک عملکرد پنجره ای مثلثی گفته می شد. اکنون مشخص است که این دو یکسان هستند. در مثال 10. 9 ذکر شده است که ممکن است با هموار سازی برآورد PSD ، کیفیت پریودوگرام بهبود یابد. این می تواند با حل کردن S ˆ x x (p) (f) با برخی از عملکردهای صاف کننده ، w ˜ (f) انجام شود.

تعریف 10. 9: پریودوگرام هموار با عملکرد صاف کننده w (f) توسط

(10. 35) S ˆ x x (w p) (f) = w ˜ (f) * s ˆ x x (p) (f).

پریودگرام صاف شده را می توان از نظر برآورد مبتنی بر همبستگی نیز مشاهده کرد. توجه داشته باشید که اگر w (τ) = f - 1 [w ˜ (f)] ، سپس

.].

از این رو ، پریودوگرام صاف چیزی بیش از تخمین مبتنی بر همبستگی پنجره ای با پنجره ای نیست که محصول W (t) و پنجره مثلثی است. به نظر می رسد این نشان می دهد که استفاده از توابع پنجره ای غیر از آنچه در اینجا ارائه شده است ، سود بالقوه ای وجود دارد. خواننده برای بحث در مورد سایر امکانات به کتابهای زیادی در مورد تخمین طیفی در ادبیات مراجعه می کند.

در تمام برآوردگرهای طیفی ارائه شده تاکنون ، میانگین گروه با استفاده از یک تحقق واحد برآورد شد. اگر چندین تحقق مستقل از فرآیند تصادفی مشاهده شود و از میانگین نمونه برای جایگزینی میانگین گروه استفاده شود ، می توان تخمین بهتری بدست آورد. حتی اگر ما ممکن است فقط یک تحقق واحد را رعایت کنیم ، ممکن است دستیابی به همان تأثیر ممکن باشد. این کار با شکستن شکل موج زمانی مشاهده شده به بخش ها و درمان هر بخش به عنوان یک تحقق مستقل از فرآیند تصادفی انجام می شود. پریودوگرام در هر بخش محاسبه می شود و سپس تخمین های حاصل به طور متوسط انجام می شود.

مثال 10. 10: شکل 10. 9 برآورد پریودگرام PSD سیگنال تلگراف تصادفی را با و بدون تقسیم مقایسه می کند. در طرح (ب) از هیچ تقسیم بندی استفاده نمی شود ، در حالی که در نقشه (c) داده ها به m = 8 فریم تقسیم می شوند. یک دوره سنجی برای هر فریم محاسبه می شود و سپس نتایج به طور متوسط انجام می شود. توجه داشته باشید که در هنگام استفاده از تقسیم بندی ، برآورد PSD بهبود می یابد. همچنین توجه داشته باشید که یک تعصب جزئی در برآورد تقسیم شده وجود دارد. این بیشتر در فرکانس های بالاتر قابل توجه است. با استفاده از بخش های بیشتر ، این تعصب بدتر می شود. مبادله ای وجود دارد که مایل به استفاده از مقدار زیادی از M برای کاهش "لرزش" در تخمین و مایل به استفاده از یک مقدار کوچک M برای نگه داشتن تعصب به حداقل است. از توابع MATLAB زیر برای اجرای تخمین های دوره نویسی با و بدون seqmentation استفاده شد. از همین توابع مشابه می توان برای تخمین PSD از هر سیگنال ورودی استفاده کرد.

بیشتر بخوانید در پایین حرکت کنید URL: https://www.scienceirect.com/science/article/pii/b9780121726515500105

خوشه بندی آماری

3 اعتبار خوشه

یک خوشه بندی آگلومراتیو معمولی ، خوشه های N-1 را برای اشیاء N تولید می کند و گزینه های مختلف از اختلافات و قوانین ترکیبی خوشه ای بسیاری از خوشه های مختلف را ایجاد می کند. تصمیم گیری "کدام تفاوت ، کدام روش جمع آوری و چند خوشه؟"

در مشکلات پارتیشن ، اگر از یک مدل مخلوط پارامتری استفاده شود ، روشهای آماری استاندارد شرح داده شده در فرقه. 2. 1 برای کمک به تصمیم گیری در مورد چند مؤلفه لازم است. این مدل ها به فرضیات خاصی در مورد توزیع در مؤلفه هایی نیاز دارند که می توانند برای نتایج بسیار مهم باشند. مدل خوشه ای با چگالی بالا غیر پارامتری خوشه ها را با حالت های چگالی مرتبط می کند. سوال در مورد تعداد خوشه ها به سؤالی در مورد تعداد حالت ها تبدیل می شود.

آستانه آستانه یا آستانه عرض هسته ، (سیلورمن 1981) ، برای تعداد حالت ها بر اساس یک برآوردگر چگالی هسته ، به عنوان مثال ، با توجه به اندازه گیری تفاوت و یک آستانه D ، از تخمین چگالی در هر نقطه X متشکل از X استفاده کنیدمجموع 1 - D (x ، x_i)/ D بیش از اشیاء مشاهده شده x_iدر تفاوت D از x. تعداد حالت های موجود در جمعیت با توجه به تعداد حالت های برآورد چگالی تخمین زده می شود. برای تصمیم گیری در مورد اینکه آیا دو حالت نشان داده شده است ، مقدار D تا D = Dˆ افزایش می یابد₁، چگالی تخمین زده شده fˆ₁ابتدا یک حالت واحد دارد. اگر مقدار dˆ₁برای ارائه تخمین Unimodal به اندازه کافی بزرگ است ، پس از آن بیش از یک حالت لازم است. برای تصمیم گیری در مورد چه زمانی₁بزرگ است ، نمونه از توزیع Unimodal fˆ₁، به دست آوردن توزیع مجدداً dˆ₁مقادیر مربوط به این نمونه ها ، مقادیر D در هر یک از این نمونه های مورد نیاز برای برآورد چگالی غیرعادی است. احتمال دم مرتبط با Dˆ داده شده₁نسبت Dˆ دوباره استفاده شده است₁که بیش از Dˆ داده شده است₁بشریک روش مشابه برای تصمیم گیری در مورد اینکه آیا تعداد بیشتری از حالت ها از 2 توجیه شده است ، کار می کند. یک آزمایش جایگزین که در دو بعدی برای دو حالت در مقابل یکی از آمار DIP استفاده می شود (هارتگان و هارتگان 1985) ، حداکثر فاصله بین عملکرد توزیع تجربی و عملکرد توزیع UNIMODAL که به عملکرد توزیع تجربی نزدیک است. توزیع تهی بر اساس نمونه گیری از لباس است.

بیشتر بخوانید در پایین حرکت کنید URL: https://www.sciencedirect.com/science/article/pii/b0080430767004009

روشهای احتمالی

ایان اچ. ویتن ،. کریستوفر جی پال ، در داده کاوی (چاپ چهارم) ، 2017

مقایسه مدل های چگالی پارامتری ، نیمهرامتری و غیر پارامتری برای طبقه بندی

ممکن است یک مدل مخلوط به عنوان واسطه بین دو روش شدید مدل سازی توزیع با تخمین تراکم احتمال مشاهده شود. یک افراط یک فرم پارامتری ساده مانند توزیع گاوسی است. تخمین پارامترهای مربوطه آسان است. با این حال ، داده ها اغلب از توزیع بسیار پیچیده تری ناشی می شوند. مدل های مخلوط از دو یا چند گاوسی برای تقریب توزیع استفاده می کنند. در حد مجاز ، از طرف دیگر ، از یک گاوسی برای هر نقطه داده استفاده می شود. این تخمین چگالی هسته با عملکرد هسته گاوسی است.

شکل 9. 7 نمونه بصری از این طیف مدل ها را نشان می دهد. برآورد چگالی برای هر کلاس از یک مشکل طبقه بندی 3 کلاس با استفاده از سه روش مختلف ایجاد شده است. شکل 9. 7a از یک توزیع گاوسی برای هر کلاس استفاده می کند ، رویکردی که اغلب به عنوان یک روش "پارامتری" گفته می شود. شکل 9. 7b از یک مدل مخلوط گاوسی با دو مؤلفه در هر کلاس استفاده می کند ، یک روش "نیمهرامتری" که در آن می توان با استفاده از روش های مختلف ، تعداد گاوسی ها را تعیین کرد. شکل 9. 7c از تخمین چگالی هسته با یک هسته گاوسی در هر مثال ، یک روش "غیر پارامتری" استفاده می کند. در اینجا پیچیدگی مدل متناسب با حجم داده ها رشد می کند.

هر سه رویکرد مدل های چگالی را برای هر کلاس تعریف می کنند ، بنابراین می توان از قانون Bayes برای محاسبه احتمال خلفی در تمام کلاس ها برای هر ورودی معین استفاده کرد. در این روش ، برآوردگرهای چگالی به راحتی می توانند به طبقه بندی کننده ها تبدیل شوند. برای مدلهای پارامتری ساده ، این سریع و آسان است. برآوردگرهای چگالی هسته تضمین می شوند که با افزایش میزان داده ها ، به توزیع اساسی واقعی همگرا می شوند ، به این معنی که طبقه بندی کننده های ساخته شده از آنها دارای خواص جذاب هستند. آنها معایب محاسباتی طبقه بندی نزدیکترین همسایه را به اشتراک می گذارند ، اما دقیقاً مانند طبقه بندی نزدیکترین همسایه ، ساختارهای سریع داده وجود دارد که می تواند آنها را در مجموعه داده های بزرگ کاربرد داشته باشد.

مدل های مخلوط ، گزینه میانی ، کنترل پیچیدگی مدل را بدون رشد با میزان داده ها کنترل می کنند. به همین دلیل این رویکرد یک روش استاندارد برای مدل سازی اولیه در زمینه هایی مانند تشخیص گفتار است که در مجموعه داده های بزرگ سروکار دارند. این اجازه می دهد تا تشخیص دهندگان گفتار با اولین داده های خوشه بندی به گروه ها ایجاد شوند ، اما به گونه ای که می توان مدل های پیچیده تری از روابط زمانی را با استفاده از یک مدل مخفی مارکوف اضافه کرد.(ما مدلهای احتمالی پی در پی و زمانی ، مانند مدل های پنهان مارکوف را در بخش 9. 6 در نظر خواهیم گرفت.)