تجزیه و تحلیل خوشه ای مطالعه ای است با تقسیم بسیاری از اشیاء به گروه های همگن. تحلیل خوشه ای

از نظر اهمیت در رتبه دوم قرار دارد که موید نتیجه گیری در مورد نیاز به ساخت مسکن بر اساس نتایج مطالعه با استفاده از روش K-means می باشد.

رفاه اقتصادی درک شده (SEW) و حقوق صاحبان سهام (SEE) ترکیب شده اند - این یک بلوک است مسائل اقتصادی. توسعه شغلی (CR) و ترکیبی از اهداف شخصی و سازمانی (LOG) نیز ترکیب شده اند.

سایر روش های خوشه بندی و همچنین انتخاب انواع دیگر فاصله ها منجر به تغییر قابل توجهی در دندروگرام نمی شود.

نتایج

1. تحلیل خوشه ای ابزاری قدرتمند برای تجزیه و تحلیل داده های اکتشافی و تحقیقات آماری در هر زمینه موضوعی است.
2. برنامه Statistica هر دو روش سلسله مراتبی و ساختاری تجزیه و تحلیل خوشه را اجرا می کند. مزایای این بسته آماری از قابلیت های گرافیکی آن ها نشات می گیرد. نمایش های گرافیکی دو بعدی و سه بعدی از خوشه های حاصل در فضای متغیرهای مورد مطالعه و همچنین نتایج روش سلسله مراتبی برای گروه بندی اشیاء ارائه شده است.
3. استفاده از چندین الگوریتم تحلیل خوشه ای و نتیجه گیری بر اساس ارزیابی کلی از نتایج الگوریتم ها ضروری است.
4. تحلیل خوشه ای در صورت تکمیل شدن می تواند موفق تلقی شود به روش های مختلفنتایج مقایسه شد و الگوهای کلی یافت شد و خوشه های پایدار بدون توجه به روش خوشه بندی یافت شد.
5. تجزیه و تحلیل خوشه ای به ما امکان شناسایی را می دهد موقعیت های مشکل سازو راه های حل آنها را بیان کنید. در نتیجه، این روش آمار ناپارامتریک را می توان به عنوان بخشی جدایی ناپذیر از تحلیل سیستم در نظر گرفت.

آزاد کردیم کتاب جدید"بازاریابی محتوا در شبکه های اجتماعی: چگونه به ذهن مشترکین خود وارد شوید و آنها را عاشق برند خود کنید."

خوشه بندی هسته معنایی، تقسیم بسیاری از پرس و جوهای ناهمگن به گروه ها بر اساس معنا است.

ویدیوهای بیشتر در کانال ما - بازاریابی اینترنتی را با SEMANTICA یاد بگیرید

برای درک بهتر اینکه خوشه بندی چیست، می توانید تصور کنید که لباس های شسته شده را قبل از شستشو آماده کنید. برای اینکه شستشوی سریع و پربار باشد، اقلام از نظر رنگ به چند گروه تقسیم می شوند. الف خانم های خانه دار با تجربهمرتب سازی لباسشویی را با جزئیات بیشتری انجام دهید. در هر گروه رنگی چیزهایی وجود دارد که به رژیم دمایی خاصی نیاز دارند. آنها به گروه های جداگانه تقسیم می شوند. چیزی مشابه با خوشه بندی اتفاق می افتد کلمات کلیدی. این فرآیندی است که صدها و هزاران درخواست کاربر را به یک ساختار سازمان یافته تبدیل می کند.

در حالت ایده‌آل، خوشه‌بندی کلیدها باید بر اساس فهرستی از ویژگی‌های اشیایی که این کلیدها را مشخص می‌کنند، و همچنین زمینه استفاده از آنها انجام شود. با این حال، در حال حاضر هیچ پایگاه داده باز برای ذخیره چنین اطلاعاتی وجود ندارد. به همین دلیل، کلمات کلیدی بر اساس نتایج جستجو گروه بندی می شوند.

مراحل خوشه بندی:

1. به دست آوردن مجموعه ای از اشیاء برای گروه بندی.
2. تعیین فهرستی از معیارها برای ارزیابی اشیاء در نمونه.
3. تعیین درجه تشابه بین اشیاء مورد تجزیه و تحلیل.
4. انجام تجزیه و تحلیل خوشه ای برای تشکیل گروه هایی از اشیاء.
5. ارائه نتایج خوشه بندی.

چرا باید SYNOPSIS را خوشه بندی کنید؟

با کمک ابزارهای شایسته، می توانید هسته های معنایی بزرگ را در حداقل زمان گروه بندی کنید. اگر در گذشته ایجاد یک هسته ماه ها طول می کشید، اکنون این کار تنها چند ساعت طول می کشد. یکی از مزایای خوشه بندی توزیع پرس و جوهای جستجو در بین صفحات است به طوری که آنها به طور همزمان تبلیغ می شوند.

خوشه بندی هسته معنایی به شما این امکان را می دهد که:

• صرفه جویی قابل توجه در زمان با کاهش کارهای معمولی.
• راهنمای اطلاعات در مورد موضوعات محبوب در بین کاربران.
• طرح ارتقاء.
• نمایش ساختار وب سایت در حال توسعه.
• ارزیابی عینی از محبوبیت محصولات در طاقچه مشخص شده.
• فهرست کلیدهای بهینه سازی منابع
• پیاده سازی تغییر مسیر صحیح صفحات وب.
• ایجاد یک دنباله بزرگ از عبارت های جستجو.

اگر خوشه نشوید چه اتفاقی می افتد؟

اگر از تقسیم هسته معنایی سایت به خوشه ها غفلت کنیم، صاحب آن تصویر کاملی از ارتقای منبع خود دریافت نخواهد کرد. نتیجه مشابهی را می توان به دلیل توزیع نادرست عبارات جستجو به دست آورد.

در اینجا لیستی از مشکلاتی وجود دارد که پس از گروه بندی نادرست کلیدها ایجاد می شود:

• موقعیت در بالای نتایج جستجو از دست رفته است.
• آدم خواری رخ می دهد و در نتیجه، موارد تکراری زیادی در فهرست های موتورهای جستجو ظاهر می شود.
• عدم جهت گیری عوامل رفتاری رخ می دهد که در ارتقاء منبع دخالت می کند.
• مقدار زیادی پول صرف ایجاد محتوای «اضافی» می شود.

حذف و پیشگیری از چنین مشکلاتی پاسخ اصلی به این سوال است: «چرا خوشه‌بندی؟»

الگوریتم های خوشه بندی

متخصصان سئو دو نوع طبقه بندی الگوریتم های خوشه بندی را تشخیص می دهند:

سلسله مراتبی و مسطح

الگوریتم های سلسله مراتبی (که به آنها الگوریتم های تاکسونی نیز گفته می شود) نه تنها یک تقسیم از یک مجموعه را به خوشه های متقاطع تشکیل می دهند، بلکه یک ساختار چند سطحی از پارتیشن های تودرتو را تشکیل می دهند. در نتیجه درختی از خوشه ها تشکیل می شود. نمونه عمومی به عنوان ریشه آن عمل می کند و کوچکترین گروه ها به عنوان برگ آن عمل می کنند.

الگوریتم های مسطح یک تقسیم بندی از اشیاء را به گروه ها تشکیل می دهند.

شفاف و مبهم

الگوریتم های Clear هر عنصر نمونه را با یک عدد خوشه مرتبط می کنند. الگوریتم‌های فازی هر عنصر نمونه را با ترکیبی از مقادیر واقعی مرتبط می‌کنند که اندازه‌گیری عضویت عنصر در خوشه‌ها را منعکس می‌کند. بنابراین، هر عنصر نمونه با احتمال خاصی به هر گروه تعلق دارد.

نحوه خوشه بندی دستی پرس و جوها

برای خوشه بندی دستی هسته معنایی یک سایت، کافی است به طور مستقل کلمات کلیدی را تجزیه و تحلیل کرده و آنها را به گروه ها تقسیم کنید. این کار را می توان با استفاده از ابزارهای Excel، LibreOffice، OpenOffice آسانتر کرد. این برنامه ها به شما امکان می دهند با جداول داده کار کنید، بر اساس پارامترهای خاصی مرتب کنید و فیلتر کنید.

ابزارهای ارائه شده دارای چندین مزیت هستند:

• تطبیق پذیری - گروه بندی با در نظر گرفتن بسیاری از معیارهای مختلف انجام می شود.
• دقت پردازش بالا؛
• LibreOffice، OpenOffice - رایگان.

از جمله معایب آنها:

• نیاز به پشتیبان گیری دوره ای؛
• سرعت پردازش پایین؛
• اکسل دارای مجوز - پولی.

خوشه‌بندی دستی هسته معنایی یک سایت در مقایسه با خوشه‌بندی خودکار پیچیده‌تر و زمان‌برتر است. اما شما می توانید شخصاً کل فرآیند را کنترل کنید. اگر به این نکته توجه کافی داشته باشید، نتیجه از نظر کیفی برتر از خوشه بندی خودکار خواهد بود.

خوشه بندی خودکار

تقسیم هسته معنایی به گروه ها به طور خودکار اتفاق می افتد.

کافی است مدیر وب سایت نتایج به دست آمده را ارزیابی کند. تنها نقطه ضعف این رویکرد، اختلاف گاه و بیگاه بین منطق ماشین و ایده های کاربر است.

یک روش نیمه خودکار برای گروه بندی عبارت های جستجو می تواند این مشکل را حل کند. برای انجام این کار، متخصص باید به طور مستقل گروه ها را بر اساس درخواست های دریافت شده انتخاب کند. و خود سیستم خودکار درخواست ها را به گروه های مشخص شده توسط کاربر تقسیم می کند. این رویکرد به ما اجازه می دهد تا به طور قابل توجهی خطاهای الگوریتم ماشین را به حداقل برسانیم.

نحوه خوشه بندی پرس و جوها با استفاده از Key Collector

Key Collector یکی از بهترین برنامه ها برای خوشه بندی در نظر گرفته می شود. این برنامه به شما امکان می دهد به سرعت کلیدهایی را به دست آورید که بر اساس آنها یک هسته معنایی تشکیل می شود. این سیستم می تواند رقابت، کارایی و هزینه کلیدها را ارزیابی کند و همچنین منبع را برای انطباق محتوای آن با هسته دریافتی تجزیه و تحلیل کند.

نحوه کار Key Collector بسیار ساده است. برای جداسازی تمامی درخواست های دریافتی، باید از گزینه «تحلیل گروهی» استفاده کنید. در این مورد، سیستم باید حالت خوشه بندی را مشخص کند ("by کلمات فردی"، "بر اساس ترکیب عبارات"، "بر اساس نتایج جستجو"، "بر اساس ترکیب عبارات و نتایج جستجو"). حالت "بر اساس کلمات فردی" عبارت های جستجویی را گروه بندی می کند که حتی در یک کلمه مطابقت دارند. حالت ترکیب عبارت" روی ساختار عبارات کلیدی است. این مناسب ترین راه برای تقسیم تعداد زیادی از پرس و جوها است. حالت "بر اساس نتایج جستجو" عبارات کلیدی را بر اساس تعداد پیوندهای منطبق در نتایج جستجو گروه بندی می کند. حالت با ترکیب عبارت و نتایج جستجو، دو معیار قبلی را ترکیب می کند.

نمونه ای از خوشه بندی هسته معنایی در سیستم Key Collector:

برای ارزیابی گروه‌های به‌دست‌آمده، می‌توان آن‌ها را در یک ویرایشگر صفحه‌گسترده (مثلاً اکسل) بارگذاری کرد.

تحلیل خوشه ای

اکثر محققان تمایل دارند بر این باورند که برای اولین بار اصطلاح "تحلیل خوشه ای" (انگلیسی) خوشه- دسته، لخته، دسته) توسط ریاضیدان R. Trion پیشنهاد شد. متعاقبا، تعدادی از اصطلاحات به وجود آمد که در حال حاضر مترادف با اصطلاح "تحلیل خوشه ای" در نظر گرفته می شوند: طبقه بندی خودکار; بوتریولوژی

تحلیل خوشه‌ای یک روش آماری چند متغیره است که داده‌های حاوی اطلاعات نمونه‌ای از اشیاء را جمع‌آوری می‌کند و سپس اشیاء را در گروه‌های نسبتاً همگن (خوشه‌ها) مرتب می‌کند (خوشه‌بندی Q، یا تکنیک Q، خود آنالیز خوشه‌ای). خوشه - گروهی از عناصر که با دارایی مشترک، هدف اصلی تجزیه و تحلیل خوشه ای یافتن گروه هایی از اشیاء مشابه در نمونه است. دامنه کاربردهای تحلیل خوشه ای بسیار گسترده است: از آن در باستان شناسی، پزشکی، روانشناسی، شیمی، زیست شناسی، مدیریت دولتی، زبان شناسی، مردم شناسی، بازاریابی، جامعه شناسی و سایر رشته ها استفاده می شود. با این حال، جهانی بودن کاربرد منجر به ظهور تعداد زیادی از اصطلاحات، روش‌ها و رویکردهای ناسازگار شده است که استفاده بدون ابهام و تفسیر منسجم از تحلیل خوشه‌ای را دشوار می‌کند. Orlov A.I تمایز را به شرح زیر پیشنهاد می کند:

اهداف و شرایط

تجزیه و تحلیل خوشه ای موارد زیر را انجام می دهد وظایف اصلی:

• توسعه یک نوع شناسی یا طبقه بندی.
• کاوشی از طرح‌های مفهومی مفید برای گروه‌بندی اشیا.
• ایجاد فرضیه بر اساس اکتشاف داده ها.
• آزمایش فرضیه یا تحقیق برای تعیین اینکه آیا انواع (گروه‌های) شناسایی‌شده به روشی واقعی در داده‌های موجود وجود دارند یا خیر.

صرف نظر از موضوع مطالعه، استفاده از تحلیل خوشه ای شامل می شود مراحل بعدی:

• انتخاب نمونه برای خوشه بندی مفهوم این است که خوشه بندی فقط داده های کمی منطقی است.
• تعیین مجموعه متغیرهایی که توسط آنها اشیاء در نمونه ارزیابی می شوند، یعنی فضای ویژگی.
• محاسبه مقادیر یک معیار خاص از شباهت (یا تفاوت) بین اشیاء.
• استفاده از روش تحلیل خوشه ای برای ایجاد گروه هایی از اشیاء مشابه.
• بررسی قابلیت اطمینان نتایج راه حل خوشه ای.

تحلیل خوشه ای موارد زیر را ارائه می دهد الزامات داده:

1. شاخص ها نباید با یکدیگر مرتبط باشند.
2. شاخص ها نباید با تئوری اندازه گیری تضاد داشته باشند.
3. توزیع شاخص ها باید نزدیک به نرمال باشد.
4. شاخص ها باید الزامات "ثبات" را برآورده کنند، که به معنای عدم تاثیرگذاری بر مقادیر آنها توسط عوامل تصادفی است.
5. نمونه باید همگن باشد و حاوی "غیره های پرت" نباشد.

می توانید شرحی از دو الزام اساسی برای داده ها پیدا کنید - همگنی و کامل بودن:

همگنی مستلزم آن است که همه موجودات نشان داده شده در جدول از یک ماهیت باشند. لازمه کامل بودن این است که مجموعه ها منو جیفهرست کاملی از تظاهرات پدیده مورد بررسی ارائه کرد. اگر جدولی را در نظر بگیریم که در آن من- کلیت، و جی- مجموعه ای از متغیرهای توصیف کننده این جامعه، باید نمونه ای معرف از جامعه مورد مطالعه و سیستم ویژگی ها باشد. جیباید نمایش برداری رضایت بخشی از افراد ارائه دهد مناز دیدگاه محقق

اگر تجزیه و تحلیل خوشه قبل از تجزیه و تحلیل عاملی باشد، نمونه نیازی به "تعمیر" ندارد - الزامات اعلام شده به طور خودکار توسط روش مدل سازی عاملی برآورده می شود (مزیت دیگری وجود دارد - استانداردسازی z بدون پیامدهای منفیبرای نمونه برداری؛ اگر مستقیماً برای تجزیه و تحلیل خوشه ای انجام شود، ممکن است منجر به کاهش وضوح تقسیم گروه ها شود. در غیر این صورت، نمونه نیاز به تنظیم دارد.

گونه شناسی مسائل خوشه بندی

انواع ورودی

در علم مدرن از چندین الگوریتم برای پردازش داده های ورودی استفاده می شود. تجزیه و تحلیل با مقایسه اشیاء بر اساس ویژگی ها (متداول ترین در علوم زیستی) نامیده می شود س- نوع تجزیه و تحلیل و در مورد مقایسه ویژگی ها بر اساس اشیا - آر-نوع تحلیل تلاش هایی برای استفاده از انواع ترکیبی از تجزیه و تحلیل وجود دارد (به عنوان مثال، RQ-تحلیل)، اما این روش هنوز به درستی توسعه نیافته است.

اهداف خوشه بندی

• درک داده ها با شناسایی ساختار خوشه. تقسیم نمونه به گروه‌هایی از اشیاء مشابه، ساده‌سازی پردازش و تصمیم‌گیری بیشتر داده‌ها را با استفاده از روش متفاوتی برای تجزیه و تحلیل برای هر خوشه (استراتژی «تقسیم کن و غلبه کن») ممکن می‌سازد.
• فشرده سازی داده ها اگر نمونه اصلی بیش از حد بزرگ است، می توانید آن را کاهش دهید و یک نماینده معمولی از هر خوشه باقی بگذارید.
• تشخیص تازگی تشخیص تازگی). اشیاء غیر معمولی شناسایی می شوند که نمی توانند به هیچ یک از خوشه ها متصل شوند.

در حالت اول سعی می کنند تعداد خوشه ها را کوچکتر کنند. در مورد دوم، اطمینان از درجه بالایی از شباهت اشیاء در هر خوشه مهم تر است و می تواند هر تعداد خوشه وجود داشته باشد. در مورد سوم، جالب ترین اشیاء فردی هستند که در هیچ یک از خوشه ها قرار نمی گیرند.

در تمام این موارد می توان از خوشه بندی سلسله مراتبی استفاده کرد، زمانی که خوشه های بزرگ به خوشه های کوچکتر تقسیم می شوند که به نوبه خود به خوشه های کوچکتر و غیره تقسیم می شوند. به چنین مسائلی مسائل طبقه بندی می گویند. طبقه بندی منجر به یک ساختار سلسله مراتبی درخت مانند می شود. علاوه بر این، هر شی با فهرستی از تمام خوشه هایی که به آنها تعلق دارد مشخص می شود، معمولاً از بزرگ به کوچک.

روش های خوشه بندی

هیچ طبقه‌بندی پذیرفته‌شده‌ای برای روش‌های خوشه‌بندی وجود ندارد، اما می‌توان به تلاش محکم V.S. Berikov و G.S. Lbov اشاره کرد. اگر طبقه‌بندی‌های مختلف روش‌های خوشه‌بندی را تعمیم دهیم، می‌توانیم تعدادی از گروه‌ها را متمایز کنیم (بعضی از روش‌ها را می‌توان به چند گروه در یک زمان طبقه‌بندی کرد و بنابراین پیشنهاد می‌شود این گونه‌بندی را به عنوان تقریبی به طبقه‌بندی واقعی روش‌های خوشه‌بندی در نظر بگیریم):

1. رویکرد احتمالی. فرض بر این است که هر شیء مورد بررسی متعلق به یکی از کلاس های k است. برخی از نویسندگان (به عنوان مثال، A.I. Orlov) معتقدند که این گروه به هیچ وجه به خوشه بندی مربوط نمی شود و با نام "تبعیض"، یعنی انتخاب تخصیص اشیا به یکی از گروه های شناخته شده (نمونه های آموزشی) با آن مخالفت می کنند.
2. رویکردهای مبتنی بر سیستم های هوش مصنوعی. یک گروه بسیار مشروط، زیرا روش‌های هوش مصنوعی زیادی وجود دارد و از نظر روش‌شناسی بسیار متفاوت هستند.
3. رویکرد منطقی. دندروگرام با استفاده از درخت تصمیم ساخته می شود.
4. رویکرد نظری نمودار.
   • الگوریتم های خوشه بندی نمودار
5. رویکرد سلسله مراتبی. وجود گروه‌های تودرتو (خوشه‌های راسته‌های مختلف) فرض می‌شود. الگوریتم ها به نوبه خود به دو دسته انبوهی (یکپارچه کننده) و تقسیمی (جداکننده) تقسیم می شوند. بر اساس تعداد ویژگی ها، گاه روش های طبقه بندی توحیدی و چندگانه را از هم متمایز می کنند.
   • خوشه بندی تقسیمی سلسله مراتبی یا طبقه بندی. مشکلات خوشه‌بندی در یک طبقه‌بندی کمی بررسی می‌شوند.
6. روش های دیگر. در گروه های قبلی گنجانده نشده است.
   • الگوریتم های خوشه بندی آماری
   • مجموعه ای از خوشه
   • الگوریتم های خانواده KRAB
   • الگوریتم بر اساس روش الک
   • DBSCAN و همکاران

رویکردهای 4 و 5 گاهی با نام رویکرد ساختاری یا هندسی ترکیب می‌شوند که مفهومی رسمی‌تر از مجاورت دارد. علیرغم تفاوت های قابل توجه بین روش های ذکر شده، همه آنها به روش اصلی تکیه می کنند. فرضیه فشردگی«: در فضای اجسام، همه اشیای نزدیک باید به یک خوشه تعلق داشته باشند و بر این اساس، همه اشیاء مختلف باید در خوشه های مختلف باشند.

فرمول بندی رسمی مسئله خوشه بندی

اجازه دهید مجموعه ای از اشیاء باشد و مجموعه ای از اعداد (نام ها، برچسب ها) از خوشه ها باشد. تابع فاصله بین اشیاء مشخص شده است. یک نمونه آموزشی محدود از اشیاء وجود دارد. لازم است که نمونه را به زیرمجموعه های مجزا به نام تقسیم کرد خوشه ها، به طوری که هر خوشه از اشیایی تشکیل شده است که از نظر متریک مشابه هستند و اشیاء خوشه های مختلف به طور قابل توجهی متفاوت هستند. در این حالت به هر شیء یک عدد خوشه اختصاص داده می شود.

الگوریتم خوشه بندیتابعی است که یک عدد خوشه را به هر شی اختصاص می دهد. در برخی موارد، مجموعه از قبل شناخته شده است، اما بیشتر اوقات وظیفه تعیین تعداد بهینه خوشه ها، از نقطه نظر یک یا دیگری است. معیارهای کیفیتخوشه بندی

خوشه‌بندی (یادگیری بدون نظارت) با طبقه‌بندی (یادگیری تحت نظارت) تفاوت دارد زیرا برچسب‌های اشیاء اصلی در ابتدا مشخص نشده‌اند و حتی ممکن است خود مجموعه ناشناخته باشد.

راه‌حل مشکل خوشه‌بندی اساسا مبهم است و دلایل متعددی برای آن وجود دارد (همانطور که تعدادی از نویسندگان معتقدند):

• به وضوح وجود ندارد بهترین معیارکیفیت خوشه بندی شناخته شده است یک سری کاملمعیارهای اکتشافی، و همچنین تعدادی از الگوریتم‌ها که معیار مشخصی ندارند، اما خوشه‌بندی نسبتاً معقولی را «با ساخت» انجام می‌دهند. همه می توانند بدهند نتایج متفاوت. بنابراین، برای تعیین کیفیت خوشه‌بندی، به یک متخصص حوزه نیاز است که بتواند معنی‌داری انتخاب خوشه را ارزیابی کند.
• تعداد خوشه ها معمولاً از قبل ناشناخته است و بر اساس برخی معیارهای ذهنی تنظیم می شود. این فقط برای روش‌های تبعیض صادق است، زیرا در روش‌های خوشه‌بندی، خوشه‌ها از طریق یک رویکرد رسمی بر اساس معیارهای مجاورت شناسایی می‌شوند.
• نتیجه خوشه بندی به طور قابل توجهی به متریک بستگی دارد، که انتخاب آن، به عنوان یک قاعده، نیز ذهنی است و توسط یک متخصص تعیین می شود. اما شایان ذکر است که تعدادی توصیه برای انتخاب معیارهای مجاورت برای کارهای مختلف وجود دارد.

برنامه

در زیست شناسی

در زیست شناسی، خوشه بندی کاربردهای زیادی در زمینه های مختلف دارد. به عنوان مثال، در بیوانفورماتیک برای تجزیه و تحلیل شبکه های پیچیده ژن های متقابل، که گاهی از صدها یا حتی هزاران عنصر تشکیل شده است، استفاده می شود. تجزیه و تحلیل خوشه ای امکان شناسایی زیرشبکه ها، گلوگاه ها، هاب ها و سایر ویژگی های پنهان سیستم مورد مطالعه را فراهم می کند که در نهایت امکان کشف سهم هر ژن در شکل گیری پدیده مورد مطالعه را فراهم می کند.

در زمینه اکولوژی، به طور گسترده ای برای شناسایی گروه های همگن فضایی از موجودات، جوامع، و غیره استفاده می شود. کمتر رایج، روش های تجزیه و تحلیل خوشه ای برای مطالعه جوامع در طول زمان استفاده می شود. ناهمگونی ساختار جامعه منجر به ظهور روش های غیر پیش پا افتاده تحلیل خوشه ای می شود (به عنوان مثال، روش چکانوفسکی).

به طور کلی، شایان ذکر است که از نظر تاریخی، معیارهای تشابه به جای معیارهای تفاوت (فاصله) اغلب به عنوان معیارهای نزدیکی در زیست شناسی مورد استفاده قرار می گیرند.

در جامعه شناسی

هنگام تجزیه و تحلیل نتایج تحقیقات جامعه شناختیتوصیه می شود که تجزیه و تحلیل را با استفاده از روش های خانواده تراکم سلسله مراتبی، یعنی روش Ward انجام دهید، که در آن حداقل پراکندگی درون خوشه ها بهینه می شود و منجر به ایجاد خوشه های تقریباً می شود. اندازه های مساوی. روش وارد برای تحلیل داده های جامعه شناختی مناسب ترین است. معیار بهتری برای تفاوت فاصله اقلیدسی درجه دوم است که به افزایش کنتراست خوشه ها کمک می کند. نتیجه اصلی تجزیه و تحلیل خوشه سلسله مراتبی یک دندروگرام یا "نمودار یخی" است. در هنگام تفسیر آن، محققان با همان مشکلی مواجه می شوند که تفسیر نتایج تحلیل عاملی وجود دارد - فقدان معیارهای واضح برای شناسایی خوشه ها. توصیه می شود از دو روش اصلی استفاده شود - تجزیه و تحلیل بصری دندروگرام و مقایسه نتایج خوشه بندی انجام شده با روش های مختلف.

تجزیه و تحلیل بصری دندروگرام شامل "بریدن" درخت در سطح بهینه شباهت عناصر نمونه است. توصیه می‌شود که شاخه انگور را در سطح 5 از مقیاس ترکیبی خوشه‌ای فاصله‌گذاری مجدد، قطع کنید (اصطلاحات M. S. Oldenderfer و R. K. Blashfield)، بنابراین سطح شباهت 80٪ به دست می‌آید. اگر شناسایی خوشه‌ها با استفاده از این برچسب دشوار است (چند خوشه کوچک در یک خوشه بزرگ ادغام می‌شوند)، می‌توانید برچسب دیگری را انتخاب کنید. این تکنیک توسط Oldenderfer و Blashfield پیشنهاد شده است.

اکنون این سوال در مورد پایداری راه حل خوشه ای اتخاذ شده مطرح می شود. در اصل، بررسی پایداری خوشه‌بندی به بررسی قابلیت اطمینان آن ختم می‌شود. در اینجا یک قاعده کلی وجود دارد - زمانی که روش های خوشه بندی تغییر می کند، یک گونه شناسی پایدار حفظ می شود. نتایج تجزیه و تحلیل خوشه سلسله مراتبی را می توان با تحلیل خوشه ای تکراری با استفاده از روش k-means تأیید کرد. اگر طبقه‌بندی‌های مقایسه شده گروه‌های پاسخ‌دهندگان دارای نرخ تصادفی بیش از 70٪ (بیش از 2/3 از منطبق‌ها) باشند، تصمیم خوشه‌ای گرفته می‌شود.

بررسی کفایت یک راه حل بدون توسل به نوع دیگری از تجزیه و تحلیل غیرممکن است. حداقل از نظر تئوری این مشکل حل نشده است. مقاله کلاسیک اولنددرفر و بلاشفیلد، تحلیل خوشه‌ای، به تفصیل بحث می‌کند و در نهایت پنج روش دیگر تست استحکام را رد می‌کند:

در علوم کامپیوتر

• خوشه‌بندی نتایج جستجو - برای گروه‌بندی «هوشمند» نتایج در هنگام جستجوی فایل‌ها، وب‌سایت‌ها و سایر اشیاء استفاده می‌شود، به کاربر امکان می‌دهد تا به سرعت پیمایش کند، زیرمجموعه‌ای آشکارا مرتبط‌تر را انتخاب کند و زیرمجموعه‌ای آشکارا کمتر مرتبط را حذف کند. افزایش قابلیت استفاده از رابط در مقایسه با خروجی در قالب یک لیست ساده مرتب شده بر اساس ارتباط.
  • Clusty یک موتور جستجوی خوشه‌بندی از Vivísimo است
  • Nigma - موتور جستجوی روسی با خوشه بندی خودکار نتایج
  • Quintura - خوشه بندی بصری در قالب یک ابر کلمه کلیدی
• تقسیم بندی تصویر تقسیم بندی تصویر) - از خوشه بندی می توان برای پارتیشن بندی استفاده کرد تصویر دیجیتالبه مناطق جداگانه برای تشخیص مرزها (eng. تشخیص لبه) یا تشخیص شی.
• داده کاوی داده کاوی)- خوشه بندی در داده کاوی زمانی ارزش پیدا می کند که به عنوان یکی از مراحل تجزیه و تحلیل داده ها و ساخت یک راه حل تحلیلی کامل عمل کند. اغلب برای یک تحلیلگر شناسایی گروه هایی از اشیاء مشابه، مطالعه ویژگی های آنها و ساختن یک مدل جداگانه برای هر گروه آسان تر از ایجاد یک مدل است. مدل کلیبرای همه داده ها این تکنیک به طور مداوم در بازاریابی، شناسایی گروه هایی از مشتریان، خریداران، محصولات و تدوین استراتژی جداگانه برای هر یک از آنها استفاده می شود.

همچنین ببینید

یادداشت ها

پیوندها

• www.MachineLearning.ru - منبع ویکی حرفه ای که به یادگیری ماشین و داده کاوی اختصاص داده شده است

• COMPACT - بسته مقایسه ای برای ارزیابی خوشه بندی. بسته رایگان Matlab، 2006.
• پی برخین، بررسی تکنیک های داده کاوی خوشه بندی, Accrue Software, 2002.
• جین، مورتی و فلین: خوشه بندی داده ها: یک بررسی, ACM Comp. Surv.، 1999.
• برای ارائه دیگری از میانگین های سلسله مراتبی، k-means و c-means فازی این مقدمه برای خوشه بندی را ببینید. همچنین توضیحی در مورد مخلوط گاوسیان دارد.
• دیوید دوو صفحه مدل سازی مخلوط- سایر پیوندهای مدل خوشه‌بندی و مخلوط.
• آموزش خوشه بندی
• کتاب درسی آنلاین: نظریه اطلاعات، استنتاج و الگوریتم های یادگیری، نوشته دیوید جی سی. مک کی شامل فصول مربوط به خوشه بندی k-means، خوشه بندی k-means نرم، و مشتقاتی از جمله الگوریتم E-M و نمای متغیر الگوریتم E-M است.
• "ژن خودسازماندهی"، آموزش توضیح خوشه بندی از طریق یادگیری رقابتی و نقشه های خودسازماندهی.
• kernlab - بسته R برای یادگیری ماشین مبتنی بر هسته (شامل اجرای خوشه بندی طیفی)
• آموزش - آموزش با معرفی الگوریتم های خوشه بندی (k-means، فازی-c-means، سلسله مراتبی، مخلوطی از گاوسیان) + چند نسخه نمایشی تعاملی (ابزارهای جاوا)
• نرم افزار داده کاوی - نرم افزار داده کاوی اغلب از تکنیک های خوشه بندی استفاده می کند.
• برنامه یادگیری رقابتی جاوا مجموعه ای از شبکه های عصبی بدون نظارت برای خوشه بندی. به زبان جاوا نوشته شده است. کامل با تمام کد منبع.
• نرم افزار یادگیری ماشین - همچنین شامل بسیاری از نرم افزارهای خوشه بندی است.

، مدیریت دولتی، زبان شناسی، مردم شناسی، بازاریابی، جامعه شناسی، زمین شناسی و سایر رشته ها. با این حال، جهانی بودن کاربرد منجر به ظهور تعداد زیادی از اصطلاحات، روش‌ها و رویکردهای ناسازگار شده است که استفاده بدون ابهام و تفسیر منسجم از تحلیل خوشه‌ای را دشوار می‌کند.

یوتیوب دایره المعارفی

• 1 / 5

  تحلیل خوشه ای وظایف اصلی زیر را انجام می دهد:

  • توسعه یک نوع شناسی یا طبقه بندی.
  • کاوشی از طرح‌های مفهومی مفید برای گروه‌بندی اشیا.
  • ایجاد فرضیه بر اساس اکتشاف داده ها.
  • آزمایش فرضیه یا تحقیق برای تعیین اینکه آیا انواع (گروه‌های) شناسایی‌شده به روشی واقعی در داده‌های موجود وجود دارند یا خیر.

  صرف نظر از موضوع مطالعه، استفاده از تحلیل خوشه ای شامل مراحل زیر است:

  • انتخاب نمونه برای خوشه بندی مفهوم این است که خوشه بندی فقط داده های کمی منطقی است.
  • تعیین مجموعه متغیرهایی که توسط آنها اشیاء در نمونه ارزیابی می شوند، یعنی فضای ویژگی.
  • محاسبه مقادیر یک معیار خاص از شباهت (یا تفاوت) بین اشیاء.
  • استفاده از روش تحلیل خوشه ای برای ایجاد گروه هایی از اشیاء مشابه.
  • بررسی قابلیت اطمینان نتایج راه حل خوشه ای.

  می توانید شرحی از دو الزام اساسی برای داده ها پیدا کنید - همگنی و کامل بودن. همگنی مستلزم آن است که همه موجودیت های خوشه ای از یک ماهیت باشند و با مجموعه ای از ویژگی های مشابه توصیف شوند. اگر تجزیه و تحلیل خوشه قبل از تجزیه و تحلیل عاملی باشد، نمونه نیازی به "تعمیر" ندارد - الزامات اعلام شده به طور خودکار توسط روش مدل سازی عاملی برآورده می شود (مزیت دیگری وجود دارد - استانداردسازی z بدون عواقب منفی برای نمونه؛ اگر به طور مستقیم برای تجزیه و تحلیل خوشه ای انجام می شود، می تواند منجر به کاهش وضوح تقسیم گروه ها شود). در غیر این صورت، نمونه نیاز به تنظیم دارد.

  گونه شناسی مسائل خوشه بندی

  انواع ورودی

  در علم مدرن از چندین الگوریتم برای پردازش داده های ورودی استفاده می شود. تجزیه و تحلیل با مقایسه اشیاء بر اساس ویژگی ها (متداول ترین در علوم زیستی) نامیده می شود س- نوع تجزیه و تحلیل و در مورد مقایسه ویژگی ها بر اساس اشیا - آر-نوع تحلیل تلاش هایی برای استفاده از انواع ترکیبی از تجزیه و تحلیل وجود دارد (به عنوان مثال، RQ-تحلیل)، اما این روش هنوز به درستی توسعه نیافته است.

  اهداف خوشه بندی

  • درک داده ها با شناسایی ساختار خوشه. تقسیم نمونه به گروه‌هایی از اشیاء مشابه این امکان را فراهم می‌آورد که پردازش و تصمیم‌گیری بیشتر داده‌ها را با استفاده از روش متفاوتی از تجزیه و تحلیل برای هر خوشه (استراتژی «تقسیم و تسلط») ساده‌تر کند.
  • فشرده سازی داده ها اگر نمونه اصلی بیش از حد بزرگ است، می توانید آن را کاهش دهید و یک نماینده معمولی از هر خوشه باقی بگذارید.
  • تشخیص تازگی اشیاء غیر معمولی شناسایی می شوند که نمی توانند به هیچ یک از خوشه ها متصل شوند.

  در حالت اول سعی می کنند تعداد خوشه ها را کوچکتر کنند. در مورد دوم، اطمینان از درجه بالایی از شباهت اشیاء در هر خوشه مهم تر است و می تواند هر تعداد خوشه وجود داشته باشد. در مورد سوم، جالب ترین اشیاء فردی هستند که در هیچ یک از خوشه ها قرار نمی گیرند.

  در تمام این موارد می توان از خوشه بندی سلسله مراتبی استفاده کرد، زمانی که خوشه های بزرگ به خوشه های کوچکتر تقسیم می شوند که به نوبه خود به خوشه های کوچکتر و غیره تقسیم می شوند. به چنین مسائلی مسائل طبقه بندی می گویند. طبقه بندی منجر به یک ساختار سلسله مراتبی درخت مانند می شود. علاوه بر این، هر شی با فهرستی از تمام خوشه هایی که به آنها تعلق دارد مشخص می شود، معمولاً از بزرگ به کوچک.

  روش های خوشه بندی

  هیچ طبقه‌بندی پذیرفته‌شده‌ای برای روش‌های خوشه‌بندی وجود ندارد، اما تعدادی از روش‌ها را می‌توان متمایز کرد (برخی از روش‌ها را می‌توان به چند گروه در یک زمان طبقه‌بندی کرد و بنابراین پیشنهاد می‌شود که این گونه‌بندی به عنوان تقریبی به طبقه‌بندی واقعی روش‌های خوشه‌بندی در نظر گرفته شود. ):

  1. رویکرد احتمالی. فرض بر این است که هر شیء مورد بررسی متعلق به یکی از کلاس های k است. برخی از نویسندگان (به عنوان مثال، A.I. Orlov) معتقدند که این گروه به هیچ وجه به خوشه بندی مربوط نمی شود و با نام "تبعیض"، یعنی انتخاب تخصیص اشیا به یکی از گروه های شناخته شده (نمونه های آموزشی) با آن مخالفت می کنند.
  2. رویکردهای مبتنی بر سیستم‌های هوش مصنوعی: یک گروه بسیار مشروط، زیرا روش‌های زیادی وجود دارد و از نظر روش‌شناسی بسیار متفاوت هستند.
  3. رویکرد منطقی دندروگرام با استفاده از درخت تصمیم ساخته می شود.
  4. رویکرد تئوری گراف.
  5. رویکرد سلسله مراتبی. وجود گروه‌های تودرتو (خوشه‌های راسته‌های مختلف) فرض می‌شود. الگوریتم ها به نوبه خود به دو دسته انبوهی (یکپارچه کننده) و تقسیمی (جداکننده) تقسیم می شوند. بر اساس تعداد ویژگی ها، گاه روش های طبقه بندی توحیدی و چندگانه را از هم متمایز می کنند.
     • خوشه بندی تقسیمی سلسله مراتبی یا طبقه بندی. مشکلات خوشه‌بندی در یک طبقه‌بندی کمی بررسی می‌شوند.
  6. روش های دیگر. در گروه های قبلی گنجانده نشده است.
     • الگوریتم های خوشه بندی آماری
     • مجموعه ای از خوشه
     • الگوریتم های خانواده KRAB
     • الگوریتم بر اساس روش الک

  رویکردهای 4 و 5 گاهی با نام رویکرد ساختاری یا هندسی ترکیب می‌شوند که مفهومی رسمی‌تر از مجاورت دارد. علیرغم تفاوت های قابل توجه بین روش های ذکر شده، همه آنها به روش اصلی تکیه می کنند. فرضیه فشردگی«: در فضای اجسام، همه اشیای نزدیک باید به یک خوشه تعلق داشته باشند و بر این اساس، همه اشیاء مختلف باید در خوشه های مختلف باشند.

  فرمول بندی رسمی مسئله خوشه بندی

  اجازه دهید X (\displaystyle X)- بسیاری از اشیاء، Y (\displaystyle Y)- مجموعه ای از اعداد (نام، برچسب ها) از خوشه ها. تابع فاصله بین اشیاء مشخص شده است ρ (x، x ′) (\displaystyle \rho (x,x)). یک نمونه آموزشی محدود از اشیاء وجود دارد X m = ( x 1 , … , x m ) ⊂ X (\displaystyle X^(m)=\(x_(1),\dots,x_(m)\)\زیر مجموعه X). لازم است که نمونه را به زیرمجموعه های مجزا به نام تقسیم کرد خوشه ها، به طوری که هر خوشه از اشیایی تشکیل شده است که از نظر متریک مشابه هستند ρ (\displaystyle \rho)، و اشیاء خوشه های مختلف به طور قابل توجهی متفاوت بودند. در همان زمان، هر شی x i ∈ X m (\displaystyle x_(i)\in X^(m))شماره خوشه اختصاص داده شده است y i (\displaystyle y_(i)).

  الگوریتم خوشه بندییک تابع است a: X → Y (\displaystyle a\colon X\to Y)، که به هر شی x ∈ X (\displaystyle x\in X)با شماره خوشه مطابقت دارد y ∈ Y (\displaystyle y\in Y). بسیاری Y (\displaystyle Y)در برخی موارد از قبل شناخته شده است، اما بیشتر اوقات وظیفه تعیین تعداد بهینه خوشه ها از نقطه نظر یک یا دیگری است. معیارهای کیفیتخوشه بندی

  به طور کلی، شایان ذکر است که از نظر تاریخی، معیارهای تشابه به جای معیارهای تفاوت (فاصله) اغلب به عنوان معیارهای نزدیکی در زیست شناسی مورد استفاده قرار می گیرند.

  در جامعه شناسی

  هنگام تجزیه و تحلیل نتایج تحقیقات جامعه شناختی، توصیه می شود که تجزیه و تحلیل را با استفاده از روش های خانواده تراکم سلسله مراتبی، یعنی روش Ward انجام دهید، که در آن حداقل پراکندگی درون خوشه ها بهینه می شود و در نهایت خوشه هایی با اندازه های تقریباً مساوی ایجاد می شود. روش وارد برای تحلیل داده های جامعه شناختی مناسب ترین است. معیار بهتری برای تفاوت فاصله اقلیدسی درجه دوم است که به افزایش کنتراست خوشه ها کمک می کند. نتیجه اصلی تجزیه و تحلیل خوشه سلسله مراتبی یک دندروگرام یا "نمودار یخی" است. در هنگام تفسیر آن، محققان با همان مشکلی مواجه می شوند که تفسیر نتایج تحلیل عاملی وجود دارد - فقدان معیارهای واضح برای شناسایی خوشه ها. توصیه می شود از دو روش اصلی استفاده شود - تجزیه و تحلیل بصری دندروگرام و مقایسه نتایج خوشه بندی انجام شده با روش های مختلف.

  تجزیه و تحلیل بصری دندروگرام شامل "بریدن" درخت در سطح بهینه شباهت عناصر نمونه است. توصیه می‌شود که شاخه انگور را در سطح 5 از مقیاس ترکیبی خوشه‌ای فاصله‌گذاری مجدد، قطع کنید (اصطلاحات M. S. Oldenderfer و R. K. Blashfield)، بنابراین سطح شباهت 80٪ به دست می‌آید. اگر شناسایی خوشه‌ها با استفاده از این برچسب دشوار است (چند خوشه کوچک در یک خوشه بزرگ ادغام می‌شوند)، می‌توانید برچسب دیگری را انتخاب کنید. این تکنیک توسط Oldenderfer و Blashfield پیشنهاد شده است.

  اکنون این سوال در مورد پایداری راه حل خوشه ای اتخاذ شده مطرح می شود. در اصل، بررسی پایداری خوشه‌بندی به بررسی قابلیت اطمینان آن ختم می‌شود. در اینجا یک قاعده کلی وجود دارد - زمانی که روش های خوشه بندی تغییر می کند، یک گونه شناسی پایدار حفظ می شود. نتایج تجزیه و تحلیل خوشه سلسله مراتبی را می توان با تحلیل خوشه ای تکراری با استفاده از روش k-means تأیید کرد. اگر طبقه‌بندی‌های مقایسه شده گروه‌های پاسخ‌دهندگان دارای نرخ تصادفی بیش از 70٪ (بیش از 2/3 از منطبق‌ها) باشند، تصمیم خوشه‌ای گرفته می‌شود.

  بررسی کفایت یک راه حل بدون توسل به نوع دیگری از تجزیه و تحلیل غیرممکن است. حداقل از نظر تئوری این مشکل حل نشده است. مقاله کلاسیک اولنددرفر و بلاشفیلد، تحلیل خوشه‌ای، به تفصیل بحث می‌کند و در نهایت پنج روش دیگر تست استحکام را رد می‌کند:

  1. همبستگی cophenetic - توصیه نمی شود و در استفاده محدود است.
  2. آزمون های معنی داری (تجزیه و تحلیل واریانس) - همیشه نتیجه قابل توجهی می دهد.
  3. تکنیک نمونه گیری مکرر (تصادفی) که با این حال اعتبار تصمیم را ثابت نمی کند.
  4. آزمون های اهمیت برای ویژگی های خارجی فقط برای اندازه گیری های مکرر مناسب هستند.
  5. روش‌های مونت کارلو بسیار پیچیده هستند و فقط برای ریاضیدانان با تجربه قابل دسترسی هستند. (eng. edge detection) یا تشخیص شی.
  6. تجزیه و تحلیل هوشمند داده ها (به انگلیسی: data mining) - خوشه بندی در داده کاوی زمانی ارزش پیدا می کند که به عنوان یکی از مراحل تجزیه و تحلیل داده ها و ساخت یک راه حل تحلیلی کامل عمل کند. شناسایی گروه‌هایی از اشیاء مشابه، مطالعه ویژگی‌های آن‌ها و ساختن یک مدل مجزا برای هر گروه، برای یک تحلیلگر اغلب آسان‌تر از ایجاد یک مدل کلی برای همه داده‌ها است. این تکنیک به طور مداوم در بازاریابی، شناسایی گروه های مشتریان، خریداران، محصولات و تدوین استراتژی جداگانه برای هر یک از آنها استفاده می شود.