مروری بر معدن قانون انجمن و برنامه های کاربردی آن

Abhinav یک تحلیلگر داده در ارتقا است. او یک تحلیلگر با تجربه با سابقه کار در صنعت آموزش عالی است. فن آوری اطلاعات قوی حرفه ای در پایتون ، ...

آخرین به روز شده: 29 سپتامبر 2022 11 دقیقه بخوانید Home> Data Science>مروری بر معدن قانون انجمن و برنامه های کاربردی آن

همانطور که از نام آن آمده است ، قوانین انجمن ساده است اگر/سپس اظهاراتی که به کشف روابط بین بانکهای اطلاعاتی رابطه ای به ظاهر مستقل یا سایر مخازن داده کمک می کند ، ساده است.

بیشتر الگوریتم های یادگیری ماشین با مجموعه داده های عددی کار می کنند و از این رو تمایل به ریاضی دارند. با این حال ، معدن قانون ارتباط برای داده های غیر عددی مناسب است و فقط کمی بیشتر از شمارش ساده نیاز دارد.

معادن قانون انجمن روشی است که هدف آن مشاهده الگوهای ، همبستگی ها یا ارتباطات موجود در مجموعه داده های موجود در انواع مختلف بانکهای اطلاعاتی مانند پایگاه داده های رابطه ای ، بانکهای اطلاعاتی معاملاتی و سایر اشکال مخازن است.

فهرست مطالب

اما قانون ارتباط چیست؟

قانون ارتباط یک تکنیک یادگیری است که به شناسایی وابستگی بین دو مورد داده کمک می کند. بر اساس وابستگی ، سپس بر این اساس نقشه می کند تا سودآورتر باشد. علاوه بر این ، قانون ارتباط به دنبال ارتباطات جالبی بین متغیرهای مجموعه داده است. بدون شک یکی از مهمترین مفاهیم یادگیری ماشین است و در موارد مختلف از جمله ارتباط در داده کاوی و تولید مداوم ، از جمله دیگر مورد استفاده قرار گرفته است. با این حال ، مانند سایر تکنیک های دیگر ، ارتباط در داده کاوی نیز مجموعه معایب خاص خود را دارد. در این مقاله به طور خلاصه مورد بحث قرار گرفته است.

یک قانون انجمن دارای 2 بخش است:

پیشینه چیزی است که در داده ها یافت می شود ، و نتیجه آن موردی است که در ترکیب با پیشین یافت می شود. به عنوان مثال به این قانون نگاهی بیندازید:

"اگر مشتری نان بخرد ، 70 ٪ احتمال خرید شیر را دارد."

در قانون ارتباط فوق ، نان پیشین است و شیر متعاقباً است. به عبارت ساده تر ، می توان آن را به عنوان قانون انجمن خرده فروشی فروشگاه ها درک کرد تا مشتریان خود را بهتر هدف قرار دهد. اگر قانون فوق نتیجه تجزیه و تحلیل کامل برخی از مجموعه داده ها باشد ، می توان از آن استفاده کرد که نه تنها خدمات به مشتری را بهبود بخشد بلکه درآمد شرکت را نیز بهبود بخشد. قوانین انجمن با تجزیه و تحلیل کامل داده ها و جستجوی الگوهای مکرر اگر/سپس ایجاد می شوند. سپس ، بسته به دو پارامتر زیر ، روابط مهم مشاهده می شود:

1. پشتیبانی: پشتیبانی نشان می دهد که رابطه IF/سپس در پایگاه داده ظاهر می شود.
2. اعتماد به نفس: اعتماد به نفس در مورد تعداد دفعاتی که این روابط درست است ، می گوید.

بنابراین ، در یک معامله معین با چندین مورد ، معدن قاعده انجمن در درجه اول سعی می کند قوانینی را پیدا کند که حاکی از آن باشد که چگونه یا چرا چنین محصولات/مواردی اغلب با هم خریداری می شوند. به عنوان مثال ، کره بادام زمینی و ژله غالباً با هم خریداری می شوند زیرا بسیاری از افراد دوست دارند ساندویچ PB& J بسازند.

معادن قانون انجمن گاهی اوقات به عنوان "تجزیه و تحلیل سبد بازار" گفته می شود ، زیرا اولین حوزه کاربرد معدن انجمن بود. هدف این است که ارتباطات مواردی را که بیشتر از آنچه انتظار دارید از نمونه گیری تصادفی همه امکانات در کنار هم قرار بگیرید ، کشف کنیم. حکایات کلاسیک آبجو و پوشک به درک بهتر این امر کمک می کند.

داستان به این صورت پیش می رود: مردان جوان آمریکایی که روزهای جمعه برای خرید پوشک به فروشگاه ها می روند ، مستعد ابتلا به یک بطری آبجو نیز هستند. هرچند نامربوط و مبهم که ممکن است برای ما افراد غیرمستقیم به نظر برسد ، معدن قاعده انجمن به ما نشان می دهد که چگونه و چرا! بیایید خودمان کمی تحلیلی انجام دهیم ، باید؟فرض کنید پایگاه داده معاملات خرده فروشی یک فروشگاه X شامل داده های زیر است:

• تعداد کل معاملات: 600000
• معاملات حاوی پوشک: 7،500 (1. 25 درصد)
• معاملات حاوی آبجو: 60،000 (10 درصد)
• معاملات حاوی آبجو و پوشک: 6000 (1. 0 درصد)

از ارقام فوق می توان نتیجه گرفت که اگر هیچ ارتباطی بین آبجو و پوشک وجود نداشته باشد (یعنی آنها از نظر آماری مستقل بودند) ، پس ما فقط 10 ٪ از خریداران پوشک را برای خرید آبجو نیز می گرفتیم.

با این حال ، هرچه به نظر می رسد تعجب آور است ، این ارقام به ما می گویند که 80 ٪ (= 6000/7500) از افرادی که پوشک می خرند نیز آبجو می خرند. این یک پرش قابل توجه 8 بر آنچه که احتمال انتظار بود وجود دارد. این عامل افزایش به عنوان آسانسور شناخته می شود-که نسبت فرکانس مشاهده شده از وقوع همزمان موارد ما و فرکانس مورد انتظار است.

چگونه آسانسور را تعیین کردیم؟به سادگی با محاسبه معاملات در پایگاه داده و انجام عملیات ساده ریاضی. بنابراین ، به عنوان مثال ، یک قانون ارتباط قابل قبول می تواند بیان کند که افرادی که پوشک خریداری می کنند نیز آبجو را با ضریب آسانسور 8 خریداری می کنند. اگر از نظر ریاضی صحبت کنیم ، آسانسور را می توان به عنوان نسبت احتمال مشترک دو مورد x محاسبه کردو y ، تقسیم بر محصول احتمالات آنها. LIFT = P (x ، y)/[p (x) p (y)] با این حال ، اگر این دو مورد از نظر آماری مستقل باشند ، احتمال مشترک این دو مورد همان محصول احتمالات آنها خواهد بود. یا به عبارت دیگر ، p (x ، y) = p (x) p (y) ، که باعث می شود فاکتور آسانسور = 1. نکته جالب توجه در اینجا این باشد که ضد همبستگی حتی می تواند مقادیر آسانسور کمتر از 1 را به همراه داشته باشد-که مربوط به موارد منحصر به فرد است که به ندرت در کنار هم اتفاق می افتد. معادن قانون انجمن به داده ها به دانشمندان کمک کرده است تا الگویی را که هرگز نمی دانستند وجود داشته باشند ، پیدا کنند. اصول اساسی آمار برای علوم داده

انواع قوانین انجمن در داده کاوی

به طور معمول چهار نوع مختلف از قوانین ارتباط در داده کاوی وجود دارد. آن ها هستند

• قوانین انجمن چند مرتبط
• قاعده انجمن تعمیم یافته
• قوانین انجمن اطلاعات فاصله
• قوانین انجمن کمی

قانون انجمن چند مرتبط

همچنین به عنوان MRAR شناخته می شود ، قانون ارتباط چند مرتبط به عنوان طبقه جدیدی از قوانین انجمن تعریف می شود که معمولاً از پایگاه داده های مختلف یا چند مرتبط گرفته می شوند. هر قانون تحت این کلاس دارای یک موجودیت با روابط مختلف است که نشان دهنده روابط غیرمستقیم بین موجودات است.

قاعده انجمن تعمیم یافته

با حرکت به نوع بعدی قانون ارتباط ، قانون انجمن عمومی تا حد زیادی برای به دست آوردن ایده ای خشن در مورد الگوهای جالب که اغلب تمایل به پنهان ماندن در داده ها دارند ، استفاده می شود.

قوانین انجمن کمی

این نوع خاص در واقع یکی از منحصر به فرد ترین انواع هر چهار قانون انجمن موجود است. آنچه که آن را از دیگران جدا می کند ، وجود ویژگی های عددی حداقل در یک ویژگی از قوانین کمی ارتباط است. این برخلاف قانون انجمن عمومی است ، جایی که طرف های چپ و راست از ویژگی های طبقه بندی شده تشکیل شده اند.

الگوریتم های قانون همکار در داده کاوی

عمدتا سه نوع الگوریتم مختلف وجود دارد که می تواند برای تولید قوانین همکار در داده کاوی استفاده شود. بیایید نگاهی به آنها بیندازیم.

• الگوریتم

الگوریتم Apriori موارد مکرر فردی را در یک پایگاه داده خاص مشخص می کند و سپس آنها را در مجموعه های بزرگتر گسترش می دهد و بررسی می کند که مجموعه های مورد به اندازه کافی اغلب در پایگاه داده ظاهر می شوند.

الگوریتم Eclat همچنین به عنوان خوشه بندی کلاس هم ارزی و پایین شناخته می شود. Traversal Latice یکی دیگر از روشهای پرکاربرد برای قانون همکار در داده کاوی است. برخی حتی آن را یک نسخه بهتر و کارآمد تر الگوریتم Apriori می دانند.

• FP-Growth Algorirthm

همچنین به عنوان الگوی مکرر شناخته می شود ، این الگوریتم به ویژه برای یافتن الگوهای مکرر بدون نیاز به تولید نامزد مفید است. این برنامه عمدتاً در دو مرحله فعالیت می کند ، یعنی ساخت درخت FP و استخراج مجموعه های مورد استفاده اغلب.

اکنون که شما درک اساسی از آنچه قانون ارتباط است ، دارید ،

مهارت های برتر علوم داده برای یادگیری در سال 2022

بیایید به برخی از زمینه هایی که معدن قانون انجمن بسیار کمک کرده است نگاه کنیم:

تجزیه و تحلیل سبد بازار:

این معمولی ترین نمونه از معادن انجمن است. داده ها با استفاده از اسکنرهای بارکد در اکثر سوپر مارکت ها جمع آوری می شوند. این پایگاه داده ، که به عنوان پایگاه داده "سبد بازار" شناخته می شود ، شامل تعداد زیادی از سوابق مربوط به معاملات گذشته است. یک رکورد واحد تمام موارد خریداری شده توسط مشتری را در یک فروش لیست می کند. دانستن اینکه کدام گروه ها تمایل دارند که مجموعه ای از وسایل به این مغازه ها آزادی تنظیم طرح فروشگاه و کاتالوگ فروشگاه را می دهد تا بهینه را در مورد یکدیگر قرار دهند.

دوره های علوم داده محبوب ما را کاوش کنید

هدف از تجزیه و تحلیل بازو ، توصیف جذاب ترین الگوهای به طور مؤثر است. تجزیه و تحلیل سبد بازار یا MBA ، که اغلب از آن به عنوان تجزیه و تحلیل بازو یاد می شود ، تکنیکی برای شناسایی الگوهای مصرف کننده توسط انجمن های معدن از پایگاه داده های معاملاتی فروشگاه است. هر کالایی امروز شامل یک بارکد است. بخش شرکتی به سرعت این اطلاعات را به عنوان ارزش بالقوه عظیم در بازاریابی ثبت می کند. مشاغل تجاری به ویژه به "قوانین انجمن" علاقه مند هستند که روندها را نشان می دهد به گونه ای که گنجاندن یک چیز در یک سبد نشان دهنده کسب یک یا چند مورد بعدی است. از نتایج این "تجزیه و تحلیل سبد بازار" می توان برای پیشنهاد جفت شدن محصول استفاده کرد. این به مدیران در تصمیم گیری های کارآمد کمک می کند.

از روشهای داده کاوی (DM) نیز برای شناسایی گروه هایی از مواردی که در همان زمان خریداری می شوند استفاده می شود. انتخاب کالاها برای قرار دادن در کنار یکدیگر در قفسه های فروشگاه ممکن است به افزایش چشمگیر فروش کمک کند. از دو مرحله زیر می توان برای تجزیه مسئله بازو استفاده کرد.

1. گروه هایی از اشیاء یا مجموعه های مورد را با پشتیبانی از عملکرد بالاتر از حداقل پشتیبانی مشخص شده پیدا کنید. مجموعه های مورد تکرار مواردی هستند که حداقل پشتیبانی را دارند.
2. برای تولید الگوهای مکرر برای بانکهای اطلاعاتی ، از مجموعه های بزرگ استفاده کنید.

تشخیص پزشکی:

قوانین انجمن در تشخیص پزشکی می تواند برای کمک به پزشکان برای درمان بیماران مفید باشد. تشخیص یک فرآیند آسان نیست و دامنه خطاها دارد که ممکن است منجر به نتایج نهایی غیرقابل اعتماد شود. با استفاده از استخراج قانون ارتباط ارتباط ، می توانیم احتمال بروز بیماری در مورد عوامل و علائم مختلف را شناسایی کنیم. علاوه بر این ، با استفاده از تکنیک های یادگیری ، این رابط را می توان با اضافه کردن علائم جدید و تعریف روابط بین علائم جدید و بیماری های مربوطه گسترش داد.

وبینار علوم داده اختصاصی ارتقاء برای شما -

تحول و فرصت ها در تجزیه و تحلیل و بینش

3. داده های سرشماری:

هر دولت دارای داده های سرشماری است. این داده ها می توانند برای برنامه ریزی خدمات عمومی کارآمد (آموزش ، بهداشت ، حمل و نقل) و همچنین کمک به مشاغل عمومی (برای راه اندازی کارخانه های جدید ، مراکز خرید و حتی بازاریابی محصولات خاص) استفاده شوند. این کاربرد معدنکاری قانون و داده های کاوی در حمایت از سیاست های عمومی سالم و ارائه عملکرد کارآمد از یک جامعه دموکراتیک ، پتانسیل عظیمی دارد.

دنباله پروتئین:

پروتئین ها توالی هایی هستند که از بیست نوع اسید آمینه تشکیل شده اند. هر پروتئین دارای یک ساختار سه بعدی منحصر به فرد است که به توالی این اسیدهای آمینه بستگی دارد. تغییر جزئی در دنباله می تواند باعث تغییر در ساختار شود که ممکن است عملکرد پروتئین را تغییر دهد. این وابستگی به پروتئین عملکرد به توالی اسید آمینه آن موضوعی از تحقیقات عالی بوده است. پیش از این تصور می شد که این سکانس ها تصادفی هستند ، اما اکنون اعتقاد بر این است که آنها اینگونه نیستند. Nitin Gupta ، Nitin Mangal ، Kamal Tiwari و Pabitra Mitra ماهیت ارتباط بین اسیدهای آمینه مختلف را که در یک پروتئین وجود دارند ، رمزگشایی کرده اند. دانش و درک این قوانین انجمن در طول سنتز پروتئین های مصنوعی بسیار مفید خواهد بود.

مقالات محبوب علوم داده ما را بخوانید

1. ساختن یک سیستم حمل و نقل هوشمند

سیستم حمل و نقل هوشمند (ITS) از فناوری پرتوهای برش ، فناوری هوشمند و سوئیچینگ فناوری در سراسر صفحه ادغام می کند. یک سیستم کنترل حمل و نقل انعطاف پذیر ، دقیق ، به موقع و سازمان یافته ، پایه و اساس یک سیستم حمل و نقل هوشمند است.

سیستم ترافیک پیشرفته (ITS) در یک شبکه آموزنده جمع شده و با استفاده از سنسورها در پارکینگ ها و مراکز آب و هوایی ، اتومبیل ها ، ایستگاه های انتقال و تجهیزات انتقال برای حمل مراکز اطلاعاتی در سراسر اطلاعات ترافیک ایجاد شده است.

این سیستم با تجزیه و تحلیل داده های زمان واقعی در مورد شرایط ترافیک ، در دسترس بودن پارکینگ و سایر اطلاعات مربوط به سفر ، تمام داده ها را جمع می کند. سپس سیستم از داده ها برای انتخاب بهترین مسیرها استفاده می کند. الزامات زیر برای استفاده از آن باید برآورده شود:

1. جمع آوری داده های معتبر ، صحیح و واقعی جاده و ترافیک.
2. تبادل اطلاعات کارآمد و قابل اعتماد بین مدیریت ترافیک و تسهیلات مدیریت جاده.
3. استفاده از برنامه های نرم افزاری خودآموزی توسط مراکز مدیریت عوارض ترافیک. در مورد انتخاب مسیر تصمیم بگیرید.

بهترین ابزارها برای معدن قاعده انجمن

بهترین راه برای درک آنچه که معدن قانون ارتباط است ، درک ابزارهای آن و نحوه کار آنهاست. قانون دانشیار به عنوان معدن قانون ارتباط شناخته می شود ، جایی که از مدل ها و ابزارهای متنوعی برای تجزیه و تحلیل الگوهای موجود در مجموعه داده ها استفاده می کند. قوانین انجمن در داده کاوی ابزارهای شگفت انگیزی دارد. ما لیستی از برخی از ابزارهای شگفت انگیز منبع باز داریم که برای کار با قوانین انجمن در داده کاوی عالی هستند.

• Weka - محیط Waikato برای تجزیه و تحلیل دانش

یکی دیگر از ابزارهای آزاد و منبع باز برای قانون ارتباط در داده کاوی ، Weka است. از رابط کاربری گرافیکی یا برنامه های ترمینال مشترک برای دسترسی به آن استفاده می شود. علاوه بر این ، از طریق یک API جاوا قابل دسترسی است و برای تهیه داده ها ، توسعه الگوریتم یادگیری ماشین و تجسم داده ها تقریباً در مورد هر سیستم استفاده می شود. Weka شامل تعدادی از تکنیک های ML است که ممکن است برای پرداختن به مسائل واقعی کاوی داده استفاده شود.

یکی دیگر از ابزارهای معروف تحلیلی پیشرفته منبع باز ، RapidMiner است. این به دلیل رابط بصری کاربر پسند خود شناخته شده است. این کاربران را قادر می سازد تا به هر منبع داده ، از جمله شبکه های اجتماعی ، ذخیره سازی ابری ، برنامه های تجاری و فروشگاه های داده های شرکت متصل شوند. علاوه بر این ، به منظور تهیه داده ها و تجزیه و تحلیل ، RapidMiner شامل پردازش اتوماتیک در بخش داده است. این یک ابزار عالی برای قانون ارتباط در داده کاوی است.

یک ابزار منبع باز به نام نارنجی در درجه اول برای پردازش و نمایش داده ها استفاده می شود. از نارنجی برای کشف و داده های پردازش استفاده می شود. همچنین به عنوان یک ابزار مدل سازی که در پایتون نوشته شده است استفاده می شود. در نارنجی ، برای استفاده از ARM ، باید افزودنی را برای نصب "Associate" انتخاب کنید. این افزودنی ها علاوه بر آن ، تجزیه و تحلیل شبکه ، استخراج متن و NLP را نیز فعال می کنند. Orange یکی از محبوب ترین ابزارهای مربوط به قانون انجمن در داده کاوی است.

قانون دانشیار به عنوان تجزیه و تحلیل وابستگی نیز شناخته می شود ، که از این ابزارها برای یافتن تمام الگوهای ممکن و همزمان استفاده می کند. این ابزارها باید برای پاسخ به سؤالات شما و تردید در مورد آنچه که معادن قانون ارتباط و نحوه عملکرد آن است ، کافی باشد!

با این کار ، امیدوارم که بتوانم همه چیزهایی را که شما باید در مورد معدن قاعده انجمن بدانید روشن کنم. اگر اتفاق می افتد که شک ، پرس و جو یا پیشنهادات دارید - آنها را در نظرات زیر رها کنید!

چند نمونه از برنامه های معدن قانون ارتباط چیست؟

تکنیکی برای شناسایی الگوهای مشترک ، همبستگی ها ، پیوندها و ساختارهای علی از مجموعه داده های ذخیره شده در پایگاه داده های مختلف ، از جمله بانکهای اطلاعاتی رابطه ای ، بانکهای اطلاعاتی معامله ای و سایر اشکال مخازن داده ، به عنوان معدن قانون ارتباط شناخته می شود. معدن قانون انجمن امکان یافتن اتصالات جالب و پیوندهای جالب بین مجموعه های بزرگ موارد داده را فراهم می کند. این قانون مشخص می کند که چند مورد خاص در یک معامله ظاهر می شود. مثال خوب تجزیه و تحلیل مبتنی بر بازار است. قوانین انجمن برای تجزیه و تحلیل و پیش بینی رفتار مصرف کننده در داده کاوی بسیار مهم است. تجزیه و تحلیل مشتری ، تجزیه و تحلیل سبد بازار ، خوشه بندی محصول ، طراحی کاتالوگ و چیدمان فروشگاه همه نمونه هایی از محل کار خود هستند. برای ایجاد برنامه های یادگیری ماشین ، برنامه نویسان از قوانین انجمن استفاده می کنند.

وقتی صحبت از قوانین انجمن معدن می شود ، چرا اصل آپریوری مؤثر است؟

برای آیتم های مکرر مجموعه معدن و یادگیری قانون ارتباط ، Apori یک الگوریتم پایگاه داده رابطه ای است. این کار با پیدا کردن رایج ترین موارد فردی در پایگاه داده و سپس گسترش آنها به مجموعه موارد بزرگتر و بزرگتر تا زمانی که این مجموعه های مورد به اندازه کافی ظاهر شوند. روش apriori برای استفاده با پایگاه داده های معامله در نظر گرفته شده است و با استفاده از موارد مکرر قوانین ارتباط را ایجاد می کند. این معیارهای ارتباط برای تعیین قدرت یا ضعف ارتباط بین دو چیز استفاده می شود. ما ممکن است بتوانیم با استفاده از مفهوم آپریوری ، تعداد موارد مورد نیاز برای ارزیابی را کاهش دهیم.

اشکالاتی از معادن قانون انجمن چیست؟

معایب اصلی الگوریتم های قانون انجمن ، قوانین خسته کننده ، داشتن تعداد زیادی از قوانین کشف شده و عملکرد الگوریتم پایین است. الگوریتم های شاغل حاوی پارامترهای زیادی برای شخصی است که متخصص در داده کاوی نیست و بسیاری از آنها قوانین زیادی را قوانین می کنند ، که بیشتر آنها بی علاقه هستند و درک کم دارند.