پایاننامه کامپیوتر تکنیکهای وب کاوی شخصی سازی اطلاعات موتورهای جستجو

۱۸۰ هزار تومان ۱۱۵ هزار تومان
افزودن به سبد خرید

جهت خرید و دانلود پایاننامه کامپیوتر تکنيکهای وب کاوی شخصی سازی اطلاعات موتورهای جستجو روی خرید محصول کلیک و یا با ایمیل زیر در ارتباط باشید

sellthesis@gmail.com


پایان نامه کارشناسی ارشد کامپیوتر نرم افزار توسعه تکنيکهای وب کاوی به منظور شخصی سازی اطلاعات در موتورهای جستجو


خرید محصول پایاننامه کامپیوتر تکنيکهای وب کاوی شخصی سازی اطلاعات موتورهای جستجو


چکیده:

ماهیت پویای شبکه جهانی و ابعاد رو به رشد آن، بازیابی دقیق اطلاعات را دشوار ساخته است. پاسخ های نادرست برگشت داده شده به وسیله ی موتورهای جستجو، خصوصا برای عبارات پرس‌و‌جو با معانی مختلف، باعث نارضایتی کاربران وب شده‌است که نیاز به پاسخ های دقيق برای تقاضاهای اطلاعاتی خود دارند. امروزه موتورهای جستجو تلاش می‌کنند تا درخواست کاربران را از طریق مطالعه سابقه جستجو و یا حتی شرکت دادن کاربران در فرایند جستجو به منظور روشن ساختن آنچه که آن‌ها واقعا نیاز دارند، دريابند. این روند بخشی از تلاش موتورهای جستجو برای شخصی‌سازی است.
یکی از موتورهای جستجوی شخصی‌سازی شده ی خوش تعريف و خوش ساخت، اسنکت است که از مشارکت کاربر برای فرایند شخصی‌سازی استفاده می‌کند. در این تحقیق بر اساس الگوریتم شخصی‌سازی شده اسنکت، یک معماری از موتور جستجوی شخصی‌سازی شده جديد پيشنهاد شده در اين پایان نامه به نام PSEFiL ارائه شده‌است که با دخالت دادن کاربر و فيلتر سازی لینک ها پاسخ هایی با کمترین ميزان یا عدم وجود انحراف موضوع به منظور غنی سازی مجموعه جواب، به کاربران تحویل می‌دهد. علاوه بر این، مجموعه جواب مستحکم است زیرا هر لینک موجود در مجموعه نتایج، يا دارای رتبه بالایی از ساير موتورهای جستجو است و یا کمترین انحراف موضوع را با یک فرایند اسکن دستی دقيق داراست. بعلاوه هر لینک به روشنی برای هر معنی ذهنی موجود از یک عبارت پرس‌و‌جو طبقه‌بندی شده‌است. یکی از اهداف PSEFiL، آماده سازی و تحويل پاسخ های دقیق است نه تحويل مجموعه پاسخی با لینک های بیشتر که ممکن است محتوایشان دقت کم داشته و یا دقیق نباشند.

کلمات کلیدی:
موتور جستجو، بهینه سازی موتور جستجو، شخصی‌سازی موتور جستجو، ساختارکاوی وب, محتوا کاوی وب


فهرست مطالب

چکیده 1
فصل اول(کلیات) 2
1-1 مقدمه 3
1-2 بیان مسئله و اهمیت آن 4
1-3 اهمیت و ضرورت انجام تحقیق 6
1-4 ساختار پایان نامه 7
1-5 فصل دوم(مبانی و مفاهیم پایه) 8
2-1 مقدمه 9
2-2 وب‌کاوی 10
2-3 تکامل تاریخی از وب‌کاوی 11
2-4 مشکلات کاربران در استفاده ازوب 13
2-5 شباهت ها و تفاوت های وب‌کاوی و داده کاوی 14
2-6 الگوریتم های وب‌کاوی 15
2-7 دسته بندی وب‌کاوی 16
2-7-1 محتوا کاوی وب 17
2-7-1-1 دیدگاه های محتوا کاوی وب 17
2-7-1-2 داده‌های محتوا کاوی وب 17
2-7-1-3 رويکردها و تکنيک هاي محتواکاوی وب 18
2-7-1-4 انواع محتواکاوی وب 19
2-7-2 ساختارکاوی وب 20
2-7-2-1 دسته های ساختار کاوی وب بر اساس نوع داده ساختاری 21
2-7-2-2 مدل هاي بازنمايي ساختار وب 21
2-7-2-3 کاربردهاي ساختارکاوی وب 23
2-7-3 کاربردکاوی وب 25
2-7-3-1 فازهای کاربرد کاوی وب 25
2-7-3-2 انواع داده‌هاي کاربردکاوی 26
2-7-3-3 کاربردهاي کاربردکاوی وب 28
2-8 کاربردهای وب‌کاوی 29
2-9 چالش هاي وب کاوي 30
2-10 موتور جستجو 31
2- 11 تاریخچه موتورهای جستجو 31
2-12 موتورهاي جستجو را از لحاظ پشتیبانی هاي مالی و نیروي انسانی 32
2-12-1 موتورهاي جستجوي آزمایشی 32
2-12-2 موتورهاي جستجوي تجاري 33
2-13 معماري کلی موتورهاي جستجو و کارکرد آن‌ها 33
2-13-1 درون کاو(خزنده ) 34
2-13-2 کنترل درون کاو 35
2-13-3 انباره ي صفحات 35
2-13-4 ماجول شاخص دهی 35
2-13-5 ماجول Collection Analysis36
2-13-6 Utility Index 36
2-13-7 موتور پرس‌و‌جو 36
2-13-8 ماجول رتبه بندي 37
2-14 اهمیت موتورهاي جستجو 37
2-15 مشکلات موتورهاي جستجو در ارائه نتایج 37
2-16 بهینه سازی موتور جستجو 38
2-17 هدف SEO 39
2-18 مزیت بهینه سازی وب سایت برای موتور‌های جستجو 39
2-19 فرآیند بهینه سازی موتورها¬ی جستجو 40
2-20 نتیجه گیري 41
فصل سوم(شخصی سازی موتورهای جستجو) 42
3-1 مقدمه 43
3-2 علت شخصی‌سازی موتور جستجو 43
3-3 تعریف شخصی‌سازی 44
3-4 مراحل شخصی‌سازی 44
3-4-1 شناخت کاربر 45
3-4-1-1 روش‌های کمک به کاربران در جستجو در وب 45
3-4-1-1-1 خوشه‌بندی کد آماده- وب 45
3-4-1-1-2 شخصی‌سازی فهرست رتبه‌بندی شده- مسطح از نتایج پرس‌و‌جو 46
3-4-1-2 راه حل های مشکل خوشه‌بندی کد آماده وب 47
3-4-1-2-1 خوشه بندي مسطح 47
3-4-1-2-1-1 کلمات تنها و خوشه بندي مسطح 47
3-4-1-2-1-2 جملات و خوشه بندي مسطح 47
3-4-1-2-2 خوشه‌بندی سلسله مراتبی 48
3-4-1-2-2-1 کلمات تنها و خوشه‌بندی سلسله مراتبی 48
3-4-1-2-2-2 جملات و خوشه‌بندی سلسله مراتبی 48
3-4-1-3 معرفی اسنکت 50
3-4-1-4 شرح معماری اسنکت 51
3-4-1-4-1 انتخاب جمله و رتبه‌بندی 52
3-4-1-4-2 خوشه بندي سلسله مراتبی 55
3-4-1-4-3 شخصی‌سازی نتایج جستجو 57
3-4-1-5 مرور اسناد سلسله مراتب براي استخراج اطلاعات 59
3-4-1-6 مرور اسناد سلسله مراتب براي انتخاب نتايج 59
3-4-1-7 اصلاح پرس‌و‌جو 59
3-4-1-8 رتبه‌بندی شخصی‌سازی شده 61
3-4-1-9 واسطه شخصی‌سازی شده وب 62
3-4-1-10 نتایج تجربی 63
3-5-1-10-1 پيمايش هاي کاربران 64
3-4-1-10-2 مجموعه داده اسنکت و شواهد حكايتي 65
3-4-1-10 -3 ارزیابی اسنکت 66
3-4-1-10 -3 – 1 مزایای استفاده از DMOZ 67
3-4-1-10 -3 -2 مزایای استفاده از شاخص محکم متن 67
3-4-1-10 -3 -3 مزایای استفاده از موتورهای چندگانه 68
3-4-1-10 -3 -4 مزایای استفاده از جملات فاصله دار به عنوان برچسب‌های پوشه 69
3-4-1-10 -3 -5 تعداد کدهای آماده وب موجود در پوشه‌ها 70
3-4-2 مدل سازی کاربر 71
3-4-2-1 مدل سازی صريح کاربر 71
3-4-2-2 مدل سازی ضمنی کاربر 72
3-4-2-2-1 Caption Nemo 74
3-4-2-2 -1-1 فضاهای جستجوی شخصی 75
3-4-2-2 -1-1-1 مدل شخصی بازیابی 76
3-4-2-2 -1-1-2 سبک ارائه شخصی 76
3-4-2-2 -1-1-3 موضوع مورد نظر شخصی 77
3-4-2-2 -1-2 پیاده سازی سیستم 79
3-4-2-2 -1-2 -1 رتبه‌بندی 81
3-4-2-2 -1-2-2 طبقه‌بندی سلسله مراتبی صفحات وب بازيابي شده 83
3-4-2-2 -1-3 مطالعه کاربر 86
3-4-2-2 -1-3 -1 آزمایش 86
3-4-2-2 -1-3 -2 آزمایش 2 87
3-4-2-2 -3 شخصی‌سازی الگوریتم رتبه‌بندی صفحه 88
3-4-2-2 -4 الگوریتم LTIL. 89
3-4-2-2 -5 روش IA. 89
3-4-3 اجرای سیستم شخصی‌سازی 91
3-4-3-1 روش قطعی 91
3-4-3-2 روش فازی 91
3-4-3-3 شخصی‌سازی موتورهای جستجو با استفاده از شبکه های مفهومی فازی و ابزارهای داده کاوی 91
3-4-3-3 -1 پیش زمینه 91
3-5-3-3 -2 روش پیشنهادی 95
3-4-3-3 -3 ارزیابی سیستم و بررسی نتایج به‌دست آمده 97
3-5 نتیجه گیري 100
فصل چهارم(مدل پیشنهادی برای شخصی‌سازی موتورجستجوونتایج بدست آمده از آزمایش ها) .101
4-1 مقدمه 102
4-2 شرح آزمایشها و تجزیه مسئله. 102
4-3 نتیجه گیری 154
فصل پنجم(رابط کاربری موتور جستجو) 155
5-1 مقدمه 156
5-2 رابط کاربری موتور جستجوی شخصی‌سازی شده PSEFiL 156
5-3 اهمیت موتور جستجوی شخصی‌سازی شده PSEFiL 159
5-4 نتیجه گیری 159
فصل ششم(نتیجه گیری) 160
6-1 مقدمه 161
6-2 مروری بر فصول گذشته 161
6-3 موتور جستجوی پیشنهادی شخصی‌سازی شده PSEFiL 161
6-4 نتیجه گیری 164
6-5 پیشنهادات و مطالعات آتی 164

مقالات مستخرج از پایان نامه 165

فهرست منابع 166

چکیده انگلیسی 172


1-1مقدمه

وب، محيطي وسيع، متنوع و پويا است که کاربران متعدد، به انتشار اسناد خود در آن مبادرت می ورزند. با توجه به حجم وسيع اطلاعات و با توسعه سيستم هاي اطلاعاتي، داده به يکي از منابع پراهميت سازمان‌ها بدل گشته است. از اين رو در سال های اخیر، روش‌ها و تکنيک‌هاي دستيابي کارا به داده‌ها، به اشتراک گذاری داده‌ها و استخراج اطلاعات از داده‌ها به شدت مورد نياز جامعه ی اطلاعاتی و کاربران آن مي باشد. اهميت مديريت و دسته بندی موثر انواع گوناگون داده‌ها به منظور استفاده و تحليل کارآمد آن‌ها برای کاربران عام و همچنين کارمندان دانشی از کسی پوشيده نيست. در اين بين، ماهيت وب دربردارنده ی چالش های بسياری است که دسته بندی و مديریت داده‌ها را مشکل می سازد. از آن جمله می توان به دشوار بودن یافتن اطلاعات مورد نیاز در وب به دلیل دقت تحليلی پايين موتورهای جستجو، عدم خصوصی سازی اطلاعات، طولانی بودن زمان پاسخ درک شده توسط کاربر، عدم رضايت کاربر در کيفيت پاسخ دريافتی، گوناگونی داده‌های موجود در وب و اشاره کرد.
در موتور جستجو کاربر کلید واژه ی را وارد کرده و ماژول جستجو در بانک اطلاعاتی خود به جستجو می‌پردازد و سایت های مرتبط با موضوع شما را نمایش خواهد داد زمانی که کاربر از یک موتور جستجو برای بیان درخواست خود استفاده می‌کند، نتایج ارائه شده ازسوی موتور جستجو، تنها به یک لیست از نتایج منتهی نمی‌شود بلکه اکثرموتورهای جستجو در کنار آن نتایج، امکانات دیگری را به کاربر ارائه می‌دهندکه می‌توانند در رساندن کاربر به درخواست حقیقی اش بسیار مفید باشند.
روش‌های مختلفی به منظور بازیابی اطلاعات مورد استفاده قرار می‌گیرند که عمدتا مبتنی بر محتوا و ساختارند و از الگوریتم های مختلفی به این منظور استفاده می‌کنند مطالعات نشان می‌دهند کلمات پرس وجو کوتاه و متفاوتند و هر کاربر منظورخاصی از یک پرس وجوی مشابه دارد، در واقع همیشه نتایج ارائه شده آن چیزی نیست که کاربر انتظار آن را دارد، کاربران سلایق متفاوتی دارند اماموتور جستجو نتیجه یکسانی را برای همه آن‌ها ارائه می‌دهد. اگر بتوان از سلایق کاربران در جستجو استفاده کرد مطمئنا نتایج رضایت بخش تری حاصل می‌شود. در واقع در چنین ساختاری، دو کاربر نتایج متفاوتی را از یک پرس‌وجوی یکسان دریافت می‌کنند.یکی از مباحث مطرح و پرطرفدار در امر بازیابی اطلاعات، شناخت رفتار کاربر و استفاده از سابقه رفتاری او در مشاهده صفحات وب درگذشته است تا از این رو، نتایج حاصل از موتور جستجو هر چه بیشتر به سلایق کاربر نزدیک باشد و باعث رضایت‌مندی بیشتر کاربران شود در واقع فرایند شخصی‌سازی موتور جستجو و بهبود نتایج حاصل از جستجوی کاربران، از زمینه‌های پژوهشی و باز در این حوزه است که پژوهشگران فراوانی رابه سوی خود جذب کرده و تداعی گر نتایج ارزشمندی تا به امروز است.
وب‌کاوی به عنوان زيرشاخه ای تخصصی شده از دانش داده کاوی به فرایند کشف اطلاعات و دانش ناشناخته و مفید از داده‌های وب اطلاق می‌شود که در زمینه‌های گوناگون کاربرد دارد و در سال های اخير و همگام با توسعه ی وب،این شاخه مورد توجه بسياری از پژوهشگران بوده است. وب‌کاوی نه تنها به معنی استفاده از تکنیک های داده کاوی برای داده‌های ذخیره شده در صفحات وب است بلکه الگوریتم های آن به منظور پاسخ گويي به خواسته های کاربران از وب از نظر زمان پاسخ گويي و قدرت تحليل وب اصلاح می شوند.

مرور

هیچ دیدگاهی برای این محصول نوشته نشده است .