در مقاله قبلی با موضوع «محتوای تکراری و تأثیر آن در رتبه بندی موتورهای جستجو» در رابطه با اینکه محتوای تکراری چیست؟ و چگونه بر روی رتبه سایت در موتورهای جستجو تأثیر می‌گذارد؟ توضیح داده شد. در این مقاله به ارائه روش‌های برای رفع این مشکل خواهیم پرداخت و تکنیک‌های مختلف را بررسی خواهیم نمود.

 

Content-Duplicate-Copy-Original-Google-Panda-Penguin

 

 

ریشه اصلی مشکل محتوای تکراری چیست؟

همان طور که قبل بررسی شد، محتوای تکراری از:

  1. ارسال مطالب مشابه در صفحات و یا وب سایت‌های مختلف
  2. وجود دو یا چند دامنه برای یک سایت
  3. و همچنین از برنامه نویسی توسعه نیافته با قوانین سئو

ایجاد می‌گردد.

مورد اول: برخی از مدیران سایت‌ها برای گسترش وب سایت خود محتوا، مقالات و سایر اطلاعات را در سایت‌های دیگر قرار می‌دهند. به عبارت دیگر از استراتژی‌های نادرست لینک ببلدینگ جهت افزایش back link استفاده می‌نمایند. بنابراین در این مورد ریشه اصلی مشکل کسانی هستند که با استفاده از تکنیک‌هایی که با نام کلاه سیاه سئو شناخته می‌شود، سعی در گسترش سایت دارند.

مورد دوم توسط شرکت‌های که تمایل دارند چند دامنه داشته باشند به وجود می‌آید. به عنوان مثال example.com و example.co.uk دو دامین می‌باشند که هر دو آن‌ها یک محتوا را نمایش می‌دهد اما به دلیل عدم استفاده از ۳۰۱ Redirect مشکل محتوای تکراری ایجاد می‌شود. بنابراین در این مورد نیز صاحبان وب سایت‌های و شرکت‌ها طراحی سایت عامل اصلی ایجاد محتوای تکراری هستند، کسانی که نمی‌دانند چگونه از ۳۰۱ جهت ست کردن دامین اصلی و فرعی استفاده نمایند.

مورد سوم خیلی جالب و فنی است، و ریشه اصلی آن HTTP protocol می‌باشد زیرا نمی‌تواند یک روش استاندارد برای شناخت بهترین URL یک صفحه را معرفی نماید. یعنی اینکه به یک صفحه با آدرس‌های متفاوت دسترسی داشته باشیم و در عین حال هیچ اطلاعاتی در رابطه با URL مرجع وجود ندارد.

به عنوان مثال:

  • http://example.com
  • http://www.Example.com
  • http://www.example.com
  • http://www.example.com/
  • http://www.example.com/index.html
  • http://www.example.com/index.htm
  • http://www.example.com/index.html?somevar=

تمام URL های بالا می‌توانند به یک صفحه هدایت شوند، اما HTTP protocol می‌بایست یکی را به عنوان بهترین آدرس انتخاب و بقیه آدرس‌ها را به همان صفحه هدایت نمایید به عبارت دیگر http://www.example.com و http://www.example.com/index.html هم می‌تواند طوری پیاده سازی شوند که به یک صفحه هدایت شوند و یا دو صفحه کاملاً مجزا داشته باشند.

همچنین باید به خاطر داشته باشید که فناوری‌ها و زبان‌های متفاوتی (Asp.Net, PHP) برای پیاده سازی وب سایت‌های داینامیک وجود دارد و توجه به اینکه که تکنولوژی‌های متفاوت ویژگی‌های متفاوتی را ساپورت می‌نمایند وضعیت را کاملا پیچیده می‌سازد.

همه مشکلات بالا برای کسانی که نمی‌دانند موتورهای جستجو چگونه کار می‌کنند و چگونه از متدهای استاندارد برای پیاده سازی سایت استفاده نمایند، پیش می‌آید.

اما سؤالی که وجود دارد اینست که چطور می‌توان از بروز چنین اشتباهاتی اجتناب نمود؟

چگونه مشکل محتوای تکراری را برطرف نماییم؟

در مورد اول، راه حل نسبتاً ساده است. فقط کافیست از ارسال محتوای یکسان به منابع متعدد اجتناب نمایید و همیشه مطمئن شوید که از تکنیک‌های white hat سئو استفاده می‌نمایید. رعایت این نکات در گرفتن لینک بیشتر و از همه مهم‌تر افزایش ترافیک سایت تأثیر می‌گذارد.

در حالت دوم، در صورتیکه نیاز به ثبت چندین دامنه برای وب سایت خود دارید، ابتدا یک دامنه را به عنوان دامنه اصلی انتخاب و بقیه دامنه‌های را با استفاده HTTP 301 Redirections تنظیم نمایید.

به عنوان مثال در صورتیکه دو دامنه با عنوان‌های (اصلی) example.com و example.co.uk داشته باشید. دامنه example.co.uk می‌بایست با استفاده از HTTP 301 Redirections تنظیم شود. تا هر زمان که آن را وارد کریم به example.com هدایت شویم. روش‌های مختلفی برای HTTP 301 Redirections وجود دارد که از جمله آن‌ها می‌توان به تنظیمات DNS ،htaccess ،PHP/ASP/JSP Redirection و غیره اشاره نمود.

مورد سوم کمی پیچیده‌تر است و همان طور که در مقاله قبلی گفتم، موتورهای جستجو با تنظیم قوانین سعی دارند که اثرات محتوای تکراری را به حداقل برسانند.

آن‌ها از مجموعه قوانین که برای URL تنظیم شده، برای انتخاب بهترین نسخه استفاده می‌نمایند. بنابراین پیشنهاد می‌کنیم که حتماً ساختار لینک‌های خود را بررسی نمایید.

روی ساختار لینک‌هایتان کار کنید.

کاری که شما باید انجام دهید این است که مطمئن شوید تمام لینک‌های سایتتان به بهترین URL هدایت می‌شوند و موقعیتی وجود ندارد که دو لینک متفاوت به یک صفحه هدایت شوند.

مهم‌ترین چیزهای که شما باید در نظر داشته باشید:

  • تمام پارامترهای کم اهمیت و اضافی همانند (SESSIONIDS ،Sorts ،Specifies و غیره) را از URL حذف نمایید.
  • اگر وب سایت شما با درج عبارت www در نوار آدرس و در عین حال بدون درج آن نیز در دسترس کاربران قرار می‌گیرد، به طور حتم با مشکل مطالب تکراری روبرو خواهید شد، چرا که از دید موتورهای جستجو این دو آدرس، دو صفحه مجزا تلقی شده و به طور جداگانه ایندکس می‌شوند، البته برخی از آن‌ها نظیر گوگل تا حدودی قادر به تشخیص آدرس پیش فرض هستند، اما بهتر است یک آدرس را برگزینید و حالت دیگر را با ارسال کد HTTP 301، ریدایرکت نمایید.
  • دسترسی به سایت با و بدون درج عباراتی چون index.php ،index.html ،index.asp و غیره در ایجاد محتوای تکراری تأثیر گذار است؛ شاید گمان کنید موتورهای جستجو تشخیص می‌دهند که صفحه ایندکس یک سایت، همان صفحه اصلی آن است، اما در پاسخ باید بگوییم که معمولاً این‌طور نیست، در برخی از سرورها ممکن است تنظیمات پیش فرض تغییر داده شود و صفحه اصلی سایت با عبارتی دیگر تنظیم شده باشد؛ لذا فایل ایندکس الزاماً به معنی صفحه اصلی نیست، به همین دلیل موتورهای جستجو ممکن است آن را به صورت جداگانه ایندکس نماید، لذا بهتر است صفحه دوم را به صورت استاندارد ریدایرکت نمود.
  • URL هایتان را با استفاده از / به پایان برسانید.

Canonical Tag

Canonical Tag در واقع آدرسی است که به صفحه‌ی مرجع خود اشاره می‌کند، این آدرس توسط تگ link در header صفحه‌ی تکراری قرار می‌گیرد (در تگ head)، همانند زیر:

<link rel=”canonical” href=”http://www.example.com/index.php” />

این تگ توسط خصوصیت “rel=”canonical برای موتورهای جستجو متمایز می‌شود و زمانی که ربات موتور جستجو به صفحاتی که شامل این تگ هستند می‌رسد، با آن به عنوان یک صفحه‌ی کپی برخورد می‌نماید و کلیه‌ی محتوا و رنک آن را به حساب آدرس ذکر شده قرار می‌دهد.

 

canonical-url

 

 

تفاوت بین Canonical Tag و ۳۰۱ Redirections

  • ۳۰۱ Redirections کلیه‌ی ترافیک‌های یک صفحه، اعم از کاربر عادی و یا ربات‌ها را به صفحه‌ی مقصد هدایت می‌کند، در حالی که Canonical Tag تنها برای موتورهای جستجو است.
  • در Canonical Tag موتور جستجو در مورد ریدایرکت یک صفحه تصمیم می‌گیرد و آن را بر اساس برخی پارامترها ارزیابی می‌نماید تا اگر اشتباهاً این تگ در صفحه‌ای قرار گرفت، از ریدایرکت آن جلوگیری شود. اما در ۳۰۱ redirections ارزیابی خاصی بر روی آن صورت نمی‌گیرد و مستقیماً ریدایرکت انجام می‌شود.
  • ۳۰۱ Redirections به صورت Cross Domain عمل می‌نماید، یعنی امکان ریدایرکت از یک دومین به دومین دیگر هم وجود دارد، در حالی که Canonical تنها مربوط به همان دومین است.

بهترین روش برای رفع مشکل محتوای تکراری:

همان طور که گفتیم روش‌های متفاوتی برای رفع مشکل محتوای تکراری وجود دارد که در اینجا لیستی از روش‌هایی که شما می‌توانید استفاده کنید ارائه شده است:

  • کار روی ساختار لینک
  • استفاده از ۳۰۱ redirections
  • استفاده از Canonical Tag
  • حذف پارامترهای اضافی URL همانند SessionIDs از گوگل وب مستر تولز، برای اینکه وارد اکانت Google Web Master Tools شوید و مسیر زیر را طی نمایید.
    Dashboard/ Configuration/ URL Parameters
  • و آخرین راه حل جلوگیری از ایندکس شدن محتواهای تکراری با استفاده از robots.txt

 

حسن موحد

عاشق طراحی وب سایت هستم و 8 سال هست در این زمینه فعالیت می کنم و تمرکزم بر روی خرسند نگه داشتن مشتری است .

ارسال نظر