SEO Architecture: Diagnosing and Fixing Google Indexing Errors Permanently

একটি ওয়েবসাইট চমৎকারভাবে ডেভেলপ করার পর যদি তার কন্টেন্ট গুগল সার্চ ইঞ্জিনে ইনডেক্সড না হয়, তবে পুরো প্রজেক্টের অর্গানিক ট্রাফিক ভ্যালু শূন্যে নেমে আসে। অনেক ডেভলপার এবং এসইও এক্সপার্টরা **Google Search Console (GSC)**-এ প্রায়শই বেশ কিছু হতাশাজনক এরর মেসেজ দেখতে পান। এর মধ্যে সবচেয়ে কমন হলো: "Discovered - currently not indexed" এবং "Crawled - currently not indexed"।

গুগলবট (Googlebot) আপনার সাইট ভিজিট করলেও কেন ডেটাবেজে সেভ করছে না, তার ব্যাকএন্ড টেকনিক্যাল কারণগুলো চিহ্নিত করে স্থায়ীভাবে ফিক্স করার সম্পূর্ণ গাইডলাইন নিচে আলোচনা করা হলো।

১. "Discovered - currently not indexed" এরর ফিক্সিং

এই এররের মানে হলো গুগল আপনার ইউআরএল-টি খুঁজে পেয়েছে (হতে পারে সাইটম্যাপ বা ইন্টারনাল লিংকের মাধ্যমে), কিন্তু আপনার সার্ভার ওভারলোড বা ওভারঅল ক্রল বাজেট (Crawl Budget) সংকটের কারণে গুগলবট পৃষ্ঠাটি এখনও ক্রল করেনি।

সমাধান মেথড: আপনার সার্ভারের রেসপন্স টাইম (TTFB) বাড়াতে হবে। ক্লাউডফ্লেয়ার (Cloudflare) ক্যাশিং অপ্টিমাইজ করুন এবং একটি পারফেক্ট ও ক্লিন robots.txt ফাইল সেট করুন যাতে হ্যাকারদের স্প্যাম বট আপনার সাইটের ক্রল বাজেট নষ্ট করতে না পারে।

ধাপ ২: প্রফেশনাল Robots.txt এবং Sitemap আর্কিটেকচার

আপনার ডোমেইনের রুট ডিরেক্টরিতে নিচের কোড ফরম্যাট অনুযায়ী একটি অপ্টিমাইজড রোবট ফাইল কনফিগার করুন:

User-agent: *
Allow: /
Allow: /tutorials/
Disallow: /api/
Disallow: /admin/
Disallow: /config/

# আপনার ডাইনামিক সাইটম্যাপের সঠিক পাথ লিংক পুশ করুন
Sitemap: https://ahyancreations.top/sitemap.xml

ধাপ ৩: ডুপ্লিকেট কন্টেন্ট এবং ক্যানোনিকাল (Canonical) ট্যাগ ফিক্স

গুগল অনেক সময় একই পেজের বিভিন্ন ভ্যারিয়েশন (যেমন- HTTP বনাম HTTPS বা trailing slash এর তারতম্য) দেখলে ইনডেক্সিং রিফিউজ করে। এটি স্থায়ীভাবে আটকাতে প্রতিটি HTML ফাইলের হেডার সেকশনে অবশ্যই Canonical Link ব্যবহার করতে হবে: