SEO, AEO ও GEO-এর পেছনের প্রযুক্তিগত কাঠামো, পর্ব ২: robots.txt, স্কিমা ও llms.txt

পর্ব ১-এ আমরা সাইটম্যাপ, JavaScript ও CSS নিয়ে আলোচনা করেছিলাম — সেই ভিত্তি যা ঠিক করে দেয় একটি পেজে পৌঁছানো ও তা সঠিকভাবে রেন্ডার করা যাবে কিনা। সেই স্তর একটি সিস্টেমকে আপনার কনটেন্ট পর্যন্ত নিয়ে যায়। এটি তাকে বলে না এর অর্থ কী, বা তার সেটি ব্যবহারের অনুমতিই আছে কিনা। এই পর্বের তিনটি বিষয়ের কাজ ঠিক সেটাই: robots.txt, স্কিমা মার্কআপ, ও llms.txt।

robots.txt: মানুষ, ক্রলার, এবং এখন AI মডেলের জন্য ট্রাফিক নিয়ন্ত্রণ

robots.txt আগে একটি সহজ, বেশিরভাগ ক্ষেত্রে উপেক্ষিত ফাইল ছিল: কয়েকটি অ্যাডমিন ফোল্ডার ব্লক করা, সাইটম্যাপের দিকে নির্দেশ করা, ব্যস। এটা আর সত্য নয়। robots.txt এখন একসাথে তিনটি ভিন্ন দর্শকের জন্য প্রকৃত কৌশলগত কাজ করছে:

• প্রথাগত সার্চ ক্রলার (Googlebot, Bingbot) — প্রমিত ইনডেক্সিং আচরণ, মূলত অপরিবর্তিত।
• SEO-টুল ও স্ক্র্যাপার বট (Ahrefs, Semrush, MJ12, এবং অনুরূপ) — অনেক সাইট মালিক এখন এগুলোকে স্পষ্টভাবে ব্লক করেন যাতে ক্রল বাজেট ও ব্যান্ডউইথ সেই বটগুলোর জন্য সংরক্ষিত থাকে যা সত্যিই গ্রাহক-মুখী আবিষ্কারে সাহায্য করে, তৃতীয়-পক্ষীয় র‍্যাঙ্ক-ট্র্যাকিং টুলের বদলে।
• AI ক্রলার (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot, এবং দ্রুত বেড়ে চলা অন্যান্যের তালিকা) — এটি সবচেয়ে নতুন এবং সবচেয়ে গুরুত্বপূর্ণ ক্যাটাগরি। এমন একটি robots.txt ফাইল যা সব বট একসাথে ব্লক করে দেয়, এবং যা AI ক্রলার অস্তিত্বে আসার আগে লেখা হয়েছিল, কারো টেরই না পেয়ে একটি ব্যবসাকে ChatGPT, Perplexity, Gemini, এবং অন্য প্রতিটি AI-চালিত আবিষ্কার চ্যানেল থেকে বাদ দিয়ে দিতে পারে।

বিশেষত GEO-র জন্য, robots.txt এখন একটি সরাসরি ভিজিবিলিটি লিভার: আপনি যদি চান আপনার ব্যবসা AI-জেনারেটেড উত্তরে সুপারিশ করা হোক, তাহলে সেই উত্তর তৈরি করা ক্রলারদের আপনার সাইট পড়ার স্পষ্ট অনুমতি প্রয়োজন। robots.txt-কে বিশেষভাবে AI ক্রলারদের মাথায় রেখে পর্যালোচনা করা — একে "একবার সেট করে ভুলে যাওয়া" ফাইল হিসেবে না দেখে — বর্তমানে GEO ভিজিবিলিটির জন্য উপলব্ধ সবচেয়ে বেশি কার্যকর ও কম পরিশ্রমের পরিবর্তনগুলোর একটি।

স্কিমা মার্কআপ: AI সিস্টেমের জন্য রোজেটা স্টোন

JavaScript ও CSS যদি ঠিক করে দেয় কনটেন্ট দেখা যাবে কিনা, তাহলে স্কিমা মার্কআপ ঠিক করে দেয় তা সঠিকভাবে বোঝা যাবে কিনা। স্কিমা হলো স্ট্রাকচার্ড ডেটা — একটি পেজে যোগ করা একটি মেশিন-পাঠযোগ্য স্তর যা স্পষ্টভাবে লেবেল করে দেয় জিনিসগুলো কী: এটি একটি ব্যবসা, এটি তার ঠিকানা, এটি একটি রিভিউ, এটি একটি প্রায়শই জিজ্ঞাসিত প্রশ্ন, এটি তার উত্তর।

স্কিমা ছাড়া, একটি ক্রলারকে অগঠিত টেক্সট ও পেজ লেআউট থেকে অর্থ অনুমান করতে হয় — এমন একটি প্রক্রিয়া যেখানে ভুল হওয়ার সম্ভাবনা থাকে। স্কিমা থাকলে, কোনো অস্পষ্টতা থাকে না। বিশেষত AEO ও GEO-র জন্য এটি সবচেয়ে বেশি কার্যকর প্রযুক্তিগত বিনিয়োগ, কারণ দুটি শাখাই নির্ভর করে একটি সিস্টেম একটি নির্দিষ্ট তথ্য বের করে তা আত্মবিশ্বাসের সাথে উপস্থাপন করার উপর:

• FAQPage স্কিমা প্রশ্ন-উত্তর কনটেন্টকে প্রায় সরাসরি সেই পদ্ধতির সাথে মিলিয়ে দেয় যেভাবে AI সিস্টেম উত্তর খুঁজে বের করে ও উপস্থাপন করে।
• LocalBusiness / Organization স্কিমা AI সিস্টেমকে আপনার নাম, ঠিকানা, সময়সূচি ও পরিষেবার একটি যাচাইকৃত, গঠিত সংস্করণ দেয় — ঠিক সেই তথ্যগুলো যা নিয়ে অ্যাসিস্ট্যান্টদের ক্রমাগত জিজ্ঞাসা করা হয় ("এই জায়গাটা কি এখন খোলা আছে," "এই ব্যবসাটা কী করে")।
• Review / AggregateRating স্কিমা এমন বিশ্বাসের সংকেত দেয় যার উপর প্রথাগত সার্চ স্নিপেট এবং AI সুপারিশ সিস্টেম উভয়েই নির্ভর করে যখন তারা একটি প্রশ্নের জন্য একাধিক প্রার্থীর তুলনা করে।
• BreadcrumbList ও Article/BlogPosting স্কিমা সিস্টেমগুলোকে সাইটের কাঠামো ও কনটেন্টের ক্রম বুঝতে সাহায্য করে, যা প্রথাগত রিচ রেজাল্ট এবং একটি AI সিস্টেম কতটা আত্মবিশ্বাসের সাথে একটি নির্দিষ্ট, বিশ্বাসযোগ্য পেজের সাথে একটি তথ্য যুক্ত করে — দুটোকেই প্রভাবিত করে।

স্কিমা পেজে একজন মানুষ কী দেখে তা বদলায় না। এটি বদলায় একটি মেশিন — সার্চ ইঞ্জিন বা AI মডেল — কতটা আত্মবিশ্বাস ও নির্ভুলতার সাথে সেই পেজে কী আছে তা অন্য কাউকে বর্ণনা করতে পারে। এই পার্থক্যটাই AEO ও GEO-র পুরো খেলা।

llms.txt: জেনারেটিভ ইঞ্জিনের জন্য নতুন প্রধান দরজা

llms.txt এই কাঠামোর সবচেয়ে নতুন সংযোজন, এবং এটি বিশেষভাবে GEO-র জন্য তৈরি। robots.txt যেখানে ক্রলারদের বলে দেয় তারা কী অ্যাক্সেস করার অনুমতিপ্রাপ্ত, llms.txt সেখানে এক ধাপ এগিয়ে যায়: এটি একটি সাইটের একটি সংক্ষিপ্ত, বাছাই করা সারাংশ — বিশেষভাবে বৃহৎ ভাষা মডেলের জন্য লেখা — যা সবচেয়ে গুরুত্বপূর্ণ পেজগুলোর দিকে নির্দেশ করে, ব্যবসাটি কী করে তা ব্যাখ্যা করে, এবং একটি AI সিস্টেমকে বিক্ষিপ্ত ক্রল করা পেজ থেকে সেই বোঝাপড়া নতুন করে তৈরি করতে বাধ্য করার বদলে দ্রুত, নির্ভরযোগ্য দিকনির্দেশনা দেয়।

এটাকে এভাবে ভাবুন: কাউকে একগাদা আলাদা কাগজপত্র হাতে ধরিয়ে দেওয়া এবং একটি সূচিপত্রসহ এক পাতার নির্বাহী সারাংশ হাতে ধরিয়ে দেওয়ার মধ্যে যে পার্থক্য থাকে। দুটোতেই প্রযুক্তিগতভাবে একই তথ্য থাকে, কিন্তু একটি দ্রুত, বেশি নির্ভুলভাবে প্রক্রিয়া হয়, এবং একটি AI সিস্টেম কোনো গুরুত্বপূর্ণ বিষয় বাদ দেওয়া বা ভুলভাবে উপস্থাপন করার ঝুঁকি অনেক কম থাকে।

llms.txt গ্রহণ এখনও প্রাথমিক পর্যায়ে আছে, আর ঠিক এই কারণেই এটি এখন গুরুত্বপূর্ণ — যেসব সাইট AI ট্রেনিং ও রিট্রিভাল পাইপলাইনে পরিষ্কার, হালনাগাদ llms.txt ফাইল নিয়ে উপস্থিত, তাদের সেই সিস্টেমগুলোর ডিফল্ট উৎস হয়ে ওঠার ক্ষেত্রে সত্যিকারের একটি মাথা এগিয়ে থাকা সুবিধা আছে, ঠিক যেভাবে স্ট্রাকচার্ড-ডেটা প্রথম দিকে গ্রহণকারীরা রিচ সার্চ রেজাল্টে মানদণ্ড হয়ে ওঠার বহু বছর আগে সুবিধা পেয়েছিল।

পর্ব ৩-এ যা আসছে

সাইটম্যাপ, JavaScript, CSS, robots.txt, স্কিমা, ও llms.txt সেই ছয়টি স্তম্ভ কভার করে যা বেশিরভাগ মানুষ "প্রযুক্তিগত SEO" বলতে কল্পনা করে। পর্ব ৩-এ একটি সপ্তম অংশের দিকে নজর দেওয়া হয়েছে যা সহজেই উপেক্ষিত হয় — কুকি ও সম্মতি — এবং তারপর সাতটি বিষয়কে একটি একক প্রযুক্তিগত ভিজিবিলিটি চেকলিস্টে একত্র করা হয়েছে।