Robots.txt ගොනුවක් යනු කුමක්ද? SEO සඳහා රොබෝ ගොනුවක් ලිවීමට, ඉදිරිපත් කිරීමට සහ නැවත රිංගා ගැනීමට ඔබට අවශ්‍ය සියල්ල

අපි සවිස්තරාත්මක ලිපියක් ලියා ඇත සෙවුම් යන්ත්‍ර ඔබේ වෙබ් අඩවි සොයන්නේ, බඩගාන ආකාරය සහ සුචිගත කරන ආකාරය. එම ක්‍රියාවලියේ මූලික පියවරක් වන්නේ robots.txt ගොනුව, ඔබේ වෙබ් අඩවිය බඩගා යාමට සෙවුම් යන්ත්‍රයක් සඳහා වන දොරටුව. සෙවුම් යන්ත්‍ර ප්‍රශස්තකරණයේදී robots.txt ගොනුවක් නිසි ලෙස ගොඩනගන්නේ කෙසේද යන්න අවබෝධ කර ගැනීම අත්‍යවශ්‍ය වේ (SEO).

මෙම සරල නමුත් බලවත් මෙවලම වෙබ්මාස්ටර්වරුන්ට සෙවුම් යන්ත්‍ර ඔවුන්ගේ වෙබ් අඩවි සමඟ අන්තර්ක්‍රියා කරන ආකාරය පාලනය කිරීමට උදවු කරයි. වෙබ් අඩවියක කාර්යක්ෂම සුචිගත කිරීම සහ සෙවුම් යන්ත්‍ර ප්‍රතිඵලවල ප්‍රශස්ත දෘශ්‍යතාව සහතික කිරීම සඳහා robots.txt ගොනුවක් අවබෝධ කර ගැනීම සහ ඵලදායී ලෙස භාවිත කිරීම අත්‍යවශ්‍ය වේ.

Robots.txt ගොනුවක් යනු කුමක්ද?

robots.txt ගොනුවක් යනු වෙබ් අඩවියක මූල නාමාවලියෙහි පිහිටා ඇති පෙළ ගොනුවකි. එහි මූලික අරමුණ වන්නේ වෙබ් අඩවියේ බඩගාමින් සහ සුචිගත කළ යුතු හෝ නොකළ යුතු කොටස් පිළිබඳව සෙවුම් යන්ත්‍ර බඩගා යන්නන්ට මග පෙන්වීමයි. ගොනුව Robots Exclusion Protocol භාවිතා කරයි (REP), වෙබ් බඩගාන්නන් සහ අනෙකුත් වෙබ් රොබෝවරුන් සමඟ සන්නිවේදනය කිරීමට සම්මත වෙබ් අඩවි භාවිතා කරයි.

REP යනු නිල අන්තර්ජාල ප්‍රමිතියක් නොවන නමුත් ප්‍රධාන සෙවුම් යන්ත්‍ර විසින් පුළුල් ලෙස පිළිගෙන සහ සහාය දක්වයි. පිළිගත් ප්‍රමිතියකට ආසන්නතම වන්නේ Google, Bing, සහ Yandex වැනි ප්‍රධාන සෙවුම් යන්ත්‍රවල ලේඛනගත කිරීමයි. වැඩි විස්තර සඳහා, පිවිසෙන්න Google හි Robots.txt පිරිවිතර නිර්දේශ කෙරේ.

Robots.txt SEO සඳහා තීරණාත්මක වන්නේ ඇයි?

1. පාලිත බඩගාමින්: Robots.txt වෙබ් අඩවි හිමිකරුවන්ට සෙවුම් යන්ත්‍ර ඔවුන්ගේ වෙබ් අඩවියේ නිශ්චිත කොටස් වෙත ප්‍රවේශ වීම වැළැක්වීමට ඉඩ දෙයි. අනුපිටපත් අන්තර්ගතය, පුද්ගලික ප්‍රදේශ හෝ සංවේදී තොරතුරු සහිත කොටස් බැහැර කිරීම සඳහා මෙය විශේෂයෙන් ප්‍රයෝජනවත් වේ.
2. ප්‍රශස්ත බඩගාන අයවැය: සෙවුම් යන්ත්‍ර සෑම වෙබ් අඩවියක් සඳහාම බඩගාන අයවැයක් වෙන් කරයි, සෙවුම් යන්ත්‍ර බොට් අඩවියක බඩගා යන පිටු ගණන. අදාළ නොවන හෝ අඩු වැදගත් කොටස්වලට ඉඩ නොදීමෙන්, robots.txt මෙම බඩගාන අයවැය ප්‍රශස්ත කිරීමට උදවු කරයි, වඩාත් වැදගත් පිටු බඩගාමින් සහ සුචිගත කර ඇති බව සහතික කරයි.
3. වැඩි දියුණු කළ වෙබ් අඩවිය පැටවීමේ කාලය: බොට්ස් නොවැදගත් සම්පත් වෙත ප්‍රවේශ වීම වැලැක්වීමෙන්, robots.txt හට සේවාදායක භාරය අඩු කළ හැකි අතර, SEO හි තීරණාත්මක සාධකයක් වන වෙබ් අඩවියේ පැටවීමේ කාලය වැඩිදියුණු කළ හැකිය.
4. ප්‍රසිද්ධ නොවන පිටු සුචිගත කිරීම වැළැක්වීම: එය පොදු නොවන ප්‍රදේශ (වේදිකාගත අඩවි හෝ සංවර්ධන ප්‍රදේශ වැනි) සුචිගත කිරීමෙන් සහ සෙවුම් ප්‍රතිඵලවල දිස් වීමෙන් තබා ගැනීමට උදවු කරයි.

Robots.txt අත්‍යවශ්‍ය විධාන සහ ඒවායේ භාවිතය

• ඉඩ දෙන්න: මෙම විධානය ක්‍රෝලර් විසින් ප්‍රවේශ විය යුත්තේ කුමන පිටු හෝ අඩවියේ කොටස්ද යන්න සඳහන් කිරීමට භාවිතා කරයි. උදාහරණයක් ලෙස, වෙබ් අඩවියක SEO සඳහා විශේෂයෙන් අදාළ අංශයක් තිබේ නම්, 'Allow' විධානයට එය බඩගා යන බව සහතික කළ හැක.

Allow: /public/

• තහනම් කරන්න: 'Allow' හි ප්‍රතිවිරුද්ධ දෙය, මෙම විධානය මඟින් සෙවුම් යන්ත්‍ර බොට් හට වෙබ් අඩවියේ ඇතැම් කොටස් බඩගා නොයන ලෙස උපදෙස් දෙයි. පිවිසුම් පිටු හෝ ස්ක්‍රිප්ට් ගොනු වැනි SEO අගයක් නොමැති පිටු සඳහා මෙය ප්‍රයෝජනවත් වේ.

Disallow: /private/

• වයිල්ඩ්කාඩ්: රටා ගැලපීම සඳහා Wildcards භාවිතා වේ. තරු ලකුණ (*) ඕනෑම අක්ෂර අනුපිළිවෙලක් නියෝජනය කරන අතර ඩොලර් ලකුණ ($) URL එකක අවසානය දක්වයි. පුළුල් පරාසයක URL නියම කිරීමට මේවා ප්‍රයෝජනවත් වේ.

Disallow: /*.pdf$

• අඩවි සිතියම්: robots.txt හි අඩවි සිතියම් ස්ථානයක් ඇතුළු කිරීම සෙවුම් යන්ත්‍රවලට වෙබ් අඩවියක ඇති සියලුම වැදගත් පිටු සොයා ගැනීමට සහ බඩගා යාමට උදවු කරයි. මෙය SEO සඳහා ඉතා වැදගත් වන්නේ එය වෙබ් අඩවියක වේගවත් සහ සම්පූර්ණ සුචිගත කිරීමට උපකාරී වන බැවිනි.

Sitemap: https://martech.zone/sitemap_index.xml

Robots.txt අතිරේක විධාන සහ ඒවායේ භාවිතය

• පරිශීලක-නියෝජිත: රීතිය අදාළ වන්නේ කුමන crawler සඳහාද යන්න සඳහන් කරන්න. 'පරිශීලක නියෝජිත: *' සියලුම බඩගාන්නන් සඳහා රීතිය අදාළ වේ. උදාහරණයක්:

User-agent: Googlebot

• Noindex: සම්මත robots.txt ප්‍රොටෝකෝලයේ කොටසක් නොවූවත්, සමහර සෙවුම් යන්ත්‍ර තේරුම් ගනී a Noindex නියම කරන ලද URL සුචිගත නොකිරීමට උපදෙස් ලෙස robots.txt හි නියෝගය.

Noindex: /non-public-page/

• බඩගා යාම ප්‍රමාදය: මෙම විධානය ඔබේ සේවාදායකයට පහරවල් අතර නිශ්චිත කාලයක් රැඳී සිටින ලෙස crawlers ගෙන් ඉල්ලා සිටියි, සේවාදායක පැටවීමේ ගැටළු ඇති අඩවි සඳහා ප්‍රයෝජනවත් වේ.

Crawl-delay: 10

ඔබගේ Robots.txt ගොනුව පරීක්ෂා කරන්නේ කෙසේද

එය තැන්පත් කර ඇතත් Google සෙවුම් කොන්සෝලය, සෙවුම් කොන්සෝලය robots.txt ගොනු පරීක්ෂකයක් පිරිනමයි.

ඔබට දකුණු පස ඇති තිත් තුන මත ක්ලික් කර තේරීමෙන් ඔබේ Robots.txt ගොනුව නැවත ඉදිරිපත් කළ හැක Recrowl එකක් ඉල්ලන්න.

ඔබගේ Robots.txt ගොනුව පරීක්ෂා කරන්න හෝ නැවත ඉදිරිපත් කරන්න

AI Bots පාලනය කිරීමට Robots.txt ගොනුව භාවිතා කළ හැකිද?

යන්න නිර්වචනය කිරීමට robots.txt ගොනුව භාවිතා කළ හැක AI Web crawlers සහ වෙනත් ස්වයංක්‍රීය bots ඇතුළුව bots හට ඔබේ වෙබ් අඩවියේ අන්තර්ගතය බඩගා යාමට හෝ භාවිතා කිරීමට හැකිය. ගොනුව මෙම bots වලට මඟ පෙන්වයි, ඒවාට පිවිසීමට අවසර දී ඇති හෝ තහනම් කර ඇති වෙබ් අඩවියේ කුමන කොටස්ද යන්න දක්වයි. AI බොට් වල හැසිරීම පාලනය කරන robots.txt හි සඵලතාවය සාධක කිහිපයක් මත රඳා පවතී:

1. ප්රොටෝකෝලය පිළිපැදීම: බොහෝ කීර්තිමත් සෙවුම් යන්ත්‍ර ක්‍රෝලර් සහ තවත් බොහෝ AI බොට් පිහිටුවා ඇති නීතිවලට ගරු කරයි
   robots.txt. කෙසේ වෙතත්, ගොනුව බලාත්මක කළ හැකි සීමාවකට වඩා ඉල්ලීමක් බව සැලකිල්ලට ගැනීම වැදගත්ය. බොට්ස් හට මෙම ඉල්ලීම් නොසලකා හැරිය හැක, විශේෂයෙන් අඩු සූක්ෂම ආයතන විසින් ක්‍රියාත්මක කරන ඒවා.
2. උපදෙස් වල විශේෂත්වය: ඔබට විවිධ bots සඳහා විවිධ උපදෙස් නියම කළ හැක. උදාහරණයක් ලෙස, ඔබ විශේෂිත AI bots හට අන් අයට ඉඩ නොදෙන අතරේ ඔබේ වෙබ් අඩවියට රිංගා යාමට ඉඩ දිය හැක. මෙය සිදු කරනු ලබන්නේ භාවිතා කරමිනි User-agent දී නියෝගය robots.txt ඉහත ගොනු උදාහරණය. උදාහරණ වශයෙන්, User-agent: Googlebot Google හි crawler සඳහා උපදෙස් නියම කරනු ඇත, නමුත් User-agent: * සියලුම bots සඳහා අදාළ වනු ඇත.
3. සීමාවන්: අතර robots.txt නිශ්චිත අන්තර්ගතයන් බඩගා යාමෙන් බොට් වලක්වා ගත හැක; ඔවුන් දැනටමත් දන්නවා නම් එය ඔවුන්ගෙන් අන්තර්ගතය සඟවන්නේ නැත URL එක. අතිරේකව, එය බඩගා ගිය පසු අන්තර්ගතයේ භාවිතය සීමා කිරීමට කිසිදු මාධ්‍යයක් සපයන්නේ නැත. අන්තර්ගත ආරක්ෂණය හෝ නිශ්චිත භාවිත සීමා කිරීම් අවශ්‍ය නම්, මුරපද ආරක්ෂාව වැනි වෙනත් ක්‍රම හෝ වඩාත් සංකීර්ණ ප්‍රවේශ පාලන යාන්ත්‍රණයන් අවශ්‍ය විය හැකිය.
4. බොට් වර්ග: සියලුම AI bots සෙවුම් යන්ත්‍රවලට සම්බන්ධ නොවේ. විවිධ බොට් විවිධ අරමුණු සඳහා භාවිතා වේ (උදා, දත්ත එකතු කිරීම, විශ්ලේෂණ, අන්තර්ගත සීරීම). robots.txt ගොනුව මෙම විවිධ වර්ගයේ bots සඳහා ප්‍රවේශය කළමනාකරණය කිරීමට ද භාවිතා කළ හැක, ඒවා REP වලට අනුගත වන තාක් කල්.

එම robots.txt AI bots මගින් වෙබ් අඩවි අන්තර්ගතය බඩගා යාම සහ භාවිතා කිරීම සම්බන්ධයෙන් ඔබේ මනාපයන් සංඥා කිරීම සඳහා ගොනුව ඵලදායී මෙවලමක් විය හැක. කෙසේ වෙතත්, එහි හැකියාවන් දැඩි ප්‍රවේශ පාලනයක් ක්‍රියාත්මක කිරීමට වඩා මාර්ගෝපදේශ සැපයීමට සීමා වී ඇති අතර, එහි සඵලතාවය රොබෝවරුන් බැහැර කිරීමේ ප්‍රොටෝකෝලය සමඟ බොට් වල අනුකූලතාවය මත රඳා පවතී.

robots.txt ගොනුව SEO අවි ගබඩාවේ කුඩා නමුත් බලවත් මෙවලමකි. එය නිවැරදිව භාවිතා කරන විට වෙබ් අඩවියේ දෘශ්‍යතාව සහ සෙවුම් යන්ත්‍ර ක්‍රියාකාරිත්වයට සැලකිය යුතු ලෙස බලපෑ හැකිය. වෙබ් අඩවියක බඩගාගෙන සහ සුචිගත කර ඇත්තේ කුමන කොටස්ද යන්න පාලනය කිරීමෙන්, වෙබ්මාස්ටර්වරුන්ට ඔවුන්ගේ SEO උත්සාහයන් සහ වෙබ් අඩවි ක්‍රියාකාරිත්වය වැඩි දියුණු කරමින් ඔවුන්ගේ වටිනාම අන්තර්ගතය උද්දීපනය වන බව සහතික කළ හැක.