robots.txt je mali tekstualni fajl koji kontroliše koji botovi mogu da pristupe Vašem sajtu. Danas, pored Google-a, postoje i AI botovi (GPTBot, ClaudeBot, Google-Extended). Možete dozvoliti pretraživačima da indeksiraju sajt, a istovremeno ograničiti AI skrejpere ako ne želite da Vaš sadržaj koristi za treniranje. Pogrešna konfiguracija može da Vas potpuno izbaci sa Google-a, zato budite pažljivi i testirajte pre objave.
Verovatno ste čuli za pojam „robots.txt", ali malo vlasnika malih preduzeća zapravo zna šta ovaj fajl radi i zašto je danas važniji nego ikada. Sa pojavom AI agenata poput ChatGPT-a, Claude-a i Google-ovih AI funkcija, jednostavan tekstualni fajl na Vašem sajtu odjednom je postao alat kojim odlučujete ko sme da „čita" i koristi Vaš sadržaj.
U ovom vodiču objasnićemo Vam, jednostavnim jezikom, šta je robots.txt, kako da ga pravilno konfigurišete za tradicionalne pretraživače i nove AI botove, i koje greške mogu da Vas koštaju vidljivosti na Google-u. Cilj je da posle čitanja tačno znate šta želite da postignete sa svojim sajtom i kako to da saopštite botovima.
Šta je robots.txt i zašto Vam je bitan
robots.txt je običan tekstualni fajl koji se nalazi u korenskom direktorijumu Vašeg sajta, na adresi poput vasadomen.com/robots.txt. Njegova uloga je da botovima (automatskim programima koji obilaze internet) da instrukcije o tome kojim delovima sajta smeju da pristupe, a kojim ne.
Zamislite ga kao natpis na ulaznim vratima Vaše prodavnice. Ne zaključava vrata, već ljubazno govori posetiocima: „Ovde možete da uđete, a ovaj deo je privatan." Većina renomiranih botova — poput Google-ovog — poštuje ova pravila. Važno je razumeti da robots.txt nije bezbednosni mehanizam — zlonamerni botovi ga mogu ignorisati. Za pravu zaštitu osetljivih podataka koriste se druge metode.
Za Vaš biznis, robots.txt je bitan iz dva razloga:
- Kontrola SEO indeksiranja — usmeravate pretraživače na važne stranice, a sprečavate da troše resurse na nebitne (npr. admin panele ili duple stranice).
- Kontrola AI pristupa — odlučujete da li dozvoljavate AI kompanijama da koriste Vaš sadržaj za treniranje svojih modela.
Ako planirate izradu novog web sajta, ovo je jedna od tehničkih stavki koju treba pravilno postaviti od samog početka.
Osnovna struktura robots.txt fajla
Sintaksa robots.txt fajla je iznenađujuće jednostavna. Sastoji se od nekoliko osnovnih naredbi:
- User-agent — određuje na kog bota se pravilo odnosi.
- Disallow — govori botu koje putanje NE sme da posećuje.
- Allow — eksplicitno dozvoljava pristup određenoj putanji.
- Sitemap — pokazuje botovima gde se nalazi Vaša mapa sajta.
Najjednostavniji primer koji dozvoljava svim botovima pristup celom sajtu koristi zvezdicu kod User-agent naredbe (što znači „svi botovi") i prazan Disallow (što znači da ništa nije zabranjeno). Uz to se navodi i putanja do sitemap fajla.
Ako želite da sakrijete određene delove sajta, na primer administratorski deo ili korpu, u Disallow naredbe upisujete konkretne putanje poput /wp-admin/ ili /kosarica/. Istovremeno možete koristiti Allow naredbu da dozvolite jedan konkretan fajl koji je tehnički potreban, poput admin-ajax.php.
Konfiguracija za pretraživače (Google, Bing)
Kada je reč o pretraživačima, cilj je gotovo uvek isti: dozvoliti im pristup važnom sadržaju kako bi Vaš sajt bio vidljiv u rezultatima pretrage. Ovde treba biti izuzetno oprezan, jer jedna pogrešna linija može ceo sajt da učini nevidljivim na Google-u.
Najopasnija greška je kada iza Disallow naredbe stoji samo kosa crta. Ta jedna kosa crta znači „zabrani pristup celom sajtu". Neverovatno je koliko sajtova slučajno ostane u ovom stanju posle lansiranja, jer developeri koriste ovu konfiguraciju tokom izrade da spreče indeksiranje nezavršenog sajta — pa zaborave da je uklone.
Za većinu biznis sajtova, ispravna konfiguracija za pretraživače eksplicitno dozvoljava pristup Googlebot-u i Bingbot-u, dok za sve ostale botove blokira samo nebitne putanje (kao što su admin deo, rezultati interne pretrage ili cgi-bin). Uz to obavezno navedite i liniju sa mapom sajta.
Važno je znati da robots.txt kontroliše puzanje (crawling), ali ne uvek i indeksiranje. Ako želite da neka stranica sigurno ne bude u rezultatima pretrage, koristite noindex meta oznaku na samoj stranici umesto da je blokirate u robots.txt. Ovo je jedan od detalja koji često promakne, a ključan je za dobru SEO optimizaciju.
Ako niste sigurni kako Vaš sajt trenutno stoji, možete da uradite besplatnu SEO analizu sajta i proverite ima li tehničkih problema.
Konfiguracija za AI agente
Ovo je najnovija i najzanimljivija tema. AI kompanije koriste posebne botove da prikupljaju sadržaj sa interneta za treniranje svojih jezičkih modela. Za razliku od Google-a, čiji je cilj da Vas prikaže u pretrazi, cilj AI botova može biti da koriste Vaš sadržaj — a Vi možda ne dobijate ništa zauzvrat.
Najvažniji AI botovi koje treba da poznajete:
- GPTBot — OpenAI (ChatGPT)
- ClaudeBot i anthropic-ai — Anthropic (Claude)
- Google-Extended — Google-ov AI za treniranje (Gemini)
- CCBot — Common Crawl (koristi ga mnoštvo AI modela)
- PerplexityBot — Perplexity AI
Ako ne želite da AI kompanije koriste Vaš sadržaj za treniranje, za svaki od ovih botova (GPTBot, ClaudeBot, anthropic-ai, Google-Extended, CCBot, PerplexityBot) dodajete zaseban User-agent unos praćen naredbom Disallow sa kosom crtom, čime im zabranjujete pristup celom sajtu.
Važno: blokiranje Google-Extended-a ne utiče na Vaše rangiranje u klasičnoj Google pretrazi. To je zaseban bot samo za AI treniranje, tako da možete ostati vidljivi na Google-u a istovremeno zabraniti korišćenje sadržaja za Gemini.
Sa druge strane, mnogi biznisi danas žele da AI agenti čitaju njihov sadržaj. Ako Vas ChatGPT ili Perplexity preporuče kao izvor ili odgovor korisniku, to može doneti nove klijente. Ovo je nova disciplina koja se često naziva „GEO" (Generative Engine Optimization). U tom slučaju jednostavno ne blokirate ove botove.
Odluka zavisi od Vaše strategije. Ako je Vaš sadržaj Vaš glavni proizvod (npr. plaćeni tekstovi, kursevi, jedinstvena baza znanja), verovatno želite da blokirate AI skrejpere. Ako je sadržaj marketinško sredstvo koje treba da Vas učini vidljivijim, možda je pametnije da ih pustite. Kod donošenja ovakvih odluka pomažu i naša AI rešenja, koja pomažu biznisima da iskoriste veštačku inteligenciju umesto da je se plaše.
Najčešće greške i kako ih izbeći
Kroz rad sa desetinama sajtova, primetili smo da se stalno ponavljaju iste greške u robots.txt konfiguraciji. Evo najvažnijih:
1. Ostavljanje potpune zabrane posle lansiranja. Kao što smo pomenuli, Disallow sa kosom crtom potpuno skriva sajt od pretraživača. Uvek proverite robots.txt čim sajt pređe u produkciju.
2. Blokiranje CSS i JavaScript fajlova. Nekada se preporučivalo blokiranje ovih resursa. Danas Google želi da ih vidi kako bi pravilno „renderovao" stranicu. Blokiranje ovih fajlova može štetiti Vašem rangiranju.
3. Mešanje robots.txt sa privatnošću. Ako u Disallow navedete putanju do osetljivih podataka, zapravo javno objavljujete gde se ti podaci nalaze. robots.txt je vidljiv svima. Nikada ne oslanjajte bezbednost na ovaj fajl.
4. Nepostavljanje Sitemap linije. Iako nije obavezna, mapa sajta pomaže pretraživačima da brže i potpunije indeksiraju Vaš sadržaj.
5. Kopiranje tuđeg robots.txt fajla bez razumevanja. Svaki sajt je drugačiji. Konfiguracija koja odgovara jednom WordPress sajtu možda ne odgovara Vašoj online prodavnici ili custom aplikaciji.
Uvek testirajte fajl pomoću Google Search Console alata za testiranje robots.txt-a pre nego što se pouzdate u njega. Bolje je da otkrijete grešku pre nego što ona utiče na Vašu vidljivost.
Ako upravljate kompleksnijim sistemom ili niste sigurni kako da postavite tehničke detalje, naš tim za održavanje sajtova redovno pregleda i optimizuje ovakve konfiguracije za klijente.
Zaključak
robots.txt je mali fajl sa velikim uticajem. Sa jedne strane, pravilna konfiguracija osigurava da Vas pretraživači vide i rangiraju kako treba. Sa druge strane, u eri veštačke inteligencije, ovaj fajl Vam daje moć da odlučite ko sme da koristi Vaš sadržaj i pod kojim uslovima.
Naš savet je jednostavan: dozvolite pretraživačima da rade svoj posao, svesno odlučite o pristupu AI botova u skladu sa svojom strategijom, i uvek testirajte fajl pre nego što ga objavite. Jedna pogrešna linija može da Vas košta meseci rada na vidljivosti.
Ako želite da budete sigurni da je Vaš sajt tehnički besprekorno postavljen — od robots.txt fajla do brzine i strukture — kontaktirajte nas. Rado ćemo pregledati Vaš sajt i pomoći Vam da iskoristite maksimum i iz pretrage i iz novog sveta AI agenata.