Crawl budget για μεγάλα e-shop: πώς να μη σπαταλά η Google χρόνο σε λάθος URLs
Σε μικρές ιστοσελίδες με λίγες σελίδες, το crawl budget σπάνια είναι πρόβλημα. Σε μεγάλα e-shop όμως, με χιλιάδες προϊόντα, φίλτρα, κατηγορίες, παραμέτρους και ταξινομήσεις, μπορεί να γίνει σημαντικό τεχνικό θέμα.
Η Google πρέπει να αποφασίσει ποιες URLs θα ανιχνεύσει, πόσο συχνά και πόσους πόρους θα διαθέσει. Αν το site δημιουργεί πολλές χαμηλής αξίας URLs, οι σημαντικές σελίδες μπορεί να ανακαλύπτονται ή να ανανεώνονται πιο αργά.
Τι είναι crawl budget
Η Google περιγράφει το crawl budget ως συνδυασμό crawl rate και crawl demand: πόσο μπορεί και πόσο θέλει να ανιχνεύσει το Googlebot σε ένα site.
Για τα περισσότερα μικρά sites δεν χρειάζεται υπερβολική ανησυχία. Για μεγάλα e-shop, marketplace-like catalogs ή sites με πολλές δυναμικές παραμέτρους, χρειάζεται έλεγχος.
Τι σπαταλά crawl budget
Σύμφωνα με Google Search Central, πολλά low-value-add URLs μπορούν να επηρεάσουν crawling και indexing. Παραδείγματα που αναφέρει η Google περιλαμβάνουν faceted navigation, session identifiers, duplicate content, soft error pages και infinite spaces.
Σε e-shop, αυτά εμφανίζονται πρακτικά ως:
- φίλτρα που δημιουργούν άπειρους συνδυασμούς URLs
- ταξινόμηση με παραμέτρους όπως
sort=price - session IDs μέσα στο URL
- duplicate προϊόντα σε πολλές παραλλαγές
- out-of-stock σελίδες χωρίς στρατηγική
- soft 404 σε άδειες κατηγορίες
- internal search result pages
Αν όλα είναι crawlable, η Google ξοδεύει χρόνο σε σελίδες που δεν έχουν πραγματική αξία.
Sitemap και internal links
Το sitemap πρέπει να περιέχει μόνο τις canonical indexable URLs που αξίζουν. Αν το sitemap γεμίζει με παραμέτρους, noindex σελίδες ή redirects, στέλνει λάθος σήμα.
Τα internal links επίσης πρέπει να οδηγούν σε σημαντικές κατηγορίες, προϊόντα και οδηγούς. Αν το site συνδέει μαζικά άχρηστες filtered URLs, ενισχύει το πρόβλημα.
Canonical και noindex με σχέδιο
Το canonical βοηθά όταν υπάρχουν παρόμοιες σελίδες. Το noindex βοηθά όταν μια σελίδα πρέπει να μείνει εκτός αποτελεσμάτων. Το robots.txt μπορεί να περιορίσει crawling.
Δεν είναι όμως εναλλάξιμα εργαλεία. Σε μεγάλα e-shop, χρειάζεται κανόνας ανά τύπο URL:
- ποιες κατηγορίες είναι indexable
- ποια φίλτρα γίνονται SEO landing pages
- ποιες παράμετροι canonicalize προς βασική σελίδα
- ποιες περιοχές δεν πρέπει να crawlάρονται
- ποιες σελίδες πρέπει να αφαιρούνται από sitemap
Soft errors
Soft 404 σημαίνει ότι μια σελίδα φαίνεται τεχνικά ως 200 OK αλλά στην πράξη δεν έχει περιεχόμενο αξίας. Για παράδειγμα, άδεια κατηγορία που λέει «δεν υπάρχουν προϊόντα» αλλά παραμένει indexable.
Αυτό μπερδεύει crawling και εμπειρία χρήστη. Καλύτερα να υπάρχει καθαρή στρατηγική για άδειες κατηγορίες, discontinued προϊόντα και προσωρινά out-of-stock σελίδες.
Πώς το κάνει η Ai Foundry
Στην Ai Foundry αντιμετωπίζουμε το crawl budget ως μέρος της τεχνικής αρχιτεκτονικής μεγάλων sites και e-shop. Δεν αφήνουμε φίλτρα, παραμέτρους, sitemap και canonical tags να δημιουργούνται τυχαία από την πλατφόρμα.
Σχεδιάζουμε κανόνες για indexable κατηγορίες, product URLs, filtered pages, internal links και τεχνικά exclusions. Έτσι το e-shop μεγαλώνει χωρίς να γεμίζει τη Google με χαμηλής αξίας URLs, και οι σημαντικές σελίδες έχουν καθαρότερη διαδρομή για crawling και indexing.
Checklist
Ελέγξτε:
- αν το sitemap περιέχει μόνο canonical indexable URLs
- αν φίλτρα και sort parameters δημιουργούν άχρηστες crawlable URLs
- αν υπάρχουν session IDs στα URLs
- αν άδειες κατηγορίες επιστρέφουν soft 404 εμπειρία
- αν τα internal links οδηγούν σε σημαντικές σελίδες
- αν το Search Console δείχνει πολλά excluded ή duplicate URLs
- αν discontinued προϊόντα έχουν σαφή στρατηγική
- αν η πλατφόρμα δημιουργεί infinite URL spaces
Το crawl budget δεν είναι θέμα για κάθε μικρό site. Για μεγάλα e-shop όμως, είναι ένδειξη τεχνικής πειθαρχίας και καθαρής SEO αρχιτεκτονικής.