Tarama bütçesi denildiğinde, herkesin mutlaka bu konuyla ilgili net ve kesin olmasa bile bir fikri vardır. Arama motoru botlarının sitenizi taramak için harcadığı zamanın ve sıklığın göstergesi olan bu terimle ilk defa karşılaşıyorsanız harika bir haberimiz var! Bu yazıda “Tarama Bütçesini” işliyor olacağız…
Bilmiyor olabilirsiniz ancak, Google sitenizi tararken bile ona yardımcı olmanızı istiyor.
Sitenizde Google tarafından tanımlanan bir “tarama bütçesi (crawl budget)” mevcuttur ve bunu geliştirmek sitenizin performansına bağlıdır.
Tarama bütçesi, Google tarafından iki şeyi ölçmek için kullanılan gizli bir metriktir:
- Siteniz ne kadar iyi ve kaliteli bir şekilde oluşturulmuş?
- Siteniz ne kadar popüler?
Bu makalede ise ilk noktaya odaklanacağız.
Sitenizin yapısal kalitesini artırmak, tarama bütçenizi (crawl budget) artıracaktır.
Tarama bütçeniz ne kadar yüksek olursa, Google sayfalarınıza o kadar sık uğrar ve o kadar çok içeriğinizi okur.
Önce işe tarama bütçesinin ne olduğunu anlayarak başlayalım.
İçerik Tablosu
Tarama Bütçesi (Crawl Budget) nedir?
Google, sitenizdeki sayfaları okumak için web crawler (web örümceği) adı verilen özel bir yazılım programı kullanır. Bu web örümceğine Googlebot adı verilmektedir.
Tarama bütçesi, Googlebot’un sayfalarınızı ne sıklıkta tarayacağını açıklayan terimdir.
Sitenizi optimize ederek tarama bütçenizi artırabilirsiniz.
Google, tarama bütçenizin bileşenleri şunlardır diyor:
- Tarama hızı: Googlebot’un sunucularınızda ara vermeden sitenizi tarama hızı (tarayabildiği sayfa sayısı)
- Tarama talebi: Web sayfanızın Google kullanıcıları için ne kadar önemli olduğu
Bu metrikler iyileştikçe Googlebot’un sitenizi daha sık ziyaret ettiğini göreceksiniz. Her ziyaretinde de daha fazla sayfa okuyacaktır.
Google bir sayfayı taradığında içeriği Google Index’e (dizine) ekler. Daha sonra bu indexleme de, Google Arama sonuçlarında gösterilen bilgileri günceller.
Tarama bütçesini optimize ederek sitenizden Google Arama’da yapılacak güncellemelerin hızını da artırabilirsiniz.
Tarama Bütçenizi neden iyileştirmelisiniz?
Google’ın oldukça zor bir işi var. İnternetteki her sayfayı taraması ve dizine eklemesi gerekiyor. Bunu yapması için gereken güç çok fazla ve maalesef her sayfayı dizine eklemesi mümkün değil. Tarama bütçenizi optimize etmek, sitenize Google aramalarında görünme şansı verir.
Tarama Bütçenizi nasıl artırabilirsiniz?
Bir siteyi iyileştirmek, Googlebot’un bir sitede geçirdiği zamanını mümkün olduğunca verimli hale getirmek anlamına gelir.
İstemediğimiz şeyler:
- Googlebot’un, Google Aramasında istemediğimiz sayfaları göstermesi,
- Googlebot’un sunucu hatalarını görmesi,
- Googlebot’un bozuk / ölü bağlantıları görmesi,
- Googlebot’un sayfanın yüklenmesini beklemesi,
- Googlebot’un tekrar eden içeriği okuması.
Yukarıdakilerin hepsi Google’ın değerli vaktini boşa harcayacaktır ve tarama oranınızı düşürecektir.
Tarama Bütçesi ve Teknik SEO
Teknik SEO’nun bir parçası olarak yapmanız gerekenlerin çoğu, Tarama Bütçesini optimize ederken yapacaklarınızla aynıdır.
İhtiyacımız olanlar:
- Robots.txt dosyasını optimize etmek ve hataları kontrol etmek
- Tüm hreflang ve canonical bağlantı etiketlerini düzeltmek
- Non-200 hatası veren sayfaları kaldırmak
- Yönlendirmeleri ve tüm yönlendirme döngülerini düzenlemek
- Site haritalarının hatasız olmasını sağlamak
Şimdi Googlebot’a yardımcı olması adına, mükemmel bir sayfa oluşturmak için yapılacaklara göz atalım.
Mükemmel Sayfa Nasıl Oluşturulur?
Günümüzün en genel kullanılan website altyapıları ve teknolojilerini göz önüne getirdiğinizde, bunun imkansız göründüğünün farkındayız. Ancak, belki de mükemmel hale getiremesek bile, sayfalarınızı olabildiğince iyi bir hale getirmek için çalışmalıyız.
Şimdi iyileştirebileceğiniz bazı genel sayfa içi sorunlara bakalım.
Sayfa Sorunlarını Düzeltmek
- Yinelenen İçerik: Sitenizdeki tekrar eden içerikleri bir canonical bağlantı etiketi ile işaretleyin.
- SSL olmayan sayfalar: Tüm HTTP bağlantılarını bulun ve HTTPS’ye otomatik yönlenmesini sağlayın. SSL sertifikanız yoksa, IHS’den hemen bir SSL sertifikası satın alabilirsiniz. Hatta HSTS protokolü’nü kullanarak, sitenize gelen isteklerde http – https geçişlerini hızlandırın.
- Yalnızca yararlı sayfaların taranmasını sağlayın: Googlebot’un bakacağı yerleri azaltmak için robots.txt dosyanızı kullanın. Örneğin, bir yönetici paneli sayfanız varsa, bunu robots.txt dosyanızda Disallow olarak belirtin.
- Katma Değeri Az Olan İçerikleri Düzenleyin (thin content): Zayıf içeriklerin sayfalarınızın değerini düşürmesine izin vermeyin. Kullanıcılar için çok az değeri olan sayfalarınız varsa, Googlebot’un zamanını bu sayfalarda harcamayın.
- Sunucu Hataları: Sunucu hataları, sağlıksız bir web sunucusu ile çalıştığınıza işaret eder. Siteniz http durum kodlarından 5xx hataları veriyorsa, bunları düzeltmeniz tarama hızını artırabilir.
Yavaş Yüklenen Sayfaları Optimize Etmek
Tarama bütçesini iyileştirmenin bir yolu da sayfayı hızlı hale getirmektir.
Hızlı sayfalar Googlebot’u daha hızlı hale getirir ve bu da Google’ın web sunucusunun “sağlıklı” olduğunu düşünmesi için bir kanıttır.
Google zaten sayfa hızı tarama hızını artırır diye daha önce de belirtmişti.
“Bir siteyi daha hızlı yapmak, kullanıcıların deneyimini iyileştirirken tarama oranını da artırır.”
- Sayfa Boyutu: Bu metrik, sayfanızın toplam boyutudur. Bu boyut, sayfadaki tüm Javascript CSS ve resimleri içerir. Bu toplamda 1 mb’nin altında olmalıdır.
- Optimize Edilmiş Görseller: Görüntüler kalite kaybı olmadan KB olarak mümkün olduğunca küçük olmalıdır. Squoosh, Tinyjpg, Compressor benzeri bir araç bu konuda yardımcı olabilir.
- Küçültülmüş CSS ve JS: JS ve CSS dosyalarınızı (minify edin) küçültün. Bu, gereksiz tüm karakterleri dosyadan kaldırma işlemine denir. CSSNano ve UglifyJS gibi araçları dosyalarınızı küçültmek için kullanın.
- Sıkıştırma ve Önbellekleme – Sunucunuzda GZip veya BR sıkıştırmasının olduğundan emin olun. Bu işlem, bir dosyaya ulaşmak için gereken süreyi kısaltacaktır. Dosyanın yalnızca bir kez indirilmesi için önbellek ekleyin.
Değişiklik Sonrası Performan Ölçme Yöntemleri
Akıllı bir SEO uzmanı olarak herhangi bir optimizasyona başlamadan önce değişiklikleri takip etmeniz gerekir.
Şu iki özelliğe sahip bir veri noktası seçmeniz gerekmektedir:
- Veri noktasını zaman içinde takip edebilmeniz,
- Ve bu verileri eylemlerinizle etkileyebilmeniz gerekmektedir.
Peki tarama bütçesi için takip etmeniz gereken veri noktası nedir?
Daha önce Google’ın tarama bütçesine karar verirken iki değişkeni dikkate aldığını söylemiştik:
- Tarama Hızı: Googlebot’un sunucularınızı bozmadan sitenizi tarama hızı
- Tarama talebi: Siteniz Google kullanıcıları için ne kadar önemli olduğu
Biz teknik SEO uzmanları olarak öncelikli işimiz tarama hızını artırmaktır. Yani takip etmemiz gereken veri noktası budur.
Tarama Hızını Takip Etmek
Peki Googlebot tarama hızını nasıl takip ederiz?
Web sunucusu log dosyalarını kullanmamız gerekiyor.
Log dosyaları, web sunucunuza yapılan her isteği depolar. Bir kullanıcı veya Googlebot sitenizi her ziyaret ettiğinde log dosyasına bir log girişi eklenir.
Googlebot’un siteye yaptığı bir giriş şöyle görünür:
127.0.0.1 - - [11 / Kasım / 2019: 08: 29: 01 +0100] "GET / örnek HTTP / 1.1" 200 2326 "-" "Mozilla / 5.0 (uyumlu; Googlebot / 2.1; + http: // www .google.com / bot.html)"
Her kayıtta üç önemli veri noktası vardır:
Tarih:
[11 / Kasım / 2019: 08: 29: 01 +0100]
URL:
“GET /index.php HTTP / 1.1”
Ve Googlebot’un istekte bulunduğunu söyleyen User Agent Değeri:
"Mozilla / 5.0 (uyumlu; Googlebot / 2.1; + http: //www.google.com/bot.html)"
Yukarıdaki log bir Nginx web sunucusuna ait. Ancak, Apache veya IIS gibi tüm web sunucuları da benzer bir log dosyası girişine sahip olacaktır.
Kurulumunuza bağlı olarak bir İçerik Dağıtım Ağınız (CDN) olabilir. Cloudflare veya Fastly gibi bir CDN’de log dosyaları oluşturmaktadır.
Bir log dosyasını manuel olarak analiz etmek mümkün olsa da, pek eğlenceli bir şey değildir.
Access.log dosyasını indirebilir, Excel veya Screaming Frog Log Analyzer kullanarak dosyayı analiz edebilirsiniz.
Değişiklikleri Uygulamak
Şimdi neyi takip ettiğimizi bildiğimize göre, bazı iyileştirmeler yapmaya başlayabiliriz. Ancak, size önerimiz, aynı anda çok fazla değişiklik yapmamak olacaktır. Sistemli olun ve değişiklikleri tek tek yapın.
Oluştur > Ölçümle > Öğren şeklinde ilerlemelisiniz.
Bu tekniği kullanarak, yaparken öğrendiklerinizi değişikliklere de uyarlayabilirsiniz. Tarama hızını artıran görevlere odaklanın.
Acele edip bir kerede çok fazla unsuru değiştirirseniz, sonrasında sonuçları anlamak zor olabilir. Çok fazla şey değiştirmek, neyin işe yarayıp yaramadığını söylemeyi epey zorlaştıracaktır. Sayfa yapısı geliştikçe ve tarama hızı arttıkça, tarama bütçesinde de bir artış göreceksiniz.
Son olarak;
Güncelleme Öncesi ve Sonrası Tarama Bütçesi Takibi
Tarama Bütçesi’nin tam olarak ne olduğunu bu yazıda öğrendik.
Teknik SEO uzmanı olarak, artık sitenizin tarama hızını arttırma gücüne sahipsiniz. Sitenin teknik sağlığını iyileştirerek, Googlebot’un sitenizde geçireceği zamanı verimli hale getirebilirsiniz. Doğru sonuçlar için, log dosyalarını kullanarak tarama hızını takip edin.
Her seferinde bir değişiklik yapmak ve ilerledikçe gelişmek için; Oluştur > Ölç > Öğren tekniğini kullanın.
Zamanla tarama hızınız artacaktır. Dolayısıyla sayfalarınız Google Arama Sonuçlarında daha hızlı görünecektir. Ve kullanıcılar da sitenizde harika bir deneyim yaşayacaklardır.