Optimasi Crawler Budget

Berdasar pengalaman, beberapa hal yang harus diperhatikan ketika mau melakukan optimasi crawler budget adalah:

  1. Pastikan server Anda sehat, silakan diuji dengan google page speed test, webpagetest atau gtmetrix. Perhatikan ke nilai TTFB.
  2. Struktur internal link yang bagus, tidak usah set nofollow, kecuali untuk halaman statis, misal about, contact, dsb. Kalau mau set blok crawler, lakukan lewat robots.txt
  3. Pastikan ada sitemap dan feed, kedua hal ini membantu crawler menemukan halaman yang ada di web Anda.
  4. Backlink yang berkualitas.