Optimasi Crawler Budget

Berdasar pengalaman, beberapa hal yang harus diperhatikan ketika mau melakukan optimasi crawler budget adalah:

  1. Pastikan server Anda sehat, silakan diuji dengan google page speed test, webpagetest atau gtmetrix. Perhatikan ke nilai TTFB.
  2. Struktur internal link yang bagus, tidak usah set nofollow, kecuali untuk halaman statis, misal about, contact, dsb. Kalau mau set blok crawler, lakukan lewat robots.txt
  3. Pastikan ada sitemap dan feed, kedua hal ini membantu crawler menemukan halaman yang ada di web Anda.
  4. Backlink yang berkualitas.

Tentang Priority di Sitemap

Jika pernah melihat berkas sitemap xml, maka di salah satu kolomnya ada yang bernama priority, yang nilainya antara 0.0 sampai 1.0? Apa arti dari nilai-nilai ini? Menurut sitemaps.org, nilai tersebut bermakna seberapa penting sebuah url dibanding dengan url lain bagi mesin pencari. Misal kita memiliki url tag dengan nilai 0.4 dan url single/detail dengan nilai 0.8, maka kita seolah-olah memberi tahu mesin pencari bahwa bobot url single lebih penting dari url tag. Demikianlah kira-kita penjelasannya.

Sitemap Django Lambat

Sitemap dengan isi cuma 7 ribuan URL kok lambat banget ya, akhirnya diakali dengan nginx, karena ini masih static file juga, biarin nginx aja yang kerja, dikombinasi dengan perintah wget via crontab 5 menit sekali mengunduh file yang asli, kemudian tambahkan location block yang baru di nginx. Hasilnya cuepet!

location /index.xml {
   alias /home/kholidfu/path/to/index.xml;
}

perintah wget di crontab

*/5 * * * * wget https://example.com/sitemap.xml -O /home/kholidfu/path/to/index.xml

Done