• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar

Jaranguda

Belajar Mengajar

  • Home
  • Sponsor/Jasa
  • Tentang

Block Google Search Engine dengan Nginx

Last Updated on 31 May 2020 By tommy Leave a Comment

Salah satu cara untuk memblokir search engine (Google, Yandex, MSN, Yahoo, dll) dengan memanfaatkan robots.txt. Bila biasanya anda membuat file robots.txt secara manual, dengan menambah konfigurasi di nginx bisa tanpa perlu menambah file apapun.

Konfigurasi Robots.txt

Konfigurasi standart untuk memblokir semua mesin pencari dengan robots.txt

User-agent: *
Disallow: /

Untuk memblokir hanya mesin pencari Bing

User-agent: BingBot
Disallow: /

Untuk memblokir hanya mesin pencari Google

User-agent: GoogleBot
Disallow: /

Setting Robots.txt di Nginx

Di konfigurasi nginx untuk domain anda, tambahkan

location = /robots.txt {                                                                                        
    add_header Content-Type text/plain;                                                                           
    return 200 "User-agent: *\nDisallow:  /\n";
}

cek konfigurasi anda

nginx -t

bila tidak ada error, reload nginx

systemctl reload nginx

Buka http://nama-domain/robots.txt
tampilan robots.txt

Penutup

Dengan memblokir search engine di robots.txt tidak serta merta langsung menghilangkan website anda dari index mesin pencari, karena itu tergantung dari mesin pencari apakah mereka mengikuti aturan main robots.txt atau tidak. Untuk Google sendiri, biasanya 1-2 minggu setelah setting robots.txt ini website anda akan hilang dari Google.

Solusi lain agar website anda tidak bisa diindex oleh mesin pencari adalah dengan menambahkan Basic Auth

Tulisan menarik lainnya

  • NGINX Rewrite URL dengan sub_filter

    Contoh untuk merubah URL di nginx dengan bantuan modul sub_filter, sebagai contoh saya menggunakan aplikasi…

  • Default VirtualHost Apache dan Server Block Nginx

    VirtualHost Apache Buat file tempat menyimpan virtualhost anda dengan nama 000-default, tambahkan konfigurasi dibawah ini…

  • Membuat Diagram Google Chart dengan PHP MySQL

    Ditutorial kali ini kita akan menggunakan data penduduk Indonesia pada tahun 2010 sebagai contoh. Yang…

  • Cara Mendaftar Google Play Developer Indonesia

    Untuk yang baru mulai menjadi pengembang aplikasi Android, tidak salahnya anda mendaftarkan diri menjadi publisher…

Filed Under: Teknologi

Reader Interactions

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

Primary Sidebar

Pencarian

Tanya Jawab tentang DevOps SRE CPE, gabung di https://t.me/devopsindonesia

Terbaru

  • Solusi AWS CLI SSL VALIDATION failed
  • Monitoring Kubernetes Cluster dengan Prometheus
  • Solusi Playwright Firefox version `GLIBCXX_3.4.30′ not found (required by /lib64/libicuuc.so.69)
  • Cara Upgrade Fedora 35 ke Fedora 36
  • Ekstrak Gzip File dan Ambil Total dengan Python

Komentar

  • Xpud on Script PHP untuk Mengambil History Lagu Shoutcast v2.5
  • Jrenx on Membuat Bot Telegram Sederhana dengan PHP
  • Sella on Kemana Menghilangnya Saldo BCA 50 ribu
  • Rian on Mengganti Halaman Error Laravel
  • Suchie on Kemana Menghilangnya Saldo BCA 50 ribu

Tulisan Populer

  • Password Router Huawei HG8245H5 Indihome 1m views
  • Password Terbaru ZTE F609 Indihome 781.5k views
  • Password Superadmin Huawei HG8245A 294.3k views
  • Cara Setting Manual Modem GPON ZTE F609 Indihome 267.8k views
  • Cara Setting Wireless ZTE F609 Indihome 251k views
  • Mengaktifkan Port LAN di Huawei HG8245 Indihome 165.4k views
  • Akses UseeTV Indihome via Wireless ZTE F609 154.7k views
  • Cara Reset Password ZTE F609 Indihome 146k views
  • Kemana Menghilangnya Saldo BCA 50 ribu 135.3k views
  • Cara Setting DHCP Server Modem/Router ZTE F609 109k views

Kategori

  • Delphi
  • dll
  • Gambas
  • Internet
  • Java
  • Lazarus
  • Linux
  • PHP
  • Review
  • Teknologi

Sponsor

kadal.id
Untuk jadi sponsor, hubungi kita lewat halaman sponsor
© 2021. Jaranguda
  • Linux
  • PHP
  • Internet
  • Teknologi
  • Delphi
  • Gambas
  • Java