• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar

Jaranguda

Belajar Mengajar

  • Home
  • Sponsor/Jasa
  • Tentang

Block Google Search Engine dengan Nginx

Last Updated on 31 May 2020 By tommy Leave a Comment

Salah satu cara untuk memblokir search engine (Google, Yandex, MSN, Yahoo, dll) dengan memanfaatkan robots.txt. Bila biasanya anda membuat file robots.txt secara manual, dengan menambah konfigurasi di nginx bisa tanpa perlu menambah file apapun.

Konfigurasi Robots.txt

Konfigurasi standart untuk memblokir semua mesin pencari dengan robots.txt

User-agent: *
Disallow: /

Untuk memblokir hanya mesin pencari Bing

User-agent: BingBot
Disallow: /

Untuk memblokir hanya mesin pencari Google

User-agent: GoogleBot
Disallow: /

Setting Robots.txt di Nginx

Di konfigurasi nginx untuk domain anda, tambahkan

location = /robots.txt {                                                                                        
    add_header Content-Type text/plain;                                                                           
    return 200 "User-agent: *\nDisallow:  /\n";
}

cek konfigurasi anda

nginx -t

bila tidak ada error, reload nginx

systemctl reload nginx

Buka http://nama-domain/robots.txt
tampilan robots.txt

Penutup

Dengan memblokir search engine di robots.txt tidak serta merta langsung menghilangkan website anda dari index mesin pencari, karena itu tergantung dari mesin pencari apakah mereka mengikuti aturan main robots.txt atau tidak. Untuk Google sendiri, biasanya 1-2 minggu setelah setting robots.txt ini website anda akan hilang dari Google.

Solusi lain agar website anda tidak bisa diindex oleh mesin pencari adalah dengan menambahkan Basic Auth

Tulisan menarik lainnya

  • NGINX Rewrite URL dengan sub_filter

    Contoh untuk merubah URL di nginx dengan bantuan modul sub_filter, sebagai contoh saya menggunakan aplikasi…

  • Default VirtualHost Apache dan Server Block Nginx

    VirtualHost Apache Buat file tempat menyimpan virtualhost anda dengan nama 000-default, tambahkan konfigurasi dibawah ini…

  • Membuat Diagram Google Chart dengan PHP MySQL

    Ditutorial kali ini kita akan menggunakan data penduduk Indonesia pada tahun 2010 sebagai contoh. Yang…

  • Cara Mendaftar Google Play Developer Indonesia

    Untuk yang baru mulai menjadi pengembang aplikasi Android, tidak salahnya anda mendaftarkan diri menjadi publisher…

Filed Under: Teknologi

Reader Interactions

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

Primary Sidebar

Pencarian

Tanya Jawab tentang DevOps SRE CPE, gabung di https://t.me/devopsindonesia

Terbaru

  • Cara Mengganti Port Screen Sharing macOS
  • Cara Menonaktifkan Pager di macOS
  • Cara Mengupdate Nama Apple silicon-as-a-Service Scaleway
  • Cara Force Delete Namespace di Kubernetes
  • Install PHP MariaDB di Mac Monterey

Komentar

  • mazda on Tutorial Lengkap Install Mail Server Postfix Dovecot MariaDB di CentOS 7
  • adi on Menggunakan Mikrotik Sebagai SSH Client
  • aris u on Solusi Simple Queue Mikrotik Tidak Berjalan
  • Bowo on Cara Mematikan SSID Molecool Balifiber
  • aris on Solusi Simple Queue Mikrotik Tidak Berjalan

Tulisan Populer

  • Password Router Huawei HG8245H5 Indihome 1.1m views
  • Password Terbaru ZTE F609 Indihome 784.5k views
  • Password Superadmin Huawei HG8245A 318.1k views
  • Cara Setting Manual Modem GPON ZTE F609 Indihome 273k views
  • Cara Setting Wireless ZTE F609 Indihome 257.1k views
  • Mengaktifkan Port LAN di Huawei HG8245 Indihome 169.8k views
  • Akses UseeTV Indihome via Wireless ZTE F609 156.8k views
  • Kemana Menghilangnya Saldo BCA 50 ribu 153.1k views
  • Cara Reset Password ZTE F609 Indihome 147.5k views
  • Cara Setting DHCP Server Modem/Router ZTE F609 113.5k views

Kategori

  • Delphi
  • dll
  • Gambas
  • Internet
  • Java
  • Lazarus
  • Linux
  • PHP
  • Review
  • Teknologi

Sponsor

kadal.id
carakami.com
kuotabisa.com
Untuk jadi sponsor, hubungi kita lewat halaman sponsor
© 2021. Jaranguda
  • Linux
  • PHP
  • Internet
  • Teknologi
  • Delphi
  • Gambas
  • Java