Linux

Untuk melihat apa yang digunakan PAGER di mac, jalankan di terminal

$ echo $PAGER
less

Pager ini tujuannya untuk menampilkan keluaran dari perintah di teriminal yang bisa diakses dengan berbagai ukuran layar. Contoh tampilan ketika menjalankan git branch

Seakan-akan output git branch tersebut di buka di layer yang berbeda dengan tempat anda mengjalankan perintah tersebut. Bagi saya ini kurang user-friendly, dan saya lebih memilih tanpa adanya PAGER tersebut.

Contoh tampilan tanpa pager

Cara untuk menonaktifkan PAGER tersebut adalah dengan menambahkan export PAGER="" di ~/.zshrc untuk zsh dan ~/.bashrc untuk bash

# zsh shell
echo 'export PAGER=""' >> ~/.zshrc
# bash shell
echo 'export PAGER=""' >> ~/.bashrc

setelah menambahkan baris tersebut, reload konfigurasi shell anda.

# zsh shell
source >> ~/.zshrc
# bash shell
source >> ~/.bashrc

Cara yang akan kita bahas disini bisa digunakan untuk berbagai object yang digunakan oleh Kubernertes seperti namespace atau LoadBalancer ataupun object lainnya.
Bila anda mendapati masalah seperti menghapus suatu namespace di Kubernetes, tetapi statusnya tetap Terminating

➜  ~ kubectl delete ns/kafka
namespace "kafka" deleted

bila di cek status namespacenya Terminating

➜  ~ kubectl get ns/kafka
NAME    STATUS        AGE
kafka   Terminating   10d

untuk lebih jelas, kita lihat detail lebih jauh tentang namespace ini

➜  ~ kubectl describe ns/kafka
Name:         kafka
Labels:       kubernetes.io/metadata.name=kafka
              kubesphere.io/namespace=kafka
Annotations:  <none>
Status:       Terminating
Conditions:
  Type                                         Status  LastTransitionTime               Reason                  Message
  ----                                         ------  ------------------               ------                  -------
  NamespaceContentRemaining                    True    Tue, 08 Nov 2022 21:33:35 +0700  SomeResourcesRemain     Some resources are remaining: pods. has 1 resource instances
  NamespaceFinalizersRemaining                 False   Tue, 08 Nov 2022 22:09:57 +0700  ContentHasNoFinalizers  All content-preserving finalizers finished
 
No resource quota.
 
No LimitRange resource.

➜  ~ kubectl get pods -n kafka
NAME      READY   STATUS        RESTARTS      AGE
kafka-0   0/1     Terminating   4 (12d ago)   12d

Solusinya adalah dengan menghapus finalizer.

Jalankan

kubectl edit ns/kafka

cari lalu hapus baris

  finalizers:
  - kubernetes

setelah menghapus baris tersebut, tunggu beberapa saat agar perubahan tersebut dijalankan oleh kubernetes

Yang ditampilkan ini cukup mengganggu, karena cukup sering muncul tiap menjalankan command di terminal Mac
The “git” command requires the command line developer tools. Would you like to install the tools now?
Choose to install to download and install the command line developer tools now

Solusinya jalankan

sudo xcode-select -switch /Library/Developer/CommandLineTools

Karena trino tidak memiliki fitur authentikasi bawaan, maka kita akan menggunakan pihak ketiga (third party), yang akan digunakan disini keycloak. Keycloak sendiri bisa menggunakan SAML ataupun OpenID, karena trino support OpenID, maka kita akan menggunakan OpenID untuk koneksi antara kedua service ini.

Setting Keycloak 19

Login ke keycloak ke master console sebagai admin

1. Buat Realm Trino

2. Buat client
Klik menu Client -> Create Client

Yang perlu di isi

Client Type : OpenID Connect
Client ID : trino
Name : Aplikasi Trino

pada capability config, pastikan sesuai dengan

Client authentication : ON
Authorization : ON
Authentication flow : 
 - Standard flow
 - Direct access grants

klik Save

Selanjutnya, pada “Valid redirect URIs” isi dengan https://localhost:8443/*. Akhiri dengan klik Save

Bila anda mencoba berbagai services, bisa juga menggunakan *, sebagai nilai “Valid redirect URIs”, dengan begitu URL apa pun akan diterima oleh Keycloak, tapi ingat jangan digunakan di server production.

Klik menu Realm Settings, pada baris Endpoints klik OpenID Endpoint Configuration

Format URL-nya : https://[DOMAIN KEYCLOAK]/realms/[REALMS]/.well-known/openid-configuration

Copy URL Issuer, contoh https://keycloak.jaranguda.com/realms/app-trino

Klik menu Client, klik trino. Pada tab credential, copy Client secret

Ketiga informasi ini (issuer, client name dan client secret) akan kita gunakan sewaktu menjalankan aplikasi Trino

Issuer : https://keycloak.jaranguda.com/realms/app-trino
Client : trino
Client secret : JxG5wAdYCv4EvMdXrMyKKYy0GLa5UlTv

Tambah User Keycloak

Saat ini kita belum memiliki user, untuk itu kita akan membuat 1 user untuk login. Selain cara ini kita bisa juga menggunakan user dari LDAP, Google, Twitter dan lain sebagainya, tetapi untuk mempersingkat tutorial ini usernya kita buat manual.

klik menu Users -> Create new user

akhiri dengan klik Create

Field yang perlu diisi

Username : jaranguda
Email : blablabla@domain
Email verified : ON
First name : Jaranguda
Last name : Com
Enabled : ON

Klik Credential

ingat untuk mencentang Temporary Off agar passwordnya permanen.

Install Trino

Untuk memudahkan tutorial ini, kita akan menjalankan trino dengan docker. Agar bisa menggunakan fitur OAUTH, kita harus menggunakan mode SSL/HTTPS/TLS.

Buat folder untuk menyimpan config trino

mkdir /home/jaranguda/trino

1. Generate SSL

openssl req -newkey rsa:2048 -nodes -keyout trino.key -x509 -days 3650 -out trino.crt

Satukan private key dan certificate diatas menjadi satu

cat trino.crt trino.key > /home/jaranguda/trino/trino.cert

2. Config Trino
Buat file /home/jaranguda/trino/config.properties yang berisi

#single node install config
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
discovery.uri=http://localhost:8080
 
http-server.https.enabled=true
http-server.https.port=8443
http-server.https.keystore.path=/tmp/trino.pem
 
internal-communication.shared-secret=DtwONqSu2DukReKmJg1uU5XvloM6WAZztvtUTy3r6rcXenPGZUGlflYtE3saEXeyEqQGDKZsH/0azZvMDFhvZscF6Zjfrzxr8YzGkP3WOe4Pj7VbQiKga227lJogUzrfGBfjKyzrq4OpJV51PABcTi/QMmSqt/i8PB/q365PmDzOlGez3D6dM9g+OuFTp2HJcim8uaNHlzyFQmYEo/uszbNcS63xjUCi0Z9rpBbgRBnZtbU4Hf3T+hM8M8I5w/acf9PjUN/O4zdjB/fR8TmD48hckfYvc6IW2LVYM63IF/zBd77U8G6ZEyaJ+EQ08riBRWTv74jkgpEqJPKW5FBHKwC3MBj58FIAeo8l3W6Rxa6QHRSsaVris2MfUK+iqE5/catCQZaqefRa2jIuRG9Yk1SJfu+OYdWTuatJVjk7EYo1Epsfa5AMYprm+zT5uO59AaXlByjOufqlKEUcn1zT8FE1i1+1tfxmY1VFbFMWpatXcfLsVFWHnG3g0QpJ1troxA07qnAKBBnI97i3lGmfCrWHWZfmLj5iDVrUAuQdhHvvzQYiTweYkXQturXsvH69gbInUTlv06U/3VJOgY7ymW6WLMW7eiC21uA6wpLnLryX5etn2fGzBKR41L6VmrxKE1Eob2DD22SWClP5j3dbRaVT5vWwvQov4p3bSJZFSg8=
 
http-server.authentication.type=oauth2
web-ui.authentication.type=oauth2
http-server.authentication.oauth2.issuer=https://keycloak.jaranguda.com/realms/app-trino
http-server.authentication.oauth2.client-id=trino
http-server.authentication.oauth2.client-secret=JxG5wAdYCv4EvMdXrMyKKYy0GLa5UlTv

internal-communication.shared-secret, bisa digenerate dengan openssl rand 512 | base64 -w0
ganti issuer, client-id dan client-secret, sisanya biarkan default. Lalu jalankan trino dengan docker

docker run -p 8443:8443 -v /home/jaranguda/trino/config.properties:/etc/trino/config.properties -v /home/jaranguda/trino.cert:/tmp/trino.pem trinodb/trino

Setelah docker berjalan, buka di browser https:localhost:8443, jangan kaget waktu mendapati error, karena ini untuk tahap development jadi sah-sah saja menggunakan self-signed certificate, untuk production bisa menggunakan SSL gratis seperti Let’s Encrypt, agar tidak muncul peringatan “Warning: Potential Security Risk Ahead” seperti gambar dibawah

klik Advanced, lalu Accept the Risk and Continue

Anda akan otomatis diarahkan ke halaman sign-in Keycloak

isi username dan password yang tadi dibuat

Tampilan UI trino setelah login

Bila partisi utama anda kepenuhan, dan docker banyak komplain karena kekurangan space, selain menggunakan hardisk yang lebih besar bisa juga diakali dengan memindahkan data ke partisi yang berbeda, contoh kondisi hardisk saya saat ini

$ sudo df -h
# output
Filesystem      Size  Used Avail Use% Mounted on
udev            6.8G     0  6.8G   0% /dev
tmpfs           1.4G  2.8M  1.4G   1% /run
/dev/nvme0n1p2   28G   25G  1.9G  94% /
tmpfs           6.8G     0  6.8G   0% /dev/shm
tmpfs           5.0M  4.0K  5.0M   1% /run/lock
/dev/nvme0n1p4  200G  7.5G  182G   4% /home
/dev/nvme0n1p1  511M  3.5M  508M   1% /boot/efi
tmpfs           1.4G   44K  1.4G   1% /run/user/114

docker by design, menyimpan data, baik berupa image atau volume di dalam folder /var/lib/docker, untuk mengetahui ukuran folder gunakan perintah

sudo du -sh /var/lib/docker
# output
14G	/var/lib/docker

lokasi ini bisa diverifikasi dengan perintah

docker info -f '{{ .DockerRootDir }}'
# output
/var/lib/docker

pada tampilan hardisk diatas partisi /, tinggal tersisa 1.9 GB, sementara /home sangat banyak tersisa, berdasarkan informasi tersebut akan saya pindahkan folder data docker dari /var/lib/docker ke /home/tommy/docker

Dengan cara yang akan dijelaskan dibawah, sangat memungkinkan untuk menggunakan cloud storage seperti S3, tetapi sangat tidak disarankan karena akan memperlambat proses Docker, dan juga akan terasa semakin lambat, karena setiap perubahan perlu menulis dan membaca dari remote storage tersebut.

Berikut ini 4 langkah untuk memindahkan lokasi data root docker ke tempat/partisi yang baru :

1. Berhentikan service docker

sudo systemctl stop docker

2. Copy data ke folder baru

sudo mv /var/lib/docker/* /home/tommy/docker/

3. Update config docker, untuk lokasi yang baru
Bila belum ada buat file /etc/docker/daemon.json, yang isinya

{
  "data-root": "/lokasi/folder/yang/baru"
}

pada contoh saya menjadi

{
  "data-root": "/home/tommy/docker"
}

4. Jalankan service docker

sudo systemctl start docker

verifikasi lokasi root datanya sudah berubah

$ docker info -f '{{ .DockerRootDir }}'
# output
/home/tommy/docker

Bila anda menggunakan laptop kantor dan di MITM SSL-nya, maka akan sering menemukan pesan di CLI

SSL validation failed for https://sts.amazonaws.com [SSL_CERTIFICATE_FAILED] certificate verify failed: unamble to get issuer certificate
connectionpool.py:1004: InsecureRequestWarning: Unverified HTTPS request is being made to host 'xx.xx.xx.xx'. Adding certificate verification is strongly advised
urllib3/connectionpool.py:1013: InsecureRequestWarning: Unverified HTTPS request is being made to host 'sts.eu-west-2.amazonaws.com'. Adding certificate verification is strongly advised.

Solusi yang biasa digunakan adalah menambahkan --no-verify-ssl, contoh

aws sts get-caller-identity --no-verify-ssl

hal ini hanya bersifat sementara, karena masih akan tetap menampilkan informasi “Unverified HTTPS request”

Masalah ini terjadi karena CA yang digunakan belum dikenali oleh AWS CLI (Python), solusinya adalah menambahkan manual root CA, melalui environment variable

AWS_CA_BUNDLE
REQUESTS_CA_BUNDLE

Pertama download terlebih dahulu root CA tersebut, apapun domain yang digunakan tidak masalah, karena otomatis akan di inject (SSL interception) oleh proxy. Sebagai contoh kita akan menggunakan sts.amazonaws.com

openssl s_client -servername sts.amazonaws.com -connect sts.amazonaws.com:443 -showcerts </dev/null 2>/dev/null | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p'

Simpan file tersebut ke file /home/jaranguda/root.ca, lalu tambahkan di dalam ~/.bashrc

export AWS_CA_BUNDLE=/home/jaranguda/root.ca
export REQUESTS_CA_BUNDLE=/home/jaranguda/root.ca

reload configurasi bashrc

source ~/.bashrc

cek apakan kedua variable tersebut sudah diload dengan env | grep -E CA_BUNDLE

$ env | grep -E CA_BUNDLE
REQUESTS_CA_BUNDLE=/home/jaranguda/root.ca
AWS_CA_BUNDLE=/home/jaranguda/root.ca

terakhir jalankan kembali AWS CLI, contoh

aws sts get-caller-identity

informasi unverified HTTPS sudah tidak muncul lagi.