Dépannage & Solutions — Basé sur le Système Réel

# 1. Permissions de la clé
chmod 400 ~/.ssh/serverAdminSSHKeypair.pem

# 2. Bon utilisateur ? C'est "admin" (défini dans ansible/inventory/hosts.yml), PAS debian/root
ssh -i ~/.ssh/serverAdminSSHKeypair.pem admin@18.158.207.98

# 3. Toujours bloqué → vérifier la clé utilisée en mode verbeux
ssh -vvv -i ~/.ssh/serverAdminSSHKeypair.pem admin@18.158.207.98 2>&1 | grep -i "offering\|denied"

# 1. Test SSH direct (ci-dessus). Si SSH marche mais pas Ansible :

# 2. Vérifier le vault (Ansible le charge même pour ping)
ls -l ~/.vault_sever_admin          # doit exister, chmod 600
cd sever-admin/ansible
ansible-vault view inventory/group_vars/all/vault.yml    # doit s'afficher en clair

# 3. Lancer depuis le bon dossier — ansible.cfg exige d'être dans ansible/
cd sever-admin && make ping         # le Makefile fait le cd ansible pour toi

echo "LeBonMotDePasse" > ~/.vault_sever_admin
chmod 600 ~/.vault_sever_admin

# Cause 1 : la clé du serveur pour GitLab est absente/invalide
ssh admin@18.158.207.98
ls -l /home/admin/.ssh/id_ed25519       # doit exister
ssh -T git@gitlab.com -i /home/admin/.ssh/id_ed25519   # "Welcome, ..." attendu

# Cause 2 : modifications locales sur le serveur en conflit
# → le playbook fait git clean -fd + pull --force, mais si le .git est corrompu :
cd /home/admin/app/clarajob_sa && git status

# Token registry expiré ou invalide. Vérifier :
cd sever-admin/ansible
ansible-vault view inventory/group_vars/all/vault.yml | grep registry
# → vault_gitlab_registry_token doit être un deploy token GitLab valide (scope read_registry)

# Si TAG fourni : le tag existe-t-il ?
# Vérifier dans GitLab → Container Registry du projet que l'image <tag> est publiée.

ssh admin@18.158.207.98
docker ps -a | grep <service>            # statut Exited ? Restarting ?
docker logs <container> --tail 100       # l'erreur est quasi toujours ici

# Causes classiques :
# - variable d'environnement manquante (fichier .env du repo applicatif incomplet)
# - DB inaccessible (container DB down ? mauvais hostname ?)
# - OOM : le container dépasse son mem_limit
docker inspect <container> | grep -i oomkilled
# - port déjà occupé sur l'hôte
sudo ss -tulpn | grep <port>

# Reproduire manuellement sur le serveur — clarajob-front-gui :
cd /home/admin/app/clarajob_sa
docker run --rm -v $PWD/clarajob-front-gui:/app -w /app node:lts-alpine \
  sh -c "npm ci && npm run build"

# Contournement : image pré-buildée par la CI
make deploy APP=clarajob-front-gui TAG=<tag-ci>

ssh admin@18.158.207.98
docker ps | grep traefik                 # tourne ?
docker logs traefik-service --tail 100   # erreurs de certificat/config ?

# Relance :
cd /home/admin/app/main-server-proxy && docker compose up -d traefik-service
# ou depuis ton poste :
make deploy APP=traefik

ssh admin@18.158.207.98
docker ps | grep -E "clarajob-ddl|marketisia-ddl|auth_server_db"
docker exec clarajob-ddl pg_isready       # "accepting connections" attendu
docker logs clarajob-ddl --tail 50

# Redémarrage propre via Ansible (avec backup pre-deploy automatique) :
make deploy APP=clarajob-ddl

docker exec clarajob-mongo mongosh --quiet --eval "db.adminCommand('ping')"
# { ok: 1 } attendu
docker logs clarajob-mongo --tail 50
make deploy APP=clarajob-mongo            # restart via Ansible

ssh admin@18.158.207.98 "cd /home/admin/app/clarajob_sa && docker compose stop clarajob-front-api"
make restore APP=clarajob-ddl DUMP=<fichier.sql>
make deploy APP=clarajob-front-api

# Credentials faux dans le vault, ou base inexistante :
cd sever-admin/ansible
ansible-vault view inventory/group_vars/all/vault.yml | grep clarajob_ddl
# Tester à la main avec ces credentials :
ssh admin@18.158.207.98
docker exec -e PGPASSWORD=<pass> clarajob-ddl psql -U <user> -d <db> -c "SELECT 1"

# DUMP = nom de fichier exact (pas un chemin), présent dans db-config/dump/<service>/ :
ssh admin@18.158.207.98 \
  "ls -lht /home/admin/app/sever-admin/db-config/dump/clarajob-ddl/ | head"
# Copier-coller le nom exact dans make restore ... DUMP=<nom>

ssh admin@18.158.207.98
sudo crontab -l
# Attendu : backup-marketisia-sa-daily (3h), backup-clarajob-ddl-daily (4h),
#           backup-clarajob-mongo-daily (5h)

tail -50 /var/log/ansible-backup.log      # dernières exécutions

# Dumps récents présents ?
ls -lht /home/admin/app/sever-admin/db-config/dump/clarajob-ddl/ | head -3

# 1. Le vault serveur existe ?
sudo ls -l /opt/.vault_password           # sinon : relancer make setup-cron

# 2. Ansible installé sur le serveur ?
ansible --version

# 3. Tester le playbook manuellement SUR le serveur :
cd /home/admin/app/sever-admin/ansible
sudo ansible-playbook playbooks/backup.yml -e target_app=clarajob-ddl \
  --vault-password-file /opt/.vault_password

df -h /
# Les 4 gros consommateurs habituels :
du -sh /home/admin/app/sever-admin/db-config/dump/*     # dumps DB (pas de purge auto !)
du -sh /home/admin/app/clarajob_sa/backups/minio/       # backups MinIO
docker system df                                        # images/volumes Docker
sudo sh -c 'du -sh /var/lib/docker/containers/*/*-json.log | sort -rh | head'  # logs containers

# Nettoyage :
# 1. Vieux dumps (garder les récents !)
find /home/admin/app/sever-admin/db-config/dump/ -name "*.sql" -mtime +30 -delete
# 2. Images Docker orphelines
docker image prune -a
# 3. Log d'un container devenu énorme (le glob DOIT s'étendre sous root, pas admin) :
sudo sh -c 'truncate -s 0 /var/lib/docker/containers/<id>/<id>-json.log'
# ⚠️ JAMAIS "docker volume prune" sans vérifier — risque de perte de données

# Beszel (port 8090) montre l'historique. En direct :
docker stats --no-stream | sort -k7 -h

# Qui a été tué par l'OOM-killer ?
docker ps -a --format 'table {{.Names}}\t{{.Status}}' | grep -i exited
docker inspect <container> | grep -i oomkilled

# Rappel : chaque service a un mem_limit dans son compose (40m à 1g).
# Rundeck seul consomme ~1 Go — l'arrêter si non utilisé :
cd /home/admin/app/sever-admin && docker compose stop rundeck

docker ps | grep -i restarting
docker logs <container> --tail 50         # boucle de crash : la cause est là
# Souvent : dépendance pas prête (DB), variable d'env manquante, OOM