Si vous cherchez comment cloner (aspirer) un site web en local, il existe des aspirateurs de sites internet.

Le plus connu s’appelle HTTACK il est open source et fonctionne bien.

C’est utile pour sauvegarder/archiver un site, faire un miroir (et le mettre à jour) ou bien lorsqu’il y a un besoin d’accéder à des contenus hors lignes.

Attention, il ne sauvegarde que le contenu visible d’un site web (HTML/CSS et images) donc évidemment pas de code server-side ni de backend.

La sauvegarde peut prendre du temps en fonction de votre connexion internet.

Sur les distributions basés sur debian on l’installe via

apt-get install httrack

Après pour faire le faire fonctionner la syntaxe est:

httrack -w nomdusite.com

Assez simple non ?

J’ai fait rapidement un petit script bash qui permet d’aspirer, archiver et compresser un site.

#!/bin/bash
## Aspirateurs de site HTTRACK - M4t.xyz
path="/root/httrack" #Chemin de destination
projet=$1
compression=1 # 1 = activé ; 0 = désactivé

if [ $# -eq 0 ]
  then
    echo "Nom du site en argument SVP"
    exit 1
fi

httrack -w $projet -O $path/$projet -F "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1)" 
#le -F permet de changer d'user-agent afin d'éviter les bans...

if (( $compression == 1 )); then
        tar -czf $path/$projet.tar.gz $path/$projet && rm -R $path/$projet
fi

Il existe bien sûr une version pour Windows (WinHttrack)

Bref, utile pour sauver des petits bouts de web (blogs,…).

Vous cherchez une solution de monitoring libre et gratuite ?

Vous avez surement entendu parler de différentes solutions comme shinken, nagios, zabbix
Mon favori est Nagios, c’est un des plus soutenu et utilisé (pour le moment, même si shinken commence à prendre des parts de marchés), cependant un de ses inconvénients est qu’il se configure via des fichiers de configurations sur l’OS.

Pour ceux qui préfèrent une interface web pour configurer nagios, il existe centreon.

screen_centreon2

Je vais présenter ici une solution sous forme de distribution qui permet d’avoir un environnement complet et fonctionnel. Cette distribution s’appelle FAN (Fully Automated Nagios), elle intègre Nagios, Centreon, Nagvis (diagrammes et schémas dynamiques de l’infra.), le support NRPE ainsi qu’une multitude de plugins nagios (trouvés sur le site communautaire de nagios).

La distribution est basée sur Centos 5, l’installation et la configuration se font comme toute autre distro (normalement sans soucis).

Une fois la distrib installée nous pouvons faire les mises à jour via la commande

yum update

Par la suite, j’ai personnellement customisé la page d’accueil, modifié le mot de passe par défaut.

Il ne reste plus qu’à ajouter/paramétrer vos plug-ins, services et hôtes.

La FAQ peut vous aider.

Si vous avez envie de publier ou lire des tweets, voici comment faire pour automatiser le tout.
Ici pour l’exemple, je vais montrer un bot qui publie des « fortunes » (via fortunes-fr) toutes les 6heures

(Une fortune est un message aléatoire)

Vous pouvez d’ailleurs suivre le bot : https://twitter.com/fortunes_fr

Pré-requis

Le script

A vous de le modifier les chemins d’exécutions si vous avez utilisés un autre client twitter que celui que j’utilise ou bien si vous voulez publier autre choses que des fortunes.

#!/bin/bash
#By Matt
#Pré-requis: Setuptool, twitter.py, fortune (non-root)

flag=0
while [ $flag = 0 ]
do

tweet=`/usr/games/fortune fr` #Generation de la fortune - A remplacer par un autre texte ou autre
if [ $(echo "$tweet" | wc -c) -le 140 ]; then #On vérifie la taille de la fortune
    flag=1
fi
done
if [ "$tweet" == "" ]; then
    echo "[FAIL] Nothing to tweet. Enter your text as argument." && exit 1
fi
tweet=$(echo $tweet | sed 's/-+-/+++/g'); #On remplace les caractéres qui posent probléme

#echo $tweet

/usr/local/bin/twitter set $tweet #On publie le tweet

 Installation

Copiez le script dans un répertoire ou vous avez les accés

Donnez lui les droits d’exécution:

chmod +x twitter.sh

Exécutez le manuellement ou bien ajouter le aux taches cron

Résultat