-------------------------------------------------------------- Aide memoire pour l'écriture de script Bash sous le socle bash -------------------------------------------------------------- * Sommaire * I - Arborescence du socle -- II - Variables d environement -- 1 - Variables globales -- 2 - Variables globales specifiques -- 2.1 Pour les serveurs BDD -- 3 - Variables de session -- III - Utilisation du socle bash -- 1 - Cartouche -- 1.1 Elements du cartouche -- 1.2 Versionnement semantique -- 1.2.1 Usage -- 1.2.2 Format -- 1.2.3 Semantique -- 2 - Initialisation du socle -- 3 - Structure d un script -- 4 - Actions realisees au lancement d un script -- IV - Nomenclature -- 1 - Fichiers temporaires -- 2 - Nom des executables -- V - Description et usage des Librairies -- 1 - fct_message -- 2 - fct_affiche_ligne -- 3 - fct_erreur -- 4 - fct_unique_exec -- 5 - fct_libere_exec -- 6 - fct_usage -- 7 - fct_rotation -- 8 - fctpath -- 9 - fct_params -- VI - Deploiement via puppet -- -------------------------------------------------------- I - Arborescence du socle --------------------- La racine des dossiers utilisee par le Socle DTSI est definie par la variable d'environement NC_EXPL_ROOT. Cette derniere est initialisee a la connexion par l appel au script /etc/profile.d/dtsi.sh Cette arborescence est utilisee pour tous scripts Bash ou Ruby, ainsi que les variables d'environement qui en decoulent. Sous l arborescence ${NC_EXPL_ROOT} on trouve les dossiers suivants : +-----------------+-----------------------------------------------------------------------------------------------+ | Dossier | Description | +-----------------+-----------------------------------------------------------------------------------------------+ | {Racine}/bin | Contient les binaires (scripts Bash et Ruby, eventuellement C) | | {Racine}/conf | Contient les fichiers de configuration des scripts, ainsi que du socle | | {Racine}/cpt | Contient les fichiers de comtpe rendu generes par les script (purge auto , 8 jours par defaut)| | {Racine}/dat | Contient les fichiers de donnees geres par les scripts | | {Racine}/hist | Contient l historique d execution des scripts (pas de purge) | | {Racine}/lib | Contient les librairies charge a la connexion par le socle | | {Racine}/log | Contient les fichiers de logs d execution des scripts (purge auto , 8 jours par defaut ) | | {Racine}/man | Contient les fichiers d aide des scripts pour l utilitaire "man" | | {Racine}/mod | Contient les fichiers modeles a usage des scripts | | {Racine}/msg | Contient les fichiers de message pour les scripts pour la librairie "fct_erreur" | | {Racine}/tmp | Continet les fichiers temporaires des scripts du socle | +-----------------+-----------------------------------------------------------------------------------------------+ Note : Sous chaque dossier vous trouverez un fichier texte lisezmoi.txt decrivant l usage du repertoire. II - Variables d environement ------------------------ Le socle utilise deux groupes de variables. Le premier dit "global" le second "de session". Sauf si explicite, les variables globales sont definies et exportees a la connexion. Elles sont donc utilisables par tous les scripts, mais elles ne sont pas modifiables. Les variables de session sont definies a l'execution d un script et lui sont propre. Cependent certaines d entre elles sont transmises au script enfant - SH_SESSION_ID, SH_FICLOG, SH_FICCPT, SH_RETENTION_CPT, SH_RETENTION_LOG, SH_NIV_DEBUG, SH_SILENCE, SH_AFF_SID Les variables de session sont modifiable a 2 niveaux. De facon global dans le fichier "init.conf" ou pour un script particulier dans le fichier ${NC_EXPL_CFG}/.conf. La valeur definit dans "init.conf" seras utlisee sauf si elle as ete surchargee dans le fichier de configuration du script. Il y a cependant une specificite pour SH_RETENTION_CPT et SH_RETENTION_LOG, ces variables sont defini une et une seul fois lors de la premiere initialisation. Ce qui signinfie qu'un script qui aurait surcharge ces variables, ignorera l initialisation de ces variable si il est appeler par un autre script. 1 - Variables globales generals +-------------------+----------------------------+ | Nom | Usage | +-------------------+----------------------------+ | NC_EXPL_ROOT | Racine /opt/expl | | EXPL_ROOT | Alias pour NC_EXPL_ROOT | | NC_EXPL_BIN | Pointe vers {Racine}/bin | | NC_EXPL_CFG | Pointe vers {Racine}/conf | | NC_EXPL_CPT | Pointe vers {Racine}/cpt | | NC_EXPL_DAT | Pointe vers {Racine}/dat | | NC_EXPL_HST | Pointe vers {Racine}/hist | | NC_EXPL_LIB | Pointe vers {Racine}/lib | | NC_EXPL_LOG | Pointe vers {Racine}/log | | NC_EXPL_MAN | Pointe vers {Racine}/man | | NC_EXPL_MOD | Pointe vers {Racine}/mod | | NC_EXPL_MSG | Pointe vers {Racine}/msg | | NC_EXPL_TMP | Pointe vers {Racine}/tmp | | RUBYLIB | vaut ${NC_EXPL_LIB} | | NC_EXPL_SRVBATCH | Nom du serveur Batch | +-------------------+----------------------------+ Les variables NC_EXPL_ROOT, EXPL_ROOT et NC_EXPL_SRVBATCH sont definie dans le fichier "dtsi.sh" Les autres variables NC_~ sont definie dans le fichier "profile_init.env" 2 - Variables globales specifiques 2.1 Pour les serveurs BDD +--------------------+------------------------------------------+ | Nom | Usage | +--------------------+------------------------------------------+ | NC_EXPL_SQL | Pointe vers {Racine}/sql | | NC_EXPL_DBTAB | Pointe vers le fichier .dbtab | | NC_EXPL_DBEDITEUR | Vaut : "oracle" ou "postgres" ou "mysql" | +--------------------+------------------------------------------+ Ces variables sont definie dans le fichier "profile_socle_database.env" 3 - Variables de session Cette liste n est pas exhaustive, seules les principales variables sont citees. +--------------------+-------------------------------------------------------------------------------+ | Nom | Usage | +--------------------+-------------------------------------------------------------------------------+ | SH_SESSION_ID | Numero unique d execution : _ | | SH_SILENCE | Acitve ou non l affichage des messages via fct_message. Par defaut vaut "non" | | SH_PROG | Nom du script | | SH_LOGUSER | Compte initial de connexion au serveur | | SH_EXECUSER | Compte courant executant le script | | SH_DIR | Dossier hebergeant le script | | SH_PROG_VERSION | Version du script | | SH_FICTRC | Pointe vers le fichier ${NC_EXPL_HST}/.hist | | SH_FICMSG | Pointe vers le fichier ${NC_EXPL_MSG}/.msg | | SH_FICCFG | Pointe vers le fichier ${NC_EXPL_CFG}/.conf | | SH_FICSEM | Pointe vers le fichier /dev/shm/.sem | | SH_FICLOG | Pointe vers le fichier ${NC_EXPL_LOG}/.log | | SH_FICCPT | Pointe vers le fichier ${NC_EXPL_CPT}/.cpt | | SH_NIV_DEBUG | Vaut 0 par defaut. Niveau d affichage dans les fichiers de trace | | SH_RETENTION_CPT | Vaut 8 par defaut. Duree de retention en jours des fichiers de compte-rendu | | SH_RETENTION_LOG | Vaut 8 par defaut. Duree de retention en jours des fichiers de trace | +--------------------+-------------------------------------------------------------------------------+ Remarque : Les variables SH_SILENCE et SH_NIV_DEBUG sont controlees par les options "-s" et "-dbg" si la gestion des options a ete activee. III - Utilisation du socle bash ------------------------- Cette partie decrit sommairmement les quelques regles d usage pour ecrire un script Bash sous le socle DTSI Ceci ne concerne pas les script Ruby qui ne sont pas pris en charge par le socle decrit ici. 1 - Cartouche Les scripts doivent commencer par le cartouche ci-dessous : +----------------------------------------------------------------------------------------------------+ | | | #!/bin/bash | | ##---------------------------------------------------------------------------- | | ## Script : | | ## Module Puppet : | | ## Auteur : | | ## Date : | | ## Version : | | ## Objet : | | ## | | # ---------------------------------------------------------------------------- | | # Mise a jour : | | # - - : | | # 0.0.1 08-06-2016 - Toto Laricot - Cre : Creation | | # 0.0.2 08-09-2016 - Titi Alapeti - Ano : Ce truc est faux | | # ---------------------------------------------------------------------------- | | # Dependance : | | # @DEP: : | | # ---------------------------------------------------------------------------- | | # Liste des options et arguments | | # @OPT: ::::::: # | | # @OPT: :... # | | # @ARG: :::: # | | ##---------------------------------------------------------------------------- | | ## | | ## Syntaxes : | | ## -------- | | ## | | ## prompt> | | ## | | ## : | | ## | | ## Fonctionnement : | | ## -------------- | | ## | | ## | | ## | | ##---------------------------------------------------------------------------- | | . | | . | | . | | | +----------------------------------------------------------------------------------------------------+ Note : Les lignes commencant par 2 "#" sont utilisees pour generer l aide, leur maintient est donc necessaire pour garantir la fiabilite de l information. Ce sont ces lignes, qui sont lues lors de l utilisation de l'option par defaut "-h". 1.1 Elements du cartouche 1.1.1 Meta-donnees - : peut prendre les valeurs suivantes -> cre, ano, evo, typo cre : Creation du script. evo : Evolution du script -> Ajout de nouvelles fonctionnalites, Amelioration du code. ano : Correction du code suite a un comportement inattendu. typo : Ajout de commentaires, de texte ou correction gramatical sans influence sur le code. - : - : Format x.y.z Pour le suivie des versions on utilisera le versionnement semantique (voir paragraphe III-1.2). 1.1.2 Paragraphe - Mise a jour : Ce paragraphe est utilise pour suivre l evolution des versions. La derniere version en vigueur doit etre reportee dans le premier paragraphe. - Dependance : Permet de definir la liste ainsi que la version des scripts qui sont appeles. Dans le cas d un changement cela permet de connaitre les scripts qui sont impactes. Pour le moment aucun script n exploite cette meta-donnee. Present pour un future usage. - Liste des options : La declaration des options n est pas obligatoire. Si aucune declaration n est presente alors la librairie params.lib ne fait aucune action. Dans ce cas les options par defaut -h, -log, -hist, -cpt, -s et -dbg ne seront pas disponible. Si le script ne necessite pas d option mais que l on souhaite disposer des options par defaut, il faudras declarer une option bidon. ex: "# @OPT: f:bidon::::::" Si la declaration existe alors le socle gerera les parametres en entree du script, ainsi que les options par defaut -h, -log, -hist, -cpt, -s et -dbg. Ces mots cle sont reserve et ne peuvent pas etre utilise par le script. La declaration est realise dans le paragraphe "Liste des options et arguments". Chaque option est identifiee par l entete de ligne "# @OPT:" suivi de la description. La description consiste en une liste de parametres separes par ":" ::::::: L ordre des parametre est fige et tous doivent etre presents. 8 champs sont obligatoires, soit 7 caracteres ":" (on ne compte pas le caracatere ":" suivant @OPT). Exemple de declaration valide : # @OPT: fb:h::0::: # @OPT: fb:s::0::: # @OPT: f:dbg:SH_NIV_DEBUG:0/1::: # @OPT: fb:log::0::: # @OPT: f:hist:SH_ARG_HIST:0/1:10:: # @OPT: oM:i:G_INSTANCE:1/1:ALL:dbid: # @OPT: oM:pr:G_PR_NOM:1/1:sq,t,l: : Propriete de l attribu defini par l agregation des lettres suivantes f -> Option falcultative b -> Booleen o -> Option obligatoire M -> Argument transforme en majuscule : nom de l option (sans le tiret) Attention le nom de l option est senssible a la casse. : nom de la variable dans laquelle sera stockee le(s) argument(s) si plusieurs arguments alors un tableau sera initialise L index [n] commence a zero. Le nombre d arguments effectivement passes a la commande est "${#[*]}". L valeur max de l index [n] est "${#[*]} - 1". : nombre d arguments attendus de la forme "min/max", "min/", "max" ou "" si vide ou "0" alors l option est booleene. la forme "min/" considere le nombre max non determine (infini) : Valeur par defaut assignee a Fonctionne si vaut 0/1 1/1 : Liste des options mutellement exclusives separees par une virgule. : Liste des options inclusives separees par une virgule. Lors de l initialisation les marqueurs "@OPT" sont lues et analysees. Le resultat est compare aux arguments et options sousmis au script et les variables suivantes son initialisees ... - SH_OPTION_ : Initialisee a "1" (Vrai) ou "0" (Faux) selon que l option est respectivement utilise ou non. Il existe toujours une variable par option declaree. Ceci concerne aussi les options par defaut gere par la librairie params.lib - SH_ARG_ : Cette variable existe uniquement si le champ est null et si le type n est pas booleen. Par defaut elle est initialisee a null ou avec la valeur Si le champ est renseigne, alors SH_ARG_ est remplacee pas . Si l option associee peut prendre plusieurs arguments, alors les variables SH_ARG_ ou sont des tableaux dont l index commence a zero. La taille du tableau peut etre recuperee via ${#SH_ARG_[*]} ou ${#[*]}. Les option -h, -s, -log [id], -hist [N] et -dbg N sont prises en charge automatiquement. Ces noms sont donc reserves. Les options par defaut realisent les actions suivantes : -h : Affiche l aide du script (Ligne du cartouche qui commence par "##") -s : Mode silence. Plus d'affichage sur le terminal. Initialise la variable SH_SILENCE a "oui" -log [id] : Affiche le dernier journal ou le journal "id" (identifiant de session d'execution). -cpt [id] : Affiche le dernier compte-rendu ou le Compte-rendu "id" (identifiant de session d'execution). -hist [N] : Affiche l historique des "N" dernieres executions (N=10 par dafaut) -dbg N : Activation du mode debug au niveau "N". Active les messages geres par la librairie fct_message dont l'option -debug est utilisee. - Arguments : La declaration des argument du script n est pas obligatoire Attention : Si aucune option "@OPT:" n est declaree alors il n y auras pas de prise en charge des arguments. Si votre script ne necessite pas d option, mais qu il presente des arguments, alors il faudras declarer une option bidon :"# @OPT: f:bidon::::::" La declaration est realise dans le paragraphe "Liste des options et arguments". Elle est identifiee par l entete de ligne "# @ARG:" suivi de la description. Il ne peut y avoir qu une ligne de description pour les arguments. (Si plusieurs lignes avec le marqueur @ARG existe, alors seul la premiere et prise en compte) La description consiste en une liste de parametres separes par ":" :::: L ordre des parametres est fige et tous doivent etre presents. : Propriete de l attribu defini par l agregation des lettres suivantes f -> Argument falcultative o -> Argument obligatoire M -> Argument transforme en majuscule : nom de la variable dans laquelle sera stockee le(s) argument(s) si plusieurs arguments alors un tableau sera initialise L index [n] commence a zero. Le nombre d arguments effectivement passes a la commande est "${#[*]}". L valeur max de l index [n] est "${#[*]} - 1". Si n est pas renseigne alors la variable SH_ARGS[] est initialisee : nombre d arguments attendus de la forme "min/max", "min/", "max" ou "". si vide alors on considere que le nombre d arguments est a minima de 1. la forme "min/" considere le nombre est a minima de "min". : Valeur par defaut assignee a Fonctionne si vaut 0/1 1/1 ATTENTION Si le caractere "&" est present dans la valeur d un argument, alors cette valeur doit etre encadree par une simple cote et le caractere "&" doit etre proteger par un anti-slash "\". Le cas echeans le shell generera un fils qui tentera l execution d'un script portant le nom de la valeur de l argument. 1.2 Versionnement semantique 1.2.1 Usage L idee de l utilisation du versionnement semantique est de definir clairement les intentions d un changement dans un code pour les clients de ce dernier. Ceci permet de fiabiliser la mise en place de dependances et de determiner les impacts d un changement. 1.2.2 Format Le format utilise est le suivant x.y.z x est l identifiant de version majeure. y est l identifiant de version mineure. z est l identifiant de version de correction. 1.2.3 Semantique - Version majeure X : Il vaut "0" lors du developpement, le script est considere non valide et ne devrait pas etre appele par d autre script. Une fois le script valide la version doit etre 1.0.0 (premiere version stable). Il doit etre incremente si des changements dans le code n assure plus la compatibilite ascendante. Les identifiants de version mineure et de correction doivent etre remis a zero quand l identifiant de version majeure est incremente. - Version mineur y : Doit etre incremente lors de l ajout de nouvelle fonctionnalite ou d amelioration du code qui n on t pas d impact sur la compatibilite ascendante. L identifiant de version de correction doit être remis a zero lorsque l identifiant de version mineure est incremente. - Version de correction z : Doit être incremente si seules des corrections retro-compatibles sont introduites. Une correction est definie comme un changement interne qui corrige un comportement incorrect. Il peut etre incremente lors de correction typographique ou grammaticale. 2 - Initialisation du socle. Par defaut les librairies du socle sont chargees a la connexion. Mais pour qu elles puissent etre operationnelles il faut initialiser les variables de session. Ceci est realise en sourcant le fichier "${NC_EXPL_CFG}/init.conf" au debut du script : Rem : L analyse des options et arguments est aussi realise par "${NC_EXPL_CFG}/init.conf". +----------------------------------------------------------------------------------------------------+ | | | #!/bin/bash | | ##---------------------------------------------------------------------------- | | . | | | | . | | ##---------------------------------------------------------------------------- | | #----------------------------------------------------------------------------- | | # Initialisation de l environement | | #----------------------------------------------------------------------------- | | if [ ! -f ${NC_EXPL_CFG}/init.conf ] | | then | | echo "Fichier d initialisation du socle \${NC_EXPL_CFG}/init.conf n existe pas !" | | echo "Arret du script par securite" | | exit 250 | | else | | . ${NC_EXPL_CFG}/init.conf | | fi | | . | | . | | | +----------------------------------------------------------------------------------------------------+ 3 - Structure d un script Voici les elements qui devraient etre present a minima dans les script Bash. Ceci est recommande pour assurer une homogeneite dans l ensemble du socle. +----------------------------------------------------------------------------------------------------+ | | | #!/bin/bash | | ##---------------------------------------------------------------------------- | | . | | | | . | | ##---------------------------------------------------------------------------- | | #----------------------------------------------------------------------------- | | # Initialisation de l environement | | #----------------------------------------------------------------------------- | | if [ ! -f ${NC_EXPL_CFG}/init.conf ] | | then | | echo "Fichier d initialisation du socle \${NC_EXPL_CFG}/init.conf n existe pas !" | | echo "Arret du script par securite" | | exit 250 | | else | | . ${NC_EXPL_CFG}/init.conf | | fi | | | | #----------------------------------------------------------------------------- | | # Definition des fonctions | | #----------------------------------------------------------------------------- | | # | | function fct_un | | { ... | | } | | | | #----------------------------------------------------------------------------- | | function fct_deux | | { ... | | } | | | | #----------------------------------------------------------------------------- | | # Programme principal MAIN | | #----------------------------------------------------------------------------- | | # | | fct_message "${SH_PROG}" | | fct_message "version ${SH_PROG_VERSION}" | | | | # -- Initialisation des variables par defaut | | # -- --------------------------------------- | | G_VAR1=${G_AVR1:="Valeur par defaut"} # | | ... | | | | # -- Control de coherence des options | | # -- -------------------------------- | | | | # -- Traitement | | # -- ---------- | | | | < ... Code du script ...> | | | | fct_erreur 0 | | | +----------------------------------------------------------------------------------------------------+ Note : La construction /G_VAR1=${G_AVR1:="Valeur par defaut"}/ permet de definir une variable avec une valeur par defaut, qui peut etre surchargee dans le fichier de configuration {NC_EXPL_CFG}/.conf Concernant les fonctions /fct_message/ et /fct_erreur/ voir le chapitre V. 4 - Actions realisees au lancement d un script Le script commence par le chargement de la configuration ". ${NC_EXPL_CFG}/init.conf" un certain nombre d action sont effectuees par defaut en plus de l initialisation des variables de session. - Initialisation des variables de session (Cf. II.3) - Generation d'un numero de session unique sous la varable ${SH_SESSION_ID} - Chargement du fichier ${SH_FICCFG} - Rotation des fichiers ${SH_FICLOG} et ${SH_FICCPT} selon les retentions respective ${SH_RETENTION_LOG} et ${SH_RETENTION_CPT} - Purge des fichiers temporaires (${NC_EXP_ROOT}/tmp) anterieurs selon la retentions ${SH_RETENTION_LOG} et suppression des fichiers generes par le script utilsant le socle dans ${NC_EXP_ROOT}/log et ${NC_EXP_ROOT}/cpt - Ecriture dans le fichier ${SH_FICTRC} de la date de debut execution, ainsi que des arguments passes au script - Initialisation du fichier ${SH_FICLOG} a vide - Analyse des parametres passes au script Cette analyse ne fonctionne que si les options ont ete declarees dans l entete du script (Cf. III.1.1.2) IV - Nomenclature ------------ 1 - Fichier temporaire Les fichiers temporaires doivent etre ecrits dans le repertoire ${NC_EXPL_TMP}. Les noms des fichiers temporaires sont de le forme : _${SH_SESSION_ID}.tmp De cette facon il seront geres par le socle (Suppresion automatique) 2 - Nom des executables ( fichiers du dossier {racine}/bin ) Les noms des fichiers doit etre de la forme : 
_
            
_.
            
__[_].
            _.

          
      est une des valeurs suivantes : "sys", "dba", "exp", "ctl", "aud", "int"

                     - "sys" : Scrit d administration systeme.
                     - "dba" : Script d administration base de donnees
                     Ces scripts peuvent presenter des risques et doivent faire 
                     l objet d une attention particuliere lors de leurs execution.

                     - "exp" : Script d exploitation devolue principalement au traitement reccurent
                     Ces scripts sont reserves a l'exploitation courante. Il peuvent 
                     modifier le systeme dans le cadres de traitements reccurents.
                     Leurs execution est de risque modere, comme respecter une date d execution.
                     Il sont reserves a l exploitation systeme uniquement. Dans le cas d un traitement
                     reccurrent pour le compte d une application le nom doit etre de la forme _.

                     - "int" : Script dedier aux interfaces entre applications
                     Ces script doivent fair l objet d une attention particuliere car il peuvent modifier
                     les donnees applicative et peuvent etre contraint par des conditions d execution.

                     - "ctl" : Script de controle (devolu principalement a icinga)
                     - "aud" : Script d audit ne modifiant pas le systeme.
                     Ces scripts peuvent etre executes sans aucun risque.
 
              est libre, doit refleter si possible la fonction du script.
          
           est une des valeurs suivantes :
                      - "rb"            : Script Ruby.
                      - "sh"            : Script Bash.
                      - Pas d extention : Script C
          
                est le nom de  application a laquelle le script est dedie.
                     Ces scripts sont reserves a une application particuliere, 
                     dans le cadres de l exploitation reccurente de l'application.


V   - Description et usage des Librairies
      -----------------------------------
    1 - fct_message
    --- -----------

        Syntaxe  : fct_message [-cpt] [-hist] [-nolog] [-debug N] [-color Couleur] ""
        Usage    : Cette fonction est a utiliser en remplacement de la commande "echo".
                   Elle ajoute l horadatage au message et gere la ventilation des ecritures dans les differents fichiers de traces.

        Fonction : Par defaut le message est affiche sur le terminal et est ecrit dans le fichier journal ${NC_EXPL_LOG}/.log
                   Les options modifient la destination de l ecriture :
                   - cpt     : Ecrit en plus du journal dans le fichier de compte-rendu ${NC_EXPL_CPT}/.cpt
                   - hist    : Ecrit uniquement dans le fichier d historique des executions ${NC_EXPL_TRC}/.hist
                   - nolog   : inhibe l ecritutre dans le fichier journal
                   - debug N : N'affiche pas le message sur le terminal mais uniquement dans le fichier journal, a condition
                               que le script soit execute en mode debug de niveau equivalent a "N" via l'option "-dbg N".
                               Par defaut le niveau de debug est 0, ainsi si "N" vaut zero alors le message est ecrit 
                               uniquement dans le fichier journal.
                   - color   : Affiche le message en couleur. Les couleurs reconues sont : vert,rouge,bleu,cyan,jaune,orange,blanc et noir


    2 - fct_affiche_ligne
    --- -----------------

       Syntaxe  : fct_affiche_ligne [entete|pied] 
       Usage    : Affiche un tableau sur la sortie standard et dans le fichier compte-rendu ${NC_EXPL_ROOT}/