417 lines
14 KiB
TeX
417 lines
14 KiB
TeX
|
|
\documentclass[a4paper,11pt]{article}
|
|
|
|
% \listfiles % pour le debug
|
|
|
|
\usepackage[french]{babel}
|
|
\usepackage[utf8]{inputenc}
|
|
\usepackage[T1]{fontenc}
|
|
% XXX \usepackage{lipsum}
|
|
\usepackage{makeidx}
|
|
\usepackage{listings}
|
|
% \usepackage{color}
|
|
% \usepackage{url}
|
|
\usepackage{xspace}
|
|
\usepackage[verbose]{layout}
|
|
|
|
\makeindex
|
|
\setlength{\parskip}{0.21cm plus 0.21cm}
|
|
|
|
% -------------------------------------------------------------------
|
|
\title{DD2 Monitoring}
|
|
\author{tTh}
|
|
|
|
\begin{document}
|
|
\maketitle
|
|
|
|
\pagebreak
|
|
|
|
% -------------------------------------------------------------------
|
|
|
|
\section{Introduction}
|
|
|
|
Dans le cadre du futur projet \textsl{phytotron}\index{phytotron},
|
|
nous aurons besoin d'un
|
|
système de surveillance de divers paramêtres, du genre la température
|
|
et l'humidité de l'air ambiant ou de l'enceinte thermostatée.
|
|
|
|
Et comme nous sommes au Tetalab, nous allons essayer d'en faire le plus
|
|
possible nous même, tant pour l'aspect didactique que pour la possible
|
|
ré-utilisation de la chose dans un contexte artistique comme nous
|
|
arrivons parfois à le faire.
|
|
|
|
La première étape sera donc la mise au point d'un \textsl{cadriciel}
|
|
permettant d'essayer diverses options en se basant sur une conception
|
|
modulaire de l'ensemble.
|
|
|
|
Les valeurs à mesurer étant de diverses natures, nous aurons l'occasion
|
|
de découvrir plein de capteurs différents : température, humidité,
|
|
\texttt{pH}, transparence, lumière, vibrations\dots
|
|
|
|
\setlength{\parskip}{0.05cm plus 0.05cm}
|
|
\tableofcontents
|
|
\setlength{\parskip}{0.21cm plus 0.21cm}
|
|
|
|
\vspace{5cm}
|
|
|
|
Bonne lecture.
|
|
|
|
% -------------------------------------------------------------------
|
|
|
|
\pagebreak
|
|
\section{Présentation générale}
|
|
|
|
|
|
|
|
\subsection{Capteurs} \index{capteurs}
|
|
|
|
Actuellement nous disposons d'un capteur température et
|
|
humidité, le
|
|
\texttt{RDing} \texttt{TEMPERHUM1V1.2}{} qui
|
|
semble un peu étrange à interpeller, et qui sera destiné à mesurer
|
|
l'ambiance météo du Double Dragon\footnote{Pas de mauvais esprit, merci...},
|
|
l'influence humaine n'étant pas à négliger en cas d'afflux du public..
|
|
|
|
Par la suite, nous pourrons récupérer
|
|
(par liaison série, cf page \pageref{serial})
|
|
des données diverses en provenance de l'automate de contrôle de l'enceinte.
|
|
|
|
Le premier capteur de température sélectionné est le \textsc{LM35}\index{LM35}
|
|
qui fournit en sortie une tension linéairement proportionnle à
|
|
la température. Ils seront connectés sur l'automate qui s'en
|
|
servira pour la régulation thermostatique.
|
|
|
|
Il nous reste à choisir d'autres capteurs pour d'autres métriques :
|
|
humidité, lumière, vibrations\dots
|
|
|
|
Notre dd2monitor
|
|
devrait donc aussi être capable d'envoyer des alertes en cas de souci,
|
|
par exemple si des algues\footnote{Ou des pleurotes.} tentent de s'échapper.
|
|
|
|
|
|
\subsection{Stockage}
|
|
|
|
Pour entreposer toutes ces valeurs numériques, il existe plusieurs
|
|
choix, et nous allons en évaluer quelques uns :
|
|
|
|
\texttt{rrdb}\index{rrdb} (page \pageref{rrdb}),
|
|
\texttt{influxdb}\index{Influxdb} (page \pageref{influxdb}),
|
|
\texttt{gnocchi}\index{Gnocchi} (page \pageref{gnocchi})
|
|
\texttt{Sqlite}\index{sqlite} (page \pageref{sqlite})
|
|
|
|
La représentation interne des valeurs reste à définir pour
|
|
la plupart d'entre elles.
|
|
|
|
\subsection{Affichage}
|
|
|
|
Nous allons laisser un petit bac-à-sable pour Fred Fermion\index{nodejs},
|
|
qui nous tartine les oreilles depuis bien trop longtemps avec son machin.js.
|
|
|
|
Mais sachez déja que l'automate sera équipé d'un minitel, pourquoi ne
|
|
pas en mettre un second sur le monitoring ? Après tout, un peu
|
|
d'eyecandy\index{eyecandy} ne peut pas faire de mal.
|
|
C'est expliqué à la page \pageref{eyecandy}\index{curses}.
|
|
|
|
% -------------------------------------------------------------------
|
|
\section{Outils}
|
|
|
|
\subsection{Simulations}
|
|
|
|
Bien entendu, mettre au point un système de monitoring pour un futur
|
|
phytotron pose un problème : d'où viennent les premières mesures ?
|
|
|
|
C'est pour ça qu'il y a déja un générateur de \textit{fake-values} qui
|
|
ne demande qu'à grandir.
|
|
|
|
Nous avons également un générateur de nombres divers et incohérents
|
|
qui envoie des quadruplets d'entiers 10 bits précédés d'un caractere
|
|
de bonne efficacité.
|
|
|
|
|
|
\subsection{Exemples}
|
|
|
|
\textsf{Promis, on va en mettre ! Dès que ça marche\dots}
|
|
|
|
Un premier exemple avec rrdb en page \pageref{rrdb}.
|
|
Le second cause des premiers essais du LM35, capteur de
|
|
température analogique branché sur un Arduino et relié
|
|
par un port série (page \pageref{serialcode}).
|
|
|
|
Pour continuer dans une démarche disruptive, des outils
|
|
avancés de visualisation sont proposés dans la rubrique
|
|
\ref{eyecandy} qui parle de \texttt{vt100}\label{vt100}.
|
|
|
|
\subsection{Analyses}
|
|
|
|
\textsf{Bla bla bla\dots Corrélations, Gnuplot\index{gnuplot}, toussa\dots}
|
|
|
|
Peut-être demander à Schmod777 des références de
|
|
documents bourbakistes ? J'ai entendu parler dans \textsc{irc}
|
|
de choses étranges, comme ça :
|
|
|
|
\textsl{<schmod777> s/booz/booze pour la courbe qui majore les autres en moyenne serait
|
|
d'une criante justesse scientifique ;)}
|
|
|
|
Ce qui donne quand même à réfléchir. À se demander quel savoir
|
|
allons-nous pouvoir déduire de ces\footnote{non, c'est pas du bigdata.}
|
|
chiffres improbables.
|
|
(Re-)Découvrir les lois de l'inertie thermique ?
|
|
Générer des formes d'ondes spatialisables ?
|
|
Déplacer des petites \textit{bubulles} colorées ?
|
|
Une histoire pour la section \pageref{detournements} ?
|
|
|
|
|
|
\subsection{Archivage} \index{archivage} \label{archivage}
|
|
|
|
\textsf{Conserver la mémoire de nos échecs.}
|
|
|
|
La création de cet outil de surveillance est un long parcours
|
|
pavé d'essais et d'erreurs. Tout cela peut générer beaucoup
|
|
de données. À titre d'exemple, la capture de température des
|
|
premier essais sort environ 800 Ko par jour.
|
|
99.99\% de ces chiffres sont inutiles, mais il peut arriver
|
|
qu'on désire conserver l'historique d'une
|
|
expérience réussie\footnote{En fait, c'est comme ça que la science existe}
|
|
ou d'un
|
|
\textit{epicfail\footnote{En fait, c'est comme ça que la science avance}}.
|
|
|
|
Nous devons donc rencontrer quelqu'un qui maitrise cette partie
|
|
de la mouvance détournementale de l'espionnage.
|
|
Je pense que Yaya\index{Yaya} pourra nous éclairer de ses lumières,
|
|
si on lui demande gentiment.
|
|
|
|
% -------------------------------------------------------------------
|
|
|
|
\section{Configuration} \index{configuration} \label{configuration}
|
|
|
|
Pour adapter cet outil de surveillance aux variations du monde réel,
|
|
nous devons nous-même lui décrire ce monde. Une description qui se
|
|
fera avec des lignes de la forme '\texttt{input\_device s /dev/ttyACM0}'
|
|
qui représentent des tuples
|
|
\textit{clef-type-valeur}\footnote{Laissons les canards tranquilles.}
|
|
de choses diverses.
|
|
|
|
La syntaxe n'est pas encore vraiment fixée, mais un fichier exemple est
|
|
disponible pour des explication plus récentes, donc plus en
|
|
rapport avec la réalité du code. En voici un extrait :
|
|
|
|
\begin{verbatim}
|
|
# serial input from the control cpu
|
|
input_device s /dev/ttyACM0
|
|
input_speed i 9600
|
|
# --------------------------------------------------
|
|
# some values for the eyecandy displays
|
|
eyecandy_banner s hacked by tTh
|
|
\end{verbatim}
|
|
|
|
Certains de ces paramètres pourront être surchargé par des options
|
|
de la ligne de commande\index{cli} ou des variables d'environnement.
|
|
|
|
% -------------------------------------------------------------------
|
|
\section{RRDB} \label{rrdb}
|
|
|
|
Première tentative d'utilisation le lendemain du premier apéro 2019
|
|
du Tetalab\footnote{Jean-Yves, je vous demande de vous calmer !}.
|
|
|
|
Je suis parti sur quelques scripts shell, pour créer, mettre à jour et
|
|
analyser les enregistrements d'une valeur de type \textsc{gauge}.
|
|
|
|
\subsection{Create}
|
|
|
|
\begin{lstlisting}
|
|
#!/bin/bash
|
|
|
|
source ./commun.sh
|
|
starttime=$(date +'%s')
|
|
echo creating $RRDB at ${starttime}s since epoch
|
|
rrdtool create $RRDB \
|
|
--start $starttime \
|
|
--step 60 \
|
|
DS:value:GAUGE:150:0:10 \
|
|
RRA:AVERAGE:0.5:1:60
|
|
\end{lstlisting}
|
|
|
|
\subsection{Update} \index{rrdtool}
|
|
|
|
Une fois la base créée, il faut bien la remplir.
|
|
Dans cet exemple, nous allons utiliser le \textit{load}
|
|
de notre Linux.
|
|
|
|
\begin{lstlisting}
|
|
#!/bin/bash
|
|
|
|
source ./commun.sh
|
|
ctime=$(date +'%s')
|
|
value=$(cut -d ' ' -f 1 /proc/loadavg)
|
|
|
|
# inject value in the rrdb file
|
|
rrdtool update $RRDB ${ctime}:${value}
|
|
\end{lstlisting}
|
|
|
|
\subsection{Analyze}
|
|
|
|
Nous allons essayer d'exploiter les données dûrement acquises
|
|
pendant les heures qui précèdent\dots
|
|
|
|
\begin{lstlisting}
|
|
#!/bin/bash
|
|
|
|
source ./commun.sh
|
|
tmpf="somevalues.dat"
|
|
rrdtool fetch $RRDB LAST |
|
|
tr -d ':' |
|
|
awk '
|
|
(!/nan/ && NF==2) { print $1, $2 }
|
|
' \
|
|
> ${tmpf}
|
|
|
|
# as an example, we are gnuploting our datas
|
|
gnuplot << __EOC__
|
|
set term png size 800,600
|
|
set output "graphe.png"
|
|
set grid
|
|
plot "${tmpf}" with lines
|
|
__EOC__
|
|
|
|
rm ${tmpf}
|
|
\end{lstlisting}
|
|
|
|
Il semble bien que l'utilisation de \texttt{fetch} ne soit pas
|
|
vraiment prévue pour ça, donc j'en arrive à la conclusion que
|
|
quelque chose m'échappe.
|
|
|
|
On va laisser ça en suspens pour le moment.
|
|
|
|
% -------------------------------------------------------------------
|
|
|
|
\section{InfluxDB} \label{influxdb}
|
|
|
|
La communication avec la bédédé se fait \textit{over HTTP}, un peu
|
|
comme tous ces trucs de d'jeunz d'aujourd'hui\dots
|
|
|
|
Au programme : écriture d'un injecteur en Perl\index{Perl}, en suivant
|
|
plus ou moins l'exemple de rrdb..
|
|
|
|
Ceci dit, en Debian stable, on n'a que la version 1.0, qui ne
|
|
correspond plus trop à l'actualité. Et la \textit{current} est
|
|
trop fatiguante à compiler pour ce soir, ni même pour ce week-end.
|
|
|
|
% -------------------------------------------------------------------
|
|
|
|
\section{Gnocchi} \label{gnocchi} \index{Gnocchi}
|
|
|
|
\texttt{pip install gnocchi[postgresql,ceph,keystone]}, finalement,
|
|
çe ne me donne pas trop envie. C'est du genre \textit{usinagaz}.
|
|
|
|
% -------------------------------------------------------------------
|
|
\section{Sqlite} \index{sqlite} \label{sqlite}
|
|
|
|
\textsf{À regarder de près}
|
|
|
|
Est-il possible de traiter des \textit{time series} en SQL\index{SQL} ?
|
|
Peut-on utiliser Sqlite depuis un programme en Perl\index{Perl} ?
|
|
Faut-il commencer à trouver un \textit{usecase} crédible ?
|
|
NodeJs\index{nodejs} peut-il lire du Sqlite ?
|
|
|
|
|
|
% -------------------------------------------------------------------
|
|
|
|
\section{Serial coms} \index{serial} \label{serial}
|
|
|
|
Il va y avoir deux liaisons série entre l'automate et le monitoring.
|
|
La première, que nous allons juste entrevoir, passera par le port
|
|
USB de la carte Arduino. La seconde passera par un port série
|
|
auxiliaire\footnote{Il y en a 4 sur le mega 2560} de celle-ci.
|
|
|
|
\subsection{Un gros souci}
|
|
|
|
\begin{lstlisting}
|
|
tcgetattr(uart0, &options);
|
|
options.c_cflag = baudbits | CS8 | CLOCAL | CREAD;
|
|
options.c_iflag = IGNPAR;
|
|
options.c_oflag = 0;
|
|
options.c_lflag = 0;
|
|
tcflush(uart0, TCIFLUSH);
|
|
tcsetattr(uart0, TCSANOW, &options);
|
|
\end{lstlisting}
|
|
|
|
Et en fait, le \texttt{read} sur le \textsl{fd} du serial device
|
|
n'est pas bloquant, \texttt{perror} annonce \emph{success}, mais
|
|
rien ne marche. L'année 2019 va commencer sur du vaudou programming%
|
|
\footnote {aka shotgun debugging.}.
|
|
|
|
\textit{29 décembre 2018} : le petit grain de magie\index{magie}
|
|
est très simple à mettre en oeuvre, mais
|
|
très difficle à spotter dans le gazillion d'options. Il semblerait
|
|
que mettre \texttt{options.c\_cc[VMIN]} à 1 permet d'avancer vers
|
|
l'étape suivante.
|
|
|
|
Laquelle étape est une tentative d'utilisation de \texttt{select(2)},
|
|
dans l'objectif de pouvoir gérer nous-même le \textit{timeout},
|
|
laquelle tentative n'est pas du tout concluante.
|
|
|
|
\subsection{Protocole} \index{protocole} \label{serialprotocol}
|
|
|
|
L'automate va avoir plusieurs types de données à envoyer.
|
|
Nous allons donc transférer ces valeurs sous forme de ligne
|
|
de texte commençant par un caractère clef (par exemple T pour
|
|
les températures) et se terminant par un \textit{newline}.
|
|
|
|
|
|
\subsection{Un peu de code} \label{serialcode}
|
|
|
|
TODO\index{TODO}
|
|
|
|
|
|
% -------------------------------------------------------------------
|
|
|
|
\section{Détournements} \label{detournements}
|
|
|
|
Dans le contexte myryssien\index{Myrys}, il est évident que l'aspect
|
|
artistique\index{Art}
|
|
doit être dès le départ pris en compte.
|
|
Les possibilités ne seront limitées que par votre manque d'imagination.
|
|
|
|
Si vous voulez un petit exemple, imaginez des courbes de température
|
|
qui pilotent un \texttt{uGen} de Chuck\index{Chuck} ou des algues dont
|
|
les pulses lumineux envoie du \texttt{cv/gate} en temps réel.
|
|
|
|
\subsection{Variante sonore}
|
|
|
|
Un peu de \texttt{awk} pipé dans du \texttt{sox} ?
|
|
Voire même l'occasion (ou un bon prétexte) de résoudre ce problème
|
|
de saut de phase qui me tracasse depuis des mois ?
|
|
|
|
\subsection{Eye candy}\index{eyecandy}\label{eyecandy}
|
|
|
|
Pour maximiser l'impact visuel, il sera convenant de sortir du
|
|
cadre pseudo-moderne des omniprésents écrans de ces
|
|
smartphones\footnote{Quand les téléphones étaient attachés par
|
|
un fil, les humains étaient libres.} qui nous lavent le cerveau.
|
|
Sortons donc du contexte pixeliste et revenons aux fondamentaux :
|
|
le caractère\index{ncurses},
|
|
avec toute la simplicité de son concept sémantique.
|
|
|
|
% -------------------------------------------------------------------
|
|
|
|
\section{Conclusion} \label{conclusion} \index{conclusion}
|
|
|
|
En fait, tout reste à faire. Mais ça peut être un beau projet
|
|
aux implications et usages multiples.
|
|
|
|
Un couteau suisse de la capture du monde réel, un point pivot
|
|
de nos diverses interprétations de
|
|
l'univers\footnote{non, la terre n'est pas plate} et des interactions
|
|
étranges entre des paramètres sans relation clairement definie.
|
|
|
|
% -------------------------------------------------------------------
|
|
\setlength{\parskip}{0.05cm plus 0.05cm}
|
|
|
|
\pagebreak \tableofcontents
|
|
|
|
\printindex
|
|
|
|
\end{document}
|
|
|
|
|