Monitoring du Phytotron
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

dd2-monitoring.tex 14KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439
  1. \documentclass[a4paper,11pt]{article}
  2. % \listfiles % pour le debug
  3. \usepackage[french]{babel}
  4. \usepackage[utf8]{inputenc}
  5. \usepackage[T1]{fontenc}
  6. % XXX \usepackage{lipsum}
  7. \usepackage{makeidx}
  8. \usepackage{listings}
  9. % \usepackage{color}
  10. % \usepackage{url}
  11. \usepackage{xspace}
  12. \usepackage[verbose]{layout}
  13. \makeindex
  14. % \setlength{\parskip}{0.16cm plus 0.16cm}
  15. % -------------------------------------------------------------------
  16. \title{DD2 Monitoring}
  17. \author{tTh}
  18. \begin{document}
  19. \maketitle
  20. \pagebreak
  21. % -------------------------------------------------------------------
  22. \section{Introduction}
  23. Dans le cadre du futur projet \textsl{phytotron}\index{phytotron},
  24. nous aurons besoin d'un
  25. système de surveillance de divers paramêtres, du genre la température
  26. et l'humidité de l'air ambiant ou de l'enceinte thermostatée.
  27. Et comme nous sommes au Tetalab, nous allons essayer d'en faire le plus
  28. possible nous même, tant pour l'aspect didactique que pour la possible
  29. ré-utilisation de la chose dans un contexte artistique comme nous
  30. arrivons parfois à le faire.
  31. La première étape sera donc la mise au point d'un \textsl{cadriciel}
  32. permettant d'essayer diverses options en se basant sur une conception
  33. modulaire de l'ensemble.
  34. Les valeurs à mesurer étant de diverses natures, nous aurons l'occasion
  35. de découvrir plein de capteurs différents : température, humidité,
  36. \texttt{pH}, transparence, lumière, vibrations\dots
  37. % \setlength{\parskip}{0.01cm plus 0.01cm}
  38. \tableofcontents
  39. % \setlength{\parskip}{0.16cm plus 0.16cm}
  40. \vspace{4cm}
  41. Bonne lecture.
  42. % -------------------------------------------------------------------
  43. % ===================================================================
  44. \pagebreak
  45. \section{Présentation générale}
  46. \subsection{Capteurs} \index{capteurs}
  47. Actuellement nous disposons d'un capteur température et
  48. humidité, le
  49. \texttt{RDing} \texttt{TEMPERHUM1V1.2}{} qui
  50. semble un peu étrange à interpeller, et qui sera destiné à mesurer
  51. l'ambiance météo du Double Dragon\footnote{Pas de mauvais esprit, merci...},
  52. l'influence humaine n'étant pas à négliger en cas d'afflux du public..
  53. Par la suite, nous pourrons récupérer
  54. (par liaison série, cf page \pageref{serial})
  55. des données diverses en provenance de l'automate de contrôle de l'enceinte.
  56. Cet automate\index{automate} est décrit page \pageref{automate}.
  57. Le premier capteur de température sélectionné est le \textsc{LM35}\index{LM35}
  58. qui fournit en sortie une tension linéairement proportionnle à
  59. la température. Ils seront connectés sur l'automate qui s'en
  60. servira pour la régulation thermostatique.
  61. Il nous reste à choisir d'autres capteurs pour d'autres métriques :
  62. humidité, lumière, vibrations, perturbations psychiques\dots
  63. Notre dd2monitor
  64. devrait donc aussi être capable d'envoyer des alertes en cas de souci,
  65. par exemple si des algues\footnote{Ou des pleurotes, ou des morilles...}
  66. tentent de s'échapper.
  67. \subsection{Stockage}
  68. Pour entreposer toutes ces valeurs numériques, il existe plusieurs
  69. choix, et nous allons en évaluer quelques uns :
  70. \texttt{flatfile}\index{flatfile} (page \pageref{flatfile}),
  71. \texttt{rrdb}\index{rrdb} (page \pageref{rrdb}),
  72. \texttt{influxdb}\index{Influxdb} (page \pageref{influxdb}),
  73. \texttt{gnocchi}\index{Gnocchi} (page \pageref{gnocchi})
  74. \texttt{Sqlite}\index{sqlite} (page \pageref{sqlite})
  75. La représentation interne des valeurs reste à définir pour
  76. la plupart d'entre elles.
  77. \subsection{Affichage}
  78. Nous allons laisser un petit bac-à-sable pour Fred Fermion\index{nodejs},
  79. qui nous tartine les oreilles depuis bien trop longtemps avec son machin.js.
  80. Mais sachez déja que l'automate sera équipé d'un minitel, pourquoi ne
  81. pas en mettre un second sur le monitoring ? Après tout, un peu
  82. d'eyecandy\index{eyecandy} ne peut pas faire de mal.
  83. C'est expliqué à la page \pageref{eyecandy}\index{curses}.
  84. % -------------------------------------------------------------------
  85. % ===================================================================
  86. % nouveau 2019-02-22
  87. \input{automate}
  88. % ===================================================================
  89. \section{Outils}
  90. \subsection{Simulations}
  91. Bien entendu, mettre au point un système de monitoring pour un futur
  92. phytotron pose un problème : d'où viennent les premières mesures ?
  93. C'est pour ça qu'il y a déja un générateur de \textit{fake-values} qui
  94. ne demande qu'à grandir.
  95. Nous avons également un générateur de nombres divers et incohérents
  96. qui envoie des quadruplets d'entiers 10 bits précédés d'un caractere
  97. de bonne efficacité.
  98. % -------------------------------------------------------------------
  99. \subsection{Exemples}
  100. \textsf{Promis, on va en mettre ! Dès que ça marche\dots}
  101. Un premier exemple avec rrdb en page \pageref{rrdb}.
  102. Le second cause des premiers essais du LM35\index{LM35},
  103. capteur de
  104. température analogique branché sur un Arduino Mega et relié
  105. par un port série (page \pageref{serialcode}).
  106. Pour continuer dans une démarche disruptive, des outils
  107. avancés de visualisation sont proposés dans la rubrique
  108. \ref{eyecandy} qui parle de \texttt{vt100}\label{vt100}.
  109. % -------------------------------------------------------------------
  110. \subsection{Analyses}
  111. \textsf{Bla bla bla\dots Corrélations, Gnuplot\index{gnuplot}, toussa\dots}
  112. Peut-être demander à Schmod777 des références de
  113. documents bourbakistes ? J'ai entendu parler dans \textsc{irc}
  114. de choses étranges, comme ça :
  115. \textsl{<schmod777> s/booz/booze pour la courbe qui majore les autres en moyenne serait
  116. d'une criante justesse scientifique ;)}
  117. Ce qui donne quand même à réfléchir. À se demander quel savoir
  118. allons-nous pouvoir déduire de ces\footnote{non, c'est pas du bigdata.}
  119. chiffres improbables.
  120. (Re-)Découvrir les lois de l'inertie thermique ?
  121. Générer des formes d'ondes spatialisables ?
  122. Déplacer des petites \textit{bubulles} colorées ?
  123. Une histoire pour la section \pageref{detournements} ?
  124. % -------------------------------------------------------------------
  125. \subsection{Archivage} \index{archivage} \label{archivage}
  126. \textsf{Conserver la mémoire de nos échecs.}
  127. La création de cet outil de surveillance est un long parcours
  128. pavé d'essais et d'erreurs. Tout cela peut générer beaucoup
  129. de données. À titre d'exemple, la capture de température des
  130. premier essais sort environ 800 Ko par jour.
  131. 99.99\% de ces chiffres sont inutiles, mais il peut arriver
  132. qu'on désire conserver l'historique d'une
  133. expérience réussie\footnote{En fait, c'est comme ça que la science existe}
  134. ou d'un
  135. \textit{epicfail\footnote{En fait, c'est comme ça que la science avance}}.
  136. Nous devons donc rencontrer quelqu'un qui maitrise cette partie
  137. de la mouvance détournementale de l'espionnage.
  138. Je pense que Yaya\index{Yaya} pourra nous éclairer de ses lumières,
  139. si on lui demande gentiment.
  140. % -------------------------------------------------------------------
  141. \subsection{Affichage}\index{affichage}
  142. Pour commencer presque simple, un exemple d'affichage avec
  143. Gnuplot\index{gnuplot} d'un fichier plat
  144. de température (décrit page \pageref{foo.dat}) :
  145. \begin{verbatim}
  146. DATAFILE="foo.dat"
  147. IMAGE="graphe.png"
  148. gnuplot << __EOC__
  149. set term png size 4200,640
  150. set output "${IMAGE}"
  151. set grid
  152. set title "Temperature dans le Double Dragon 2"
  153. set xdata time
  154. set timefmt "%s"
  155. set format x "%d, %H:%M:%S"
  156. set yrange [ 0.0 : 30.0]
  157. plot "${DATAFILE}" using 1:2 title " foo" with lines, \
  158. "${DATAFILE}" using 1:3 title " bar" with lines, \
  159. "${DATAFILE}" using 1:4 title "quux" with lines, \
  160. "${DATAFILE}" using 1:5 title "booz" with lines
  161. __EOC__
  162. \end{verbatim}
  163. Prochainement, dès que le premier prototype matériel fournira des
  164. données, une tentative de visualisation animée sera faite avec
  165. POVray\index{POV}.
  166. % ===================================================================
  167. \section{Configuration} \index{configuration} \label{configuration}
  168. Pour adapter cet outil de surveillance aux variations du monde réel,
  169. nous devons nous-même lui décrire ce monde. Une description qui se
  170. fera avec des lignes de la forme '\texttt{input\_device s /dev/ttyACM0}'
  171. qui représentent des tuples
  172. \textit{clef-type-valeur}\footnote{Laissons les canards tranquilles.}
  173. de choses diverses.
  174. La syntaxe n'est pas encore vraiment fixée, mais un fichier exemple est
  175. disponible pour des explication plus récentes, donc plus en
  176. rapport avec la réalité du code. En voici un extrait :
  177. \begin{verbatim}
  178. # serial input from the control cpu
  179. input_device s /dev/ttyACM0
  180. input_speed i 9600
  181. # --------------------------------------------------
  182. # some values for the eyecandy displays
  183. eyecandy_banner s hacked by tTh
  184. \end{verbatim}
  185. Certains de ces paramètres pourront être surchargé par des options
  186. de la ligne de commande\index{cli} ou des variables d'environnement.
  187. % ===================================================================
  188. \section{Flatfile} \label{flatfile}
  189. Parfois, un fichier à plat est bien pratique, parce qu'il est facilement
  190. machinable avec des outils comme Awk\index{Awk}.
  191. Après tout, un \textsl{timestamp}\index{timestamp} et quelques valeurs
  192. numériques peuvent suffire à beaucoup de \textsl{usecases} de la
  193. vie courante.
  194. Voici un exemple, un format\label{foo.dat} d'enregistrement de
  195. température facilement exploitable avec Awk ou Gnuplot :
  196. \begin{verbatim}
  197. tth@phytotron:~/DD2-monitor/doc$ tail -3 ../serial/foo.dat
  198. 1550673785 20.215054 20.107527 20.107527 20.215054
  199. 1550673811 20.215054 20.215054 20.215054 20.215054
  200. 1550673836 20.215054 20.107527 20.215054 20.215054
  201. \end{verbatim}
  202. % -------------------------------------------------------------------
  203. \section{RRDB} \label{rrdb}
  204. Première tentative d'utilisation le lendemain du premier apéro 2019
  205. du Tetalab\footnote{Jean-Yves, je vous demande de vous calmer !}.
  206. Je suis parti sur quelques scripts shell, pour créer, mettre à jour et
  207. analyser les enregistrements d'une valeur de type \textsc{gauge}.
  208. \subsection{Create}
  209. \begin{lstlisting}
  210. #!/bin/bash
  211. source ./commun.sh
  212. starttime=$(date +'%s')
  213. echo creating $RRDB at ${starttime}s since epoch
  214. rrdtool create $RRDB \
  215. --start $starttime \
  216. --step 60 \
  217. DS:value:GAUGE:150:0:10 \
  218. RRA:AVERAGE:0.5:1:60
  219. \end{lstlisting}
  220. \subsection{Update} \index{rrdtool}
  221. Une fois la base créée, il faut bien la remplir.
  222. Dans cet exemple, nous allons utiliser le \textit{load}
  223. de notre Linux.
  224. \begin{lstlisting}
  225. #!/bin/bash
  226. source ./commun.sh
  227. ctime=$(date +'%s')
  228. value=$(cut -d ' ' -f 1 /proc/loadavg)
  229. # inject value in the rrdb file
  230. rrdtool update $RRDB ${ctime}:${value}
  231. \end{lstlisting}
  232. \subsection{Analyze}
  233. Nous allons essayer d'exploiter les données dûrement acquises
  234. pendant les heures qui précèdent\dots
  235. \begin{lstlisting}
  236. #!/bin/bash
  237. source ./commun.sh
  238. tmpf="somevalues.dat"
  239. rrdtool fetch $RRDB LAST |
  240. tr -d ':' |
  241. awk '
  242. (!/nan/ && NF==2) { print $1, $2 }
  243. ' \
  244. > ${tmpf}
  245. # as an example, we are gnuploting our datas
  246. gnuplot << __EOC__
  247. set term png size 800,600
  248. set output "graphe.png"
  249. set grid
  250. plot "${tmpf}" with lines
  251. __EOC__
  252. rm ${tmpf}
  253. \end{lstlisting}
  254. Il semble bien que l'utilisation de \texttt{fetch} ne soit pas
  255. vraiment prévue pour ça, donc j'en arrive à la conclusion que
  256. quelque chose m'échappe.
  257. On va laisser ça en suspens pour le moment.
  258. % -------------------------------------------------------------------
  259. \section{InfluxDB} \label{influxdb}
  260. La communication avec la bédédé se fait \textit{over HTTP}, un peu
  261. comme tous ces trucs de d'jeunz d'aujourd'hui\dots
  262. Au programme : écriture d'un injecteur en Perl\index{Perl}, en suivant
  263. plus ou moins l'exemple de rrdb..
  264. Ceci dit, en Debian stable, on n'a que la version 1.0, qui ne
  265. correspond plus trop à l'actualité. Et la \textit{current} semble
  266. trop fatiguante à compiler pour ce soir, ni même pour ce week-end.
  267. % -------------------------------------------------------------------
  268. \section{Gnocchi} \label{gnocchi} \index{Gnocchi}
  269. \texttt{pip install gnocchi[postgresql,ceph,keystone]}, finalement,
  270. çe ne me donne pas trop envie. C'est du genre \textit{usinagaz}.
  271. % -------------------------------------------------------------------
  272. \section{Sqlite} \index{sqlite} \label{sqlite}
  273. \textsf{À regarder de près}
  274. Est-il possible de traiter des \textit{time series} en SQL\index{SQL} ?
  275. Peut-on utiliser Sqlite depuis un programme en Perl\index{Perl} ?
  276. Faut-il commencer à trouver un \textit{usecase} crédible ?
  277. NodeJs\index{nodejs} peut-il lire du Sqlite ?
  278. % -------------------------------------------------------------------
  279. \input{serial}
  280. % -------------------------------------------------------------------
  281. \section{Détournements} \label{detournements}
  282. Dans le contexte myryssien\index{Myrys}, il est évident que l'aspect
  283. artistique\index{Art}
  284. doit être dès le départ pris en compte.
  285. Les possibilités ne seront limitées que par votre manque d'imagination.
  286. Si vous voulez un petit exemple, imaginez des courbes de température
  287. qui pilotent un \texttt{uGen} de Chuck\index{Chuck} ou des algues dont
  288. les pulses lumineux envoie du \texttt{cv/gate} en temps réel.
  289. \subsection{Variante sonore}
  290. Un peu de \texttt{awk} pipé dans du \texttt{sox} ?
  291. Voire même l'occasion (ou un bon prétexte) de résoudre ce problème
  292. de saut de phase qui me tracasse depuis des mois ?
  293. \subsection{Eye candy}\index{eyecandy}\label{eyecandy}
  294. Pour maximiser l'impact visuel, il sera convenant de sortir du
  295. cadre pseudo-moderne des omniprésents écrans de ces
  296. smartphones\footnote{Quand les téléphones étaient attachés par
  297. un fil, les humains étaient libres.} qui nous lavent le cerveau.
  298. Sortons donc du contexte pixeliste et revenons aux fondamentaux :
  299. le caractère\index{ncurses},
  300. avec toute la simplicité de son concept sémantique.
  301. % -------------------------------------------------------------------
  302. \section{Conclusion} \label{conclusion} \index{conclusion}
  303. En fait, tout reste à faire. Mais ça peut être un beau projet
  304. aux implications et usages multiples. À condition de bien
  305. faire les choses.
  306. Un couteau suisse de la capture du monde réel, un point pivot
  307. de nos diverses interprétations de
  308. l'univers\footnote{non, la terre n'est pas plate} et des interactions
  309. étranges entre des paramètres sans relation clairement definie.
  310. % -------------------------------------------------------------------
  311. \setlength{\parskip}{0.05cm plus 0.05cm}
  312. % \pagebreak \tableofcontents
  313. \printindex
  314. \end{document}