2026-11-04 - une technique pour chaque échelle, chaque problème

Plan

  • Partie 1 : voyage technique d’un POC jusqu’à une grosse entreprise de données

  • Partie 2 : quelques cas pratiques

Cas pratiques

  • Monter un petit dashboard avec github

  • Comment le faire sans gituhb ?

  • Spark et Map Reduce, une logique différente pour écrire des calculs

L’IA ou les agents

Qu’est ce qui change ?

A-t-on encore besoin d’un outil comme Grafana ?

  • POC

  • Production ?

  • Dépendance ?

De la startup acoustique à la plateforme mondiale de données

  • des données qu’on collecte

  • des données qu’on produit avec les outils collectant les données (pannes, …)

  • lire et écrire en même temps

  • pandas / polars

  • ClickHouse / PostgreSQL

30 étapes de développement technologique et industriel.

#

Évolution

Techniques, langages et technologies

Échelle

1

POC acoustique : mesurer le bruit en continu chez un particulier.

Python, NumPy, SciPy, PyAudio, FFT

1 utilisateur, 1 capteur

2

Analyse du paysage sonore : identifier fréquences et événements.

DSP, filtres numériques, spectrogrammes, STFT

1 environnement, plusieurs jours de mesures

3

Premier capteur autonome : collecte 24h/24 sur mini-PC.

Raspberry Pi, Linux, C++, systemd, ALSA

1 à 10 équipements

4

Stockage des mesures et constitution d’un historique.

SQLite, PostgreSQL, SQL, TimescaleDB

Millions de mesures

5

Première interface : visualisation temporelle et fréquentielle.

Python, Streamlit, Plotly, Grafana

Quelques utilisateurs

6

Fiabilisation : gestion des coupures, redémarrages et pertes de données.

C++, Python, watchdog, buffers, retry, stockage local

10 à 100 capteurs

7

Réseau de capteurs : communication et identité des équipements.

MQTT, TLS, HTTP, certificats, provisioning

100 à 1 000 capteurs

8

Collecte centralisée : réception et exposition des mesures par API.

Python, FastAPI, PostgreSQL, REST

1 000 capteurs

9

Gestion du parc : état, localisation, versions et maintenance.

Java, Spring Boot, PostgreSQL, API, gestion de configuration

Plusieurs milliers d’équipements

10

Premier produit commercial : dashboards multi-sites et suivi en direct.

Grafana, React, TypeScript, WebSockets

Plusieurs sites, dizaines de clients

11

Architecture distribuée : séparation ingestion, stockage et calcul.

Microservices, Java, Python, Docker

10 000 capteurs

12

Ingestion massive : absorber les flux sans perte.

Apache Kafka, partitionnement, consumer groups, backpressure

10 000 à 50 000 capteurs

13

Traitement temps réel : détection et agrégation des événements.

Apache Flink, Kafka Streams, fenêtres temporelles

50 000 à 100 000 capteurs

14

Gestion des alertes : seuils, anomalies, confirmation et escalade.

CEP, moteurs de règles, Alertmanager, notifications

Milliers d’événements par seconde

15

Infrastructure résiliente : haute disponibilité et reprise après incident.

Kubernetes, réplication, failover, autoscaling, Prometheus

100 000 capteurs, disponibilité 24/7

16

Data Lake : conservation des mesures brutes et enrichies.

S3, Parquet, compression, partitionnement

Plusieurs pétaoctets

17

Calcul distribué : analyse historique et calcul parallèle.

Apache Spark, PySpark, Arrow

Millions de capteurs, milliards de mesures

18

Catalogue de données : métadonnées, évolution des schémas et versions.

Apache Iceberg, Delta Lake, schema evolution, time travel

Plusieurs pétaoctets, centaines de datasets

19

Recherche analytique : requêtes rapides sur les données historiques.

Trino, ClickHouse, Elasticsearch, SQL

Milliards à milliers de milliards d’enregistrements

20

Optimisation des performances et des coûts.

C++, SIMD, Arrow, memory mapping, cache distribué

Plusieurs pétaoctets, requêtes parallèles

21

API de recherche : accès aux mesures et analyses pour les tiers.

Java, Python, REST, GraphQL, OAuth2

Centaines de clients et partenaires

22

Environnement scientifique : notebooks et calcul sur données historiques.

JupyterHub, Python, Polars, Pandas, Spark

Centaines de chercheurs, milliers de notebooks

23

Dashboards temps réel : cartes, événements et alertes interactives.

WebSockets, React, TypeScript, Grafana

Milliers d’utilisateurs simultanés

24

Machine Learning : classification, anomalies et reconnaissance.

PyTorch, scikit-learn, modèles distribués

Millions de séries temporelles

25

Gouvernance des données : traçabilité, anonymisation, droits et conservation.

Apache Atlas, lineage, RBAC, chiffrement, RGPD

Plusieurs organisations, gestion multi-tenant

26

Déploiement mondial : administration de réseaux géographiquement répartis.

Kubernetes multi-clusters, Terraform, cloud, edge computing

Plusieurs pays, centaines de milliers de capteurs

27

Plateforme multi-clients : isolation, quotas et facturation à l’usage.

Multi-tenancy, OAuth2, RBAC, API Gateway

Milliers de clients

28

Marketplace de données : commercialisation de flux, indicateurs et historiques.

Data Catalog, APIs, abonnements, gouvernance

Marché international, centaines de partenaires

29

Jumeaux numériques : représentation dynamique des environnements.

Digital Twins, graphes, SIG, modèles physiques

Régions, métropoles, territoires

30

Plateforme mondiale : intelligence environnementale et prédictive.

Architecture événementielle, Big Data, IA distribuée, haute disponibilité

Millions de capteurs, plusieurs continents, exploitation 24/7

Capacités transversales

  • Corrélation spatio-temporelle des observations de capteurs.

  • Fusion de données multi-capteurs (bruit, température, fumée, vibrations, humidité, pression, météo).

  • Détection et suivi de propagation d’incendies, d’inondations et de pollutions.

  • Gestion des alertes, confirmation multi-capteurs et escalade.

  • Recherche scientifique sur des milliards de mesures.

  • Résilience, réplication et reprise automatique après panne.