IA + Web3 + RAG : Aperçu Architecture Pratique pour Entreprises

De nombreuses applications modernes se situent désormais à l'intersection de trois domaines :

• Les systèmes d'IA qui génèrent des réponses au lieu de renvoyer des résultats de recherche statiques
• L'infrastructure Web3 pour l'identité basée sur portefeuille et le contrôle d'accès
• Le RAG (Retrieval-Augmented Generation) , où les réponses de l'IA sont ancrées dans des documents récupérés

Cet article ne parle pas de hype ou de tendances techniques. C'est un aperçu pratique de la façon dont ces systèmes sont généralement structurés, et de ce qu'il faut rechercher lors de l'évaluation d'équipes techniques qui les construisent.

---

Un Modèle Mental Simple : Trois Couches Centrales

La plupart des systèmes de production de ce type peuvent être compris comme trois couches :

Utilisateur → Passerelle (Auth & Routage) → Moteur IA (Pipeline RAG) → Stockage de Données

Chaque couche a une responsabilité spécifique. La principale valeur architecturale vient du maintien de ces responsabilités clairement séparées.

Un principe de conception utile est : La logique IA doit rester dans le Moteur IA, pas dans la Passerelle ni dans la couche de stockage.

Cela rend les systèmes plus faciles à faire évoluer et à maintenir dans le temps.

---

Couche 1 : Passerelle (Authentification & Accès)

La passerelle est responsable du contrôle d'accès au système.

Responsabilités typiques :

• Vérification de signature de portefeuille (connexion Web3)
• Limitation de débit et contrôle des requêtes
• Routage des requêtes vers le service IA
• Coordination des téléchargements de fichiers (souvent vers un stockage objet comme S3)

Ce qu'elle doit éviter de faire :

• Exécuter des modèles d'IA
• Générer des embeddings
• Effectuer le découpage de documents

L'objectif de cette couche est la simplicité et la fiabilité, pas l'intelligence.

Une question utile lors de l'évaluation :

"Où se produit la génération d'embeddings ?"

Une réponse bien structurée est généralement :

"À l'intérieur de la couche service IA, pas dans la passerelle."

---

Couche 2 : Moteur IA (Pipeline RAG)

C'est là que vit la majeure partie de l'intelligence du système. Il est généralement composé de plusieurs étapes :

1. Chargeur de Documents

Responsable de l'ingestion de fichiers depuis des systèmes de stockage ou des API, et de l'extraction de texte brut tout en préservant les métadonnées lorsque c'est possible.

Considération clé : gérer les formats du monde réel (PDFs, documents scannés, tableaux).

---

2. Découpeur de Texte

Divise les documents en petits morceaux pour qu'ils puissent être traités efficacement par les modèles d'embedding.

Considérations courantes :

• Taille des morceaux (souvent 500–1000 tokens)
• Chevauchement entre les morceaux pour préserver le contexte
• Gestion des phrases incomplètes ou des limites de tableaux

---

3. Générateur d'Embeddings

Transforme les morceaux de texte en représentations vectorielles (représentations numériques du sens).

Ces embeddings sont généralement générés en utilisant :

• Les modèles d'embedding d'OpenAI
• Les embeddings Cohere
• Des modèles d'embedding open-source

Un principe de conception clé est la cohérence :

Le même modèle d'embedding doit être utilisé à la fois pour l'ingestion et les requêtes.

---

4. Récupérateur

Trouve les morceaux de documents pertinents en fonction d'une requête utilisateur.

Il typiquement :

• Génère l'embedding de la requête
• Recherche des vecteurs similaires dans le stockage
• Renvoie les résultats top-k les plus pertinents

Les systèmes plus avancés peuvent combiner :

• La recherche par similarité vectorielle
• La recherche par mots-clés (récupération hybride)
• Des modèles de re-ranking pour une pertinence améliorée

---

5. Orchestrateur

Coordonne le pipeline complet :

• Flux d'ingestion : chargement → découpage → embedding → stockage
• Flux de requête : requête → embedding → récupération → génération de réponse

Il gère également :

• La récupération après erreur
• Les échecs partiels pendant l'ingestion
• Les stratégies de réessai

---

Couche 3 : Stockage de Données (Couche de Persistance Unifiée)

Cette couche stocke :

• Les documents originaux
• Les morceaux de texte
• Les embeddings (vecteurs)
• Des relations optionnelles entre entités (graphe)

Un stockage "unifié" signifie simplement :

Toutes les données liées (texte + vecteurs + métadonnées) sont accessibles dans un système cohérent.

Cela peut être implémenté en utilisant des bases de données vectorielles, des bases de données graphe, ou des systèmes hybrides selon le cas d'usage.

---

Deux Flux Système Principaux

1. Flux d'Ingestion (Ajout de Connaissance)

1. L'utilisateur télécharge un document
2. La passerelle vérifie l'identité et transmet la requête
3. Le moteur IA charge le document
4. Le texte est découpé en morceaux
5. Chaque morceau est transformé en vecteur (embedding)
6. Les données sont stockées dans le système

Idée clé :

Toutes les opérations lourdes en intelligence se produisent à l'intérieur du moteur IA.

---

2. Flux de Requête (Réponse aux Questions)

1. L'utilisateur soumet une question
2. La passerelle valide et transmet la requête
3. Le moteur IA génère l'embedding de la requête
4. Le stockage récupère les morceaux pertinents
5. Le contexte récupéré est envoyé au LLM
6. Le LLM génère une réponse ancrée

Idée clé :

Le système récupère les connaissances pertinentes avant de générer une réponse, plutôt que de se fier uniquement à la mémoire du modèle.

---

Comment Évaluer les Équipes Techniques

Au lieu de se concentrer sur les outils ou les mots à la mode, il est souvent plus utile d'évaluer la compréhension des frontières architecturales.

Couche Web3

Recherchez de la clarté sur :

• L'authentification basée sur portefeuille
• La gestion sans état des requêtes
• La séparation entre l'identité et la logique IA

---

Couche IA / RAG

Recherchez une compréhension de :

• Les stratégies de découpage de documents
• La cohérence des embeddings
• Les stratégies de récupération au-delà de la recherche par similarité basique
• L'expérience réelle de déploiement en production (pas seulement des prototypes)

---

Couche Données

Recherchez :

• Une expérience avec les systèmes de recherche vectorielle
• Une compréhension des compromis d'indexation et de récupération
• Une connaissance des approches hybrides (vecteur + mot-clé)

---

Une Façon Pratique d'y Penser

Le modèle mental le plus simple est :

• Passerelle → contrôle l'accès
• Moteur IA → comprend et raisonne sur les données
• Stockage → se souvient de tout

Si cette séparation est claire, le système est généralement plus facile à faire évoluer et à déboguer.

---

Réflexion Finale

Vous n'avez pas besoin d'une expertise approfondie sur les embeddings ou les modèles transformers pour évaluer efficacement ces systèmes.

Ce qui importe le plus en pratique, c'est si l'architecture :

• Sépare les responsabilités de manière propre
• Passe à l'échelle sans couplage fort
• Maintient la logique IA isolée dans la bonne couche

Une bonne conception technique doit pouvoir être expliquée en quelques diagrammes clairs—pas noyée dans la complexité.