retour

INGÉNIERIE

Construire la couche d'ingestion : transformer des bavardages dispersés en structure

Construire la couche d'ingestion : transformer des bavardages dispersés en structure

Un aperçu du pipeline qui transforme des conversations multicanaux désordonnées en enregistrements propres et interrogeables.

Kenji Tanaka

Somme de Joshua

Fondateur, Morphic

8 min de lecture

Construire la couche d'ingestion : transformer des bavardages dispersés en structure

Les conversations sont désordonnées. Les dossiers ne devraient pas l'être.

Les conversations avec les clients proviennent de fils de discussion Slack, de chaînes d'e-mails, de transcriptions et de messages de chat, chacun ayant son propre formatage, son bruit et ses abréviations.

Transformer ce flux de paroles en enregistrements propres et interrogeables a nécessité une couche d'ingestion capable de normaliser des entrées extrêmement différentes en un format unique et cohérent.

Les discussions multicanaux sont difficiles à transformer en données structurées.

La plupart des systèmes soit laissent de côté le texte non structuré, soit obligent les équipes à le baliser et à le saisir à nouveau manuellement. Aucune de ces solutions n'est viable au-delà de quelques conversations par jour.

Nous avions besoin d'un pipeline capable de gérer le volume sans perdre le sens.

Un pipeline d'ingestion conçu pour les conversations réelles et bruyantes.

La couche d'ingestion normalise chaque source dans un format d'événement commun, puis extrait les entités, l'intention et les relations avant que tout élément ne soit écrit dans le stockage.

Au moment où les données atteignent l'espace de travail, elles sont déjà structurées et liées au bon enregistrement.

Comment fonctionne la couche d'ingestion

  1. Normaliser
    La charge utile brute de chaque canal est convertie en un schéma d'événement commun.

  2. Extraire
    Les entités, l'intention et les détails clés sont extraits du texte brut.

  3. Lier
    Les données extraites sont associées au bon dossier client, d'opportunité ou de projet.

Exemple de flux de travail

Un fil d'assistance commence sur Slack, puis passe par e-mail.

La couche d'ingestion :

  • Reconnaît les deux messages comme faisant partie du même fil de discussion.

  • Fusionne le contexte au lieu de créer des enregistrements en doublon.

  • Signale le problème non résolu pour la file d'attente d'assistance.

Avantages

Une couche d'ingestion dédiée porte ses fruits sur l'ensemble du produit.

  • Gère un volume élevé sans perdre de messages.

  • Évite les doublons d'enregistrements sur tous les canaux.

  • Fournit à chaque fonctionnalité en aval des données d'entrée propres et structurées.

Dernières pensées

Une bonne automatisation n'est efficace que si les données qui l'alimentent sont de qualité. La couche d'ingestion est le fondement ingrat qui rend fiable tout ce qui est construit au-dessus.