retour

INGÉNIERIE

Construire la couche d'ingestion : transformer des bavardages dispersés en structure

Construire la couche d'ingestion : transformer des bavardages dispersés en structure

Kenji Tanaka

Somme de Joshua

Fondateur, Morphic

8 min de lecture

Les conversations avec les clients proviennent de fils de discussion Slack, de chaînes d'e-mails, de transcriptions et de messages de chat, chacun ayant son propre formatage, son bruit et ses abréviations.

Transformer ce flux de paroles en enregistrements propres et interrogeables a nécessité une couche d'ingestion capable de normaliser des entrées extrêmement différentes en un format unique et cohérent.

Les discussions multicanaux sont difficiles à transformer en données structurées.

La plupart des systèmes soit laissent de côté le texte non structuré, soit obligent les équipes à le baliser et à le saisir à nouveau manuellement. Aucune de ces solutions n'est viable au-delà de quelques conversations par jour.

Nous avions besoin d'un pipeline capable de gérer le volume sans perdre le sens.

Un pipeline d'ingestion conçu pour les conversations réelles et bruyantes.

La couche d'ingestion normalise chaque source dans un format d'événement commun, puis extrait les entités, l'intention et les relations avant que tout élément ne soit écrit dans le stockage.

Au moment où les données atteignent l'espace de travail, elles sont déjà structurées et liées au bon enregistrement.

  1. Normaliser
    La charge utile brute de chaque canal est convertie en un schéma d'événement commun.

  2. Extraire
    Les entités, l'intention et les détails clés sont extraits du texte brut.

  3. Lier
    Les données extraites sont associées au bon dossier client, d'opportunité ou de projet.

La couche d'ingestion normalise chaque source dans un format d'événement commun, puis extrait les entités, l'intention et les relations avant que tout élément ne soit écrit dans le stockage.

Au moment où les données atteignent l'espace de travail, elles sont déjà structurées et liées au bon enregistrement.

Une couche d'ingestion dédiée porte ses fruits sur l'ensemble du produit.

  • Gère un volume élevé sans perdre de messages.

  • Évite les doublons d'enregistrements sur tous les canaux.

  • Fournit à chaque fonctionnalité en aval des données d'entrée propres et structurées.

Une bonne automatisation n'est efficace que si les données qui l'alimentent sont de qualité. La couche d'ingestion est le fondement ingrat qui rend fiable tout ce qui est construit au-dessus.