Onyx.

La mémoire est un coffre de notes Markdown, classées par dossiers, que je peux ouvrir et corriger à la main. La recherche combine trois signaux : la proximité de sens, la fraîcheur de la note (son poids diminue de moitié en sept jours) et les liens internes entre notes.

Chaque note porte une empreinte de son contenu, si bien que seules les notes modifiées sont réindexées. Un document déposé dans Onyx devient une note marquée « non validée » : la recherche le trouve, mais l’agent signale ce statut quand il s’en sert, tant que je ne l’ai pas validé.

Quand une conversation s’interrompt, Onyx demande au modèle, en arrière-plan, de la condenser : ce qu’il a appris de moi, le ton de l’échange, les événements datés. Chaque nuit, la même consolidation repasse sur les échanges de la journée, et une tâche de réflexion écrit un journal où elle repère les motifs récurrents et les contradictions.

Quand je le corrige, la correction est notée. La nuit, il cherche celles qui se répètent et en tire au plus deux leçons, rangées dans ses notes de savoir-faire : elles accompagnent ensuite chacune de ses réponses, à l’écrit comme à la voix. Une fois par mois, il confronte la note où il se décrit à son comportement récent et, quand les deux divergent, propose de la réviser ; la révision attend ma validation.

La recherche par le sens retrouve des passages, mais ne répond pas à « qui relie ces deux personnes ? » ou « comment mon avis a-t-il évolué ? ». Pour ces questions, Graphiti construit sur Neo4j un graphe de connaissances daté, que l’agent interroge par un outil dédié ; chaque nuit, les documents de la bibliothèque qui n’y figurent pas encore y sont ajoutés.

Chaque matin, Onyx prépare ce qu’il saura du jour sans avoir à le chercher : la météo, le grand titre de l’actualité, et un ou deux sujets tirés de ses propres réflexions récentes et des thèmes de nos derniers échanges, qu’il va lire sur le web.

Le résultat est écrit dans une note que chacune de ses consignes reprend, à l’écrit comme à la voix : il sait quel jour on est, ce qui se passe, et ce qui l’occupe, sans appeler d’outil pour le savoir.

Comme le front se contente d’envoyer et de recevoir du son, chaque changement de fournisseur s’est fait côté serveur, sans toucher à l’interface. La version actuelle transcrit la parole, raisonne avec les outils d’Onyx et répond par synthèse vocale, en gardant le fil d’une session à l’autre.

La latence a été réduite d’après des mesures. Selon la demande, la voix emprunte une voie rapide ou une voie plus forte, et un modèle de secours prend le relais quand le plafond de débit est atteint, au lieu de couper la parole. La consigne du mode vocal, envoyée à chaque appel, est passée d’environ 6 000 à 3 900 jetons, et la recherche en mémoire a un délai maximal.

Envoyer chaque demande au modèle le plus fort consommerait le débit dont la voix a besoin, et tout confier au plus léger appauvrirait le raisonnement. Un routeur en trois étages choisit donc le niveau de modèle : des règles simples tranchent environ 80 % des cas sans appel au modèle, un classifieur optionnel départage les cas ambigus, et dans le doute le routeur monte au niveau le plus fort. Il renvoie une route plutôt qu’un nom de modèle : la conversation et la voix l’associent chacune à leur propre modèle, avec la même personnalité et la même mémoire. Chaque choix est enregistré avec sa raison.

Avant chaque appel au modèle, deux passes remplacent les données personnelles par des substituts : des expressions régulières pour les e-mails, téléphones, IBAN, cartes bancaires et numéros de sécurité sociale, puis la reconnaissance d’entités de spaCy pour les personnes, organisations et lieux. La table de correspondance est chiffrée et survit aux redémarrages : une même personne garde ainsi le même substitut d’une session à l’autre.

Les jetons d’accès à Gmail et à Notion sont chiffrés de la même façon, utilisateur par utilisateur. Quand Onyx consulte le web de lui-même, il refuse les adresses du réseau interne et donne à chaque source une étiquette de fiabilité.

Les outils Gmail et Google Agenda n’apparaissent que pour un utilisateur qui a connecté son compte Google, et n’agissent que sur ce compte. Tout serveur MCP déclaré dans la configuration ajoute ses outils à la conversation, sans client à écrire.

Les automatisations sont des fichiers YAML rangés dans la mémoire de l’utilisateur. L’agent les rédige, mais elles restent inactives tant que l’utilisateur ne les a pas activées ; en cours d’exécution, une étape peut attendre une approbation, puis la suite reprend là où elle s’était arrêtée.

Chaque requête porte un jeton Supabase, vérifié côté serveur. À l’inscription, l’utilisateur reçoit une mémoire vierge, qu’il personnalise en répondant à cinq questions. Les tâches de nuit tournent utilisateur par utilisateur, si bien qu’une mémoire en erreur n’arrête pas les autres. Chaque appel au modèle est comptabilisé par fonction, avec son coût.