Mon résumé RSS du matin fonctionne désormais sur l'IA locale et je ne reviendrai jamais sur NotebookLM

À de rares exceptions près, je commence ma journée en parcourant une poignée de flux RSS spécifiques à mes intérêts et à mon travail. Ensuite, si l’un d’entre eux est pertinent pour un projet de travail, je le colle dans un document afin de pouvoir le référencer ultérieurement.

Gemini Notebook (anciennement NotebookLM) m'a présenté une fonctionnalité intéressante qui pourrait m'aider à parcourir ces flux RSS beaucoup plus efficacement une fois que je les ai collés, mais je ne suis généralement pas enthousiaste à l'idée d'utiliser l'IA basée sur le cloud si des alternatives existent.

J'ai donc décidé d'intégrer une IA directement dans un lecteur RSS afin de ne pas avoir besoin de copier-coller manuellement quoi que ce soit et que le tout fonctionne localement. Il ne reproduit pas la suite complète de fonctionnalités de NotebookLM, mais il reproduit mes fonctionnalités préférées.

NotebookLM est génial, mais je préfère quelque chose de local

Aucune limite, aucune intervention manuelle et aucun compromis en matière de confidentialité

Crédit : Jorge Aguilar / How-To Geek

Ma plus grande préoccupation avec n'importe lequel Le service d'IA basé sur le cloud, y compris NotebookLm, est que tout passe par les serveurs de Google. Google déclare explicitement qu'il n'entraîne pas son IA sur tout ce que vous téléchargez sur NotebookLM, sauf si vous y consentez, mais vos fichiers sont toujours traités et stockés sur le serveur.

Dans mon cas, le risque réel est minime. Je l'utilise principalement pour des recherches non sensibles et non confidentielles, mais c'est une habitude que je préfère éviter. Si je faisais quelque chose, même vaguement sensible, je l'empêcherais probablement immédiatement. D'un autre côté, je peux prendre toutes les mesures nécessaires pour sécuriser les données stockées sur mon PC.

Dans le cas spécifique des flux RSS, le manque d’automatisation était également un peu gênant. NotebookLM est manuel, il n'a pas la possibilité d'extraire des flux RSS selon un calendrier.

Enfin, il y a les contraintes liées au niveau gratuit. Les limites quotidiennes pour la génération de rapports et les questions de chat sont plafonnées et il existe un plafond de 50 sources par bloc-notes. C'est bien si je fais des recherches ciblées sur un sujet, mais cela ne fonctionne pas si je veux qu'un résumé soit parcouru dès le matin et que des mémoires soient générés spontanément tout au long de la journée. Un flux RSS peut facilement contenir plus de 50 sources différentes divisées en plusieurs catégories différentes.

En gardant ces limites à l’esprit, j’ai décidé de créer quelque chose de plus ciblé sur l’utilisation réelle que j’en faisais.

Comment ça marche ?

Pour construire cela, j'ai commencé avec trois exigences de base :

• Tout devait être local et exécuté à l'aide de modèles à poids ouvert

• Il devait être capable de générer des résumés matinaux et d'exécuter des résumés au fil de la journée.

• Il devait être capable de gérer autant de sources que je souhaitais postuler.

Plutôt que de connecter un lecteur RSS FOSS existant à une IA (cela a fonctionné, mais c'était du gaspillage), j'ai rapidement codé par ambiance une application qui gère les flux RSS de manière native. En pratique, je peux ajouter un nouveau flux RSS comme je le ferais sur n'importe quel lecteur RSS normal.

Sous le capot, l'ensemble du projet utilise Gemma 4 12B fonctionnant avec Ollama, ce qui offre un bon équilibre entre qualité et utilisation de la mémoire. Après tout, je ne veux pas que le processus soit si exigeant que mon PC soit inutilisable pendant son fonctionnement : je dois pouvoir faire autre chose simultanément.

Je m'attendais à ce que le projet nécessite un peu de dépannage pour qu'il fonctionne correctement, mais il a en fait bien fonctionné dès le départ. J'ai ajouté un flux RSS, il a fallu quelques minutes pour parcourir Gemma, puis j'ai reçu mon résumé. Après avoir manipulé l'invite pour que le ton de la sortie me plaise davantage, j'étais heureux.

Le local et le poids ouvert ont de réels compromis

Un modèle à 12 milliards de paramètres ne sera jamais un modèle frontière

Crédit : Nick Lewis / How-To Geek

Le seul véritable inconvénient est l’intelligence du modèle. Aucun modèle que vous pouvez exécuter sur du matériel grand public moyen n'en saura autant ou ne sera capable de « raisonner » aussi bien qu'un modèle frontière avec des téraoctets de VRAM à sa disposition.

En termes pratiques, le plus petit modèle que j'ai trouvé pour produire des résultats décents était celui des paramètres 7B, qui fonctionneront quantifiés dans 8 Go de mémoire. Vous pouvez même l'exécuter sur une configuration uniquement CPU, comme mon ancien nœud d'IA devenu ordinateur portable, mais ce sera terriblement lent.

Il va être intégré à mon bot Discord et à mon assistant vocal

Récemment, j'utilise un robot AI Discord et un assistant domestique AI avec qui je peux parler. Avec quelques ajustements, je pourrai combiner les projets avec le RSS Digester pour créer quelque chose de bien plus intéressant. Je pourrai l'activer et lui faire lire le briefing du matin qui a été créé pour moi, et comme le robot Discord et l'assistant vocal ont déjà la possibilité de discuter d'un fichier qu'il examine, je pourrai également poser des questions spécifiques.

Avec des réglages encore plus précis, je pourrai même lui permettre de « percer » et de me dire spontanément quelque chose dont il sait que je vais le faire. certainement veux entendre.