Grâce aux PC IA, les spécifications des ordinateurs dans tous les domaines sont sur le point d'augmenter

Points clés à retenir

• Les PC IA nécessitent une mémoire et un stockage importants pour le traitement local.
• De nouveaux ordinateurs dotés de NPU spécialisés sont nécessaires pour les fonctionnalités d'IA telles que le Copilot de Microsoft.
• 16 Go de RAM est le minimum pour les PC IA, avec 32 Go recommandés pour ceux qui se soucient des fonctionnalités IA.

L'ère du « PC IA » est arrivée et vous aurez bientôt la possibilité d'exécuter certaines fonctionnalités d'IA localement sans connexion Internet, même sur des systèmes relativement modestes. Cependant, ce que vous ne réalisez peut-être pas, c'est que malgré la présence d'accélérateurs d'IA, ces ordinateurs auront toujours besoin d'un tas de mémoire et de stockage juste pour offrir des fonctionnalités d'IA locales.

Les PC dotés d'IA ont la puissance nécessaire pour le traitement local

La fonctionnalité Copilot AI de Microsoft est l'une des principales raisons pour lesquelles une nouvelle génération d'ordinateurs dotés de NPU (Neural Processing Units) spécialisés arrive sur le marché. C'est l'une des raisons pour lesquelles les nouveaux appareils Surface Pro sont équipés de processeurs ARM Snapdragon que l'on trouve généralement dans les téléphones. À l'heure actuelle, la configuration minimale requise pour un PC Copilot AI est un NPU avec 40 TOPS (trillions d'opérations par seconde) et c'est ce que ces nouvelles puces contiennent à l'intérieur.

Il existe de nombreuses raisons de vouloir des fonctionnalités d’IA locales. C'est rapide, vous n'êtes pas en concurrence pour les ressources avec d'autres utilisateurs et vous n'avez pas à payer au-delà du coût du matériel. Donner à votre ordinateur portable l’intelligence de quelque chose sur le même continuum que ChatGPT et ses contemporains est vraiment passionnant !

Même les « petits » LLM sont énormes

Le problème est que ces « modèles » d’IA sont assez volumineux. Les LLM (Large Language Models) les plus petits et les plus efficaces peuvent nécessiter 1 à 3 Go de mémoire, sans pour autant être très intelligents. Au fur et à mesure que le modèle gagne en paramètres et devient plus performant, il a besoin de plus d’espace. Les LLM ultra-intelligents auxquels vous accédez via le Web peuvent atteindre des centaines de gigaoctets de RAM en ce qui concerne la taille de leurs modèles. Avec des centaines de milliards, voire plus d’un trillion de paramètres dans certains cas, ces modèles d’IA ne sont pas faits pour fonctionner sur de petits ordinateurs portables de pacotille !

Ensuite, nous avons des LLM suffisamment petits pour fonctionner sur un smartphone, comme phi-3-mini qui pèse 2,4 Go. Cela correspond davantage à ce qui va réellement fonctionner sur ces ordinateurs portables IA, même si ce n'est probablement pas aussi anémique !

Les modèles doivent vivre dans la RAM

Même si le fait qu'un modèle d'IA occupe quelques Go d'espace peut ne pas sembler très grave, vous devez comprendre que l'ensemble du modèle doit être en RAM pour que la technologie fonctionne avec de bonnes performances. Ces NPU sont des processeurs parallèles spécialisés, qui traitent les chiffres sur ces réseaux neuronaux virtuels. avec des milliards de « paramètres » en même temps.

Si le modèle n'est pas en RAM, le NPU ne peut pas être alimenté assez rapidement pour vous donner des résultats assez rapidement. Cela aurait un impact sur la vitesse à laquelle un LLM répond, ou sur des fonctions telles que la traduction en temps réel ou la génération d'images. Donc, si vous voulez que les fonctionnalités d'IA soient disponibles en appuyant sur un bouton ou en parlant simplement à votre ordinateur, le modèle doit essentiellement réserver autant de RAM qu'il en a besoin.

Certes, ces nouveaux PC disposent tous de SSD ultra-rapides qui peuvent échanger des données dans et hors de la RAM rapidement, mais mis à part l'usure supplémentaire que représente votre SSD, il n'est toujours pas assez rapide pour que tout fonctionne correctement. et n'oubliez pas que vous souhaitez toujours exécuter toutes vos autres applications en même temps ! Si votre PC devait vider votre navigateur et d'autres applications de la RAM vers le disque à chaque fois que vous vouliez que l'IA fasse quelque chose, ce ne serait pas une expérience formidable.

16 Go est le minimum absolu

Alors que 8 Go de RAM conviennent parfaitement à un ordinateur de bureau ou à un ordinateur portable moderne utilisé pour la productivité générale et la consommation multimédia, les ordinateurs Windows dotés de fonctionnalités d'IA ne pourraient tout simplement pas s'en sortir avec ce peu d'espace. C'est pourquoi Microsoft a fait de 16 Go de RAM le minimum absolu pour les PC Copilot.

Bien que ce soit une quantité saine pour un PC normal sans IA, j'ai le sentiment que pour les PC exécutant en permanence des assistants IA locaux en arrière-plan, cela ressemblera davantage à un PC de 8 Go plus IA, à moins que vous ne désactiviez la partie IA du équation.

Certains PC IA n'auront pas de RAM évolutive

Si votre nouveau PC Windows AI utilise un système sur puce intégré ou si sa RAM est soudée en permanence, comme c'est le cas de nombreux ordinateurs portables fins et légers, vous serez alors coincé avec la quantité de RAM fournie par le système. avec. Ce qui signifie que vous devez obtenir la quantité de RAM dont vous avez besoin dès le début, sinon vous aurez besoin d'un tout nouvel ordinateur s'il s'avère que vous avez mal fait vos calculs.

Il y a quelque temps, j'ai regardé si 32 Go de RAM n'était pas la quantité à viser, et ma conclusion était que cette quantité de mémoire était encore excessive pour l'utilisateur moyen. Cependant, en gardant à l’esprit les futures tailles de modèles d’IA, je pense que 32 Go devraient être ce que toute personne soucieuse de ces fonctionnalités d’IA devrait viser.

Si vous vous souciez de l'IA, obtenez plus de mémoire

Que vous vous souciez des fonctionnalités de l'IA locale est, bien sûr, ce qui compte réellement ici. Si ce n’est pas le cas, c’est formidable que ces PC Copilot poussent le minimum de RAM à 16 Go. Désactivez ou ignorez simplement la partie IA de l’équation et tout ira bien. En fait, à moins que vous n’ayez une raison alternative impérieuse, ignorez complètement ces PC IA et restez fidèle à une option plus traditionnelle.

Si, d'un autre côté, vous êtes enthousiasmé par les fonctionnalités d'IA locale et voyez de nombreuses façons d'utiliser ces outils à l'avenir, ne vous contentez pas du strict minimum requis, à moins que vous n'ayez la possibilité d'ajouter plus de RAM plus tard.