Retour au feed
DevOps85

GPU Job Scheduler

A Simple GPU Job Scheduler

Hacker Newspar mothproof27 septembre 2026▲ 20 commentaires

Discussion Hacker Newsceruleane/gpusched★ 0
Capture du projet

Résumé

L'auteur a créé un système simple de gestion de tâches de formation de modèles de machine learning sur GPU, pour éviter les problèmes de mémoire et optimiser l'utilisation des ressources. Le système est conçu pour être utilisé par des agents IA pour allouer dynamiquement les ressources et former des modèles de manière autonome.

Pourquoi c’est intéressant

Ce projet est intéressant car il propose une solution simple et efficace pour gérer les ressources de calcul pour la formation de modèles de machine learning, et il intègre des agents IA pour optimiser l'utilisation des ressources.

Comment Claude est utilisé

Claude a aidé l'auteur à écrire la majorité du code du projet, mais l'auteur a vérifié que le code fonctionne comme décrit.

Idées dérivées

  1. 01

    Système de gestion de ressources de calcul

    Créer un système de gestion de ressources de calcul pour les projets de machine learning, en intégrant des agents IA pour optimiser l'utilisation des ressources.

  2. 02

    Outil d'automatisation pour la formation de modèles

    Développer un outil d'automatisation pour la formation de modèles de deep learning, en utilisant des agents IA pour sélectionner les hyperparamètres et optimiser les performances.

  3. 03

    Système de gestion de cluster de machines

    Concevoir un système de gestion de cluster de machines pour la formation de modèles de machine learning, en utilisant des agents IA pour gérer les ressources et optimiser les performances.

Afficher le post original
Hi guys,A few months ago, I've been training several simple models as a side hobby. I tried training N models at once on a single GPU, but OOM spikes kept crashing my runs. So I built my own simple way to manage this kind of training. At the time, I also wanted to make some sort of interface that AI agents could use to dynamically allocate GPU resources and train models on their own. It's been quite fun working on this, so I wanted to share it in case any of you are looking for something similar. Claude helped me write most of the code, but I've made sure that the stuff works as described (I've used this exact repo for my own training runs).Hope you like it!