SSI-OSCAR

• [^]Re: SSI-OSCAR

  Posté par Sytoka Modon (page perso, ) le 27/11/2006 à 09:02. (lien). Évalué à 2.

  En effet, je vais régulièrement sur le site de kerrighed suite aux annonces qui avaient été faites sur linuxfr.
  
  http://www.kerrighed.org/
  
  Il est clair que le site ne changent pas. On ne peux pas dire dire que cela communique beaucoup... Bref, ca a l'air d'être un projet fermé, c'est à dire n'ayant pas de communauté autour de lui qui développerait toute l'année.
  
  Vu les annonces pasées, j'ai toujours eu l'impression que ce projet marchait à coup de stagiaires. En effet, les sorties étaient plus ou moins faites en juin - juillet, au moment de la fin des stages.
  
  Malheureusement, je ne suis pas sur qu'un projet d'une telle ampleur puisse seulement se faire à l'aide de stagiaire INRIA.
  
  Peut être que j'ai tout faux, dans ce cas là, tant mieux. C'est juste une impression.

  • [^]Re: SSI-OSCAR

    Posté par Sytoka Modon (page perso, ) le 27/11/2006 à 09:07. (lien). Évalué à 2.

    Pour ouvrir un peu le débat... OpenMosix ne bouge pas beaucoup non plus.
    
    http://openmosix.sourceforge.net/
    
    J'ai l'impression que le passage aux noyaux 2.6 à été très difficile voir fatale pour ces projets.
    
    Le seul qui semble actif est le projet OpenSSI
    
    http://openssi.org/
    
    qui fait des annonces régulières.
    
    PS : la 'com', c'est aussi important pour un projet communautaire ;-)

    • [^]Re: SSI-OSCAR

      Posté par Renaud Lottiaux () le 27/11/2006 à 11:07. (lien). Évalué à 6.

      Il est vrai que le projet Kerrighed ne communique pas beaucoup depuis quelques temps. Mais il n'est pas mort, loin de là.
      
      Les principaux développeurs du projet viennent de créer une entreprise, spin-off de l'Inria, dont l'objectif est de faire de Kerrighed un véritable produit de qualité industrielle, tout en gardant le code en open source.
      
      D'autre part, un projet Européen de grande ampleur vient de démarrer (XtreemOS). Celui-ci utilise Kerrighed comme base pour certaines parties de son infrastructure.
      
      Le portage en 2.6 n'est pas le point qui a réellement posé problème. L'année 2006 a été passée à faire un très gros travail de refactoring pour rationaliser le code, le rendre plus cohérent afin de poser les bases des futurs développements. C'est cette partie qui a demandé beaucoup de temps. Des versions devraient sortir beaucoup plus fréquemment durant l'année à venir.
      
      Nous posterons bientôt (début janvier) une news ici même pour annoncer la sortie de la prochaine version et donner plus d'informations autour de ce projet.

      • [^]Re: SSI-OSCAR

        Posté par Sytoka Modon (page perso, ) le 27/11/2006 à 11:44. (lien). Évalué à 3.

        Rien que de très bonnes nouvelles. Super.
        
        J'avoue que j'étais déçu par le peu de nouvelles. Idem pour OpenMOSIX même si je vois régulièrement Moshe Bar autour de XEN (et pour cause).
        
        D'ailleurs pour rebondir sur ce dernier point, je me dis, en complet candide, qu'il doit y avoir par mal de points (lignes de code) communs entre un projet comme Xen et un projet comme OpenMOSIX (ou Kerrighed). Je pense notament au déplacement d'une machine virtuelle d'un ordinateur à un autre automatiquement en fonction de la charge.
        
        La virtualisation et les clusters de type SMP (SSI - Single System Image) auraient-ils plus de points communs qu'on ne pourrait le penser au premier abord ?

        • [^]Re: SSI-OSCAR

          Posté par gvallee () le 28/11/2006 à 03:57. (lien). Évalué à 2.

          En fait, pour ce que j'ai pu lire du code de Xen et de OpenMOSIX, les codes sont differents. Les SSI et la virtualisation, bien que ayant des idees communes (creer des abstractions transparentes aux applications et environnements d'execution), les mises en oeuvres et les concepts sont differents la plus part du temps. Par exemple, Xen tente de tirer profit de choses telles que les technologies Intel-VT and AMD-V (virtualisation au niveau hardware) qui importe peu aux SSI (au moins jusque maintenant).
          Autre difference Xen gere la memoire a la granularite d'une machine virtuelle, pas d'un processus, ce sont donc des choses differentes (et au final plus simple a mon sens dans le cas d'une machine virtuelle).
          
          Bref, d'apres moi le seul point commun est que les deux codes sont des codes "noyau" et necessitent donc le meme genre de competences.
          
          Apres cela, je pense que beaucoup de gens font du Xen ou Xen-like parce que c'est a la mode et qu'il y a de l'argent a recuperer facilement; chose plus difficile a faire actuellement avec un SSI.

    • [^]Re: SSI-OSCAR

      Posté par RedIsDead () le 27/11/2006 à 13:38. (lien). Évalué à 1.

      Avant de poster, pourrais tu te renseigner :
      
      openMosix 2.6 est en développement actif :
      4 releases ce mois ci en pre-alpha, nouveau wiki, bientôt nouveau maintaineur, et 122 mails rien que ce mois ci, juste sur la ML dev.
      
      openSSI en revanche, hélas, ... est actif pour ... IA64 seulement :( (parceque sponsorisé par HP qui veux vendre son proc et on les comprends...) mais n'offre aucain support pour, par exemple, AMD64 (enfin, si y a une semaine ils ont "peut-être" commencé le portage ... mais rien n'est vraiement confirmé de ce côté là ...
      
      Sinon, openMosix 2.6 devrait arriver en alpha fin novembre mi decembre (a voire selon les corrections de bugs), et on espere beta (on espere j'ai dit!) fin de l'année...
      
      Voila
      
      Source: le développeur principal d'openMosix (il était un peu ennervé).

      • [^]Re: SSI-OSCAR

        Posté par Sytoka Modon (page perso, ) le 27/11/2006 à 14:09. (lien). Évalué à 3.

        Je sais bien qu'il est actif, je vais régulièrement au fin fond du site web pour y trouver des renseignement. Mais s'il faut se cliquer 5 liens depuis la page principale (j'ai pas compté)...
        
        Bref, s'il faut aller sur la ML pour savoir si le projet est actif, c'est pas bien bon. La page principale du site web est là pour rappeller les choses essentielles. Dans un développement communautaire, l'état du projet est essentiel.
        
        Donc, oui, je vais voir plus loin que cela et oui, j'ai fait exprès pour remuer les choses ;-)
        
        Ensuite, désolé d'avoir enervé une personne. Tu lui transmet toutes mes escuses.

        • [^]Re: SSI-OSCAR

          Posté par goutnet1 () le 27/11/2006 à 14:30. (lien). Évalué à 2.

          (bon, maintenant que j'ai récupé un semblant de compte Linuxfr, merci redisdead)
          
          Le site est un peu vieux certes et mériterait un coup de jeune, (je vais en discuter cette semaine avec la personne concernée), mais en général, la santé d'un projet OSS se mesure à sa ML et rarement à sa homepage.
          
          Donc comme je le disais a RedIsDead (et qui me l'a gentiement tapé), openMosix n'est pas mort loin de là. Je vous engages d'ailleurs a tester la dernière pre-alpha et a remonter des bugs (je pourrais les corriger comme ça ;) )
          
          
          le wiki :
          
          http://howto.x-tend.be/openMosixWiki/index.php/OpenMosix2.6
          
          PS: Accessible en 3 clics depuis la homepage (mais certes c'est un peu fouillis)

      • [^]Re: SSI-OSCAR

        Posté par gvallee () le 28/11/2006 à 03:59. (lien). Évalué à 1.

        Pour info HP a arrete de supporter OpenSSI, Bruce Walker et toute son equipe travaillent sur d'autres projets.

• [^]Re: SSI-OSCAR

  Posté par zero heure (Jabber id, page perso, ) le 27/11/2006 à 09:26. (lien). Évalué à 2.

  A propos, c'est difficile pour un néophyte de s'y retrouver dans ces variantes de Cluster, même si on décrypte les sigles assez vite. Par exemple, il me semble que les avantages des systèmes SSI ne sont pas qu'administratifs, mais... ? Pourquoi a-t-on tous ces "styles" de cluster (SSI, SSS, HA, etc.) ?

  --
  J'ai vu bien des choses dans ma petite vie, et je mesure amèrement l'impuissance à les dire. (JP Rosnay, Le 13ème apôtre) http://www.poesie.net/apotre2.htm

  • [^]Re: SSI-OSCAR

    Posté par Sigmatador () le 27/11/2006 à 14:25. (lien). Évalué à 4.

    Cela répondrait-il (en partie) à ta question ? :
    ftp://ftp.inria.fr/INRIA/publication/publi-pdf/RR/RR-5399.pd(...)

    • [^]Re: SSI-OSCAR

      Posté par zero heure (Jabber id, page perso, ) le 27/11/2006 à 14:52. (lien). Évalué à 1.

      c'est pas mal! merci beaucoup!
      un autre lien ?

      --
      J'ai vu bien des choses dans ma petite vie, et je mesure amèrement l'impuissance à les dire. (JP Rosnay, Le 13ème apôtre) http://www.poesie.net/apotre2.htm

      • [^]Re: SSI-OSCAR

        Posté par gvallee () le 28/11/2006 à 04:34. (lien). Évalué à 3.

        Juste la signification a propos des acronymes, cela te permettra peut-etre de trouver plus d'informations :
        - SSI : "Single System Image" ou encore "Systeme a Image Unique", l'idee generale (vraiment generale!)etant de creer l'illusion qu'un cluster est une machine multi-processeurs
        - SSS : "Scalable System Software", cette fois l'idee generale de ce projet est de se concentrer sur l'aspect grande taille de certains systemes (comment soumettre des applications sur des milliers de machines, comme administrer le systeme, etc.)
        - HA : "High Availability" ou encore "haute disponibilite", l'idee generaleest dans ce cas de tolerer les fautes materielles et logicielles pour en limiter l'impact sur l'execution des applications. C'est particulierement important pour les systemes de grande taille ou des defaillances ont lieu tous les jours.
        
        Voila j'espere que cela te sera utile. :-)

        • [^]Re: SSI-OSCAR

          Posté par zero heure (Jabber id, page perso, ) le 29/11/2006 à 21:57. (lien). Évalué à 1.

          Oui, merci pour ces généralités très pratiques!
          Par contre je ne comprends pas bien SSS. En restant dans les aproximations, sur SSI c'est le sytème qui tourne sur un multi proc, tandis qu'en SSS, c'est l'appilcations qui s'exécute en parallèle sur plusieurs ordinateurs ?

          --
          J'ai vu bien des choses dans ma petite vie, et je mesure amèrement l'impuissance à les dire. (JP Rosnay, Le 13ème apôtre) http://www.poesie.net/apotre2.htm

          • [^]Re: SSI-OSCAR

            Posté par gvallee () le 29/11/2006 à 23:15. (lien). Évalué à 2.

            Plus precisement un SSI cree l'illusion de disposer un SMP (machine unique avec plusieurs processeurs, une seule memoire) a partir d'un cluster, cela inclus entre autre creer une memoire partagee entre les noeuds du cluster par voie logicielle.
            SSS en revanche, qui n'est pas un acronyme "officiel", vise plutot a analyser et etre les fonctionnalites classiques d'un cluster, non SSI, : comment gerer sur un tres grand nombre de noeuds des applications paralleles (type MPI), un systeme de gestion de taches, etc.

    • [^]Re: SSI-OSCAR

      Posté par goutnet1 () le 27/11/2006 à 15:09. (lien). Évalué à 1.

      Ce document est assez ancien (2004), depuis openMosix à fait des progrès:
      
      par exemple, il n'est plus nécessaire de migrer un processus sur son noeud initial pour le forker ... en 2.6 (bon ok, c'est encore un peu buggé mais on y travaille).
      
      Les informations mentionnées sont pour la 2.4

Projet IGGI

• [^]Re: Projet IGGI

  Posté par gvallee () le 28/11/2006 à 18:53. (lien). Évalué à 2.

  Pour information, OSCAR propose certaines de ces fonctionnalites :
  - auto-configuration via un seul script (serveur et nodes) : il est possible avec la version actuellement en developpement d'ecrire des fichiers de configuration decrivant la grappe et ensuite d'utiliser le ligne de commande pour que tout soit fait automatiquement.
  - monitoring via ganglia : OSCAR fournit Ganglia par defaut
  - possibilité de benchmark : pour le moment on se refuse d'inclure des benchmarks car on doit faire face a la question classique de savoir comment fournir un bench optimise pour la plate-forme (question non triviale), vu que la majorite des benchmarks HPC actuels necessitent une optimisation des parametres.
  - 2 modes de duplication parrallele de nodes : OSCAR dispose de rsync classique, multicast et egalement bittorent.
  - installation en parrallele de RPM via urpmi en mode parrallele : OSCAR propose C3 et le support de yum, il est donc egalement tout a fait possible de mettre a jour des RPMs en parallele (il sera egalement possible de faire la meme chose avec C3 et apt pour la version Debian).
  - module BLCR pour checkpoint restart pour les applications LAM : disponible via HA-OSCAR (tolerance aux fautes, les puristes du HPC ne veulent pas encore, malheureusement de mecanismes de checkpoint/restart directement inclus dans OSCAR).
  - ordonanceur OAR (MAUI distribué dans OSCAR n'est plus sous licence GPL) : la derniere fois que j'ai teste OAR, c'etait tres loin de compiler sur toutes les distribs et cela manquait un peu de stabilite (c'etait il y a longtemps). OSCAR fournit egalement SGE.
  - doc complete (plus de 120 pages) : on propose la doc utilisateur et developpeur (si tu veux compter le nombre de pages, je pense qu'il y en a aussi facilement 120), je ne vois pas ce que tu reproches a OSCAR sur ce plan.
  - OSCAR supporte _deja_ le 32 et 64 bits (mais le support IA64 a ete mis un peu de cote pour OSCAR 5.0).
  
  Bref, tu denigres un peu OSCAR mais ce que tu affirmes est loin d'etre vrai. Je n'ai absolument rien contre IGGI (et presente de reels avantages), il y a de la place pour tout le monde, mais s'il te plait n'affirme pas des choses fausses sur un projets que visiblement tu ne connais pas bien.
  
  Amicalement,

  • [^]Re: Projet IGGI

    Posté par gvallee () le 28/11/2006 à 19:03. (lien). Évalué à 1.

    Je me reponds a moi meme car ce que j'ai dis sur OAR est faux, je n'ai jamais eu de probleme avec, je confondais avec un autre projet.

  • [^]Re: Projet IGGI

    Posté par guibo (page perso, ) le 28/11/2006 à 20:31. (lien). Évalué à 0.

    - auto-configuration via un seul script (serveur et nodes)
    
    L'auto-configuration par défaut dans IGGI permet de zéro, en 1heure d'installer N nodes opérationnels pour tous les services d'administration cluster (copie ou command en parrallele), installation de package, job dans le scheduler, MPI/LAM, monitoring (Ganglia,Gantt monika, wulfstat), configuration service nécessaire au cluster (dhcp, pxe, dns, ssh, nisdomain, autofs).
    
    - mode duplication parrallele : rsync classique, multicast et egalement bittorent
    
    le rsync n'est pas un mode de duplication parralle.
    Le multicast je ne connais pas la solution.
    Bittorent n'est pas un méthode de duplication parrallele.
    Quand je parle de duplication parrallele cela définit un mode de duplication qui est indépendant du nombre de nodes, qui parrallelise la copie (via un arbre de diffusion) pour installer le systeme sur tous les nodes.
    
    - possibilité de benchmark ...
    
    je suis d'accod avec toi. IGGI fournit une solution qui permet simplement d'établir soi-même quelques valeurs de référence.
    
    - installation parrallel de package: C3
    
    je ne connais pas C3, il s'agit d'une méthode de push de données en parrallel sur des nodes ? c'est intégré à yum pour optimiser la copie des packages ?
    urpmi parrallel (via ka-run) permet d'installer des RPMS sur des nodes en parrallele, et donc installer des packages sur un node, prends le même temps que de l'installer sur N nodes. Il utilise ka-tools, qui permet des performances réseaux exceptionnels (copie de 560mo sur 3 nodes en moins d'une minute)
    
    - doc OSCAR
    
    A mon sens une documentation cluster doit fournir un pas à pas qui défini quels types d'objectifs l'on vise, par quels moyens les obtenir, et présenter les fichiers de configuration nécessaires pour arriver à ses objectifs. Il n'y a pas d'exemple type d'utilisation des outils d'administration, pas de configuration type détaille pour les différents service configuré par OSCAR (PXE par exemple)....
    
    - 32 et 64 bits
    
    Dans le processus de création de IGGI, la plate-forme de devel est 32bits, et les packages sont buildés sur les 2 arch. L'ISO finale n'est qu'un build d'une ISO 64bits, tous les RPMS et l'installeur de la Mandriva build en 64bits. Obtenir une ISO 64bits n'est pas plus compliqué que d'obtenir une release 32bits.
    
    
    je n'essaie pas de dénigrer OSCAR, je suis son dévellopement depuis un certains nombres d'années, et je ne vois pas de nouvelles technologies intégrées par rapport à la version initiale. Je connais les difficultés de créer un produit multi-plateforme, multi-distribution, et je reconnais que OSCAR posséde un support multi-distribution multi-arch non négligeable.
    
    Je ne pense pas affirmer de chose fausse. Je fais un constat.
    IGGI est un ensemble, et non pas un bundle de package qui permet de transformer une distribution en un produit cluster. Cela représente un avantage non négligeable pour permettre une meilleure intégration des technologies cluster, comme le clonage en parrallele de node directement intégré comme méthode d'installation dans la distribution, et un outil d'administration de RPM déja pret à fonctionner en mode parrallele.

    • [^]Re: Projet IGGI

      Posté par gvallee () le 28/11/2006 à 21:52. (lien). Évalué à 1.

      Je connais Kadeploy et apprecie son algo pour le deploiement parallele. Par contre dire que OSCAR n'a pas evoluer depuis la version c'est un peu extremiste a mon avis. Par exemple voici quelques points qui me semblent uniques dans OSCAR :
      - abstraction des paquets binaires qui permettent de supporter par exemple simplement les RPMs et les Deb.
      - modularisation de l'architecture pour simplifier les projets tiers tels que SSI-OSCAR.
      Ensuite peut-etre que vis-a-vis de tes besoins, OSCAR n'a pas evolue, mais quels sont-ils?
      
      Permets moi egalement d'apporter quelques precisions supplementaires:
      - pour ce qui est de la doc, encore une fois je pense que tu ne connais pas assez bien le projet : OSCAR, de part son design (c'est clair lorsque l'on utilise la GUI), permet la definition du cluster etape par etape et chaque etape est documentee. Par contre, il est vrai que si l'on cherche a sortir de cette installation par defaut, ce n'est pas simple. Donc si tu voulais dire souplesse et adaptation au niveau de l'architecture du cluster, oui OSCAR est tres limite.
      - pour l'autoconfiguration, desole mais je ne vois rien sur ce point que OSCAR ne permet pas de faire.
      
      Mais encore une fois, je ne cherche pas a prouver que OSCAR est meilleur. Mais certaines choses que tu as affirme etaient incorrectes (32-64 bits, doc par exemple), je me devais de reagir. Ensuite comme je l'ai dis, et comme tu le dis toi-meme, chaque projet a ses points forts. D'ailleurs il y a quelque temps, j'avais commence a regarder comment integrer kadeploy dans OSCAR (ce qui n'a rien d'une idee stupide vu le design de OSCAR), j'avais discute avec les developpeurs du projet, etc. Malheureusement, cela n'a pas pu aboutir par manque de temps de ma part.
      D'ailleurs une partie non negligeable des developpeurs de OSCAR sont des chercheurs, OSCAR etant un simple outil que l'on utilise pour effectuer/diffuser nos projets de recherche. On est donc ouvert a toutes propositions/discussions (ce que j'avais fais a un certain moment en discutant avec les Grenoblois de OAR et Kadeploy); tu es le bienvenu pour soumettre tes idees et commentaires.
      
      Plutot que de faire des "constats" sur un site comme celui-ci on devrait peut-etre plutot essayer de discuter ensemble, avoir des briques de base communes qui nous permettrait de federer les efforts et d'avancer plus vite sur les points qui seraient plus novateurs. On a commence a faire cela avec l'equipe de Kerrighed (bon d'accord ce cas est fausse je suis un ancien de l'equipe Kerrighed) et cela a ete tres benefique pour les deux projets, je pense. Peut-etre est-il temps de faire la meme chose entre OSCAR et IGGI (vraie question ouverte)?

      • [^]Re: Projet IGGI

        Posté par guibo (page perso, ) le 28/11/2006 à 23:05. (lien). Évalué à 2.

        bon je ne vais pas reprendre tous les points pour redonner mon opinion. On va tenter de voir ce qui peut-etre fait.
        
        Je ne cherche pas non plus à prouver que IGGI est meilleure, je suis surpris que des tools qui existent depuis longtemps (le outils KA par ex) ne soit pas dans OSCAR. Ils existent depuis longtemps, les SRPM existent, Dolly et dolly+ existent aussi depuis très longtemps.
        
        La méthode d'installation KA-deploy a été intégré dans la Mandriva depuis la release 8.2. Elle a continué à etre porté dans la distribution jusqu'a la 2006.0
        (aujourdh(ui IGGI). Meme si GI (l'installeur graphique) de Mandriva n'est pas au gout de tout le monde, pas simple à mettre en place (nécessite pour etre buildé d'avoir une distribution Mandriva d'installé), il est assez simple de créer un ENV de build MDV, et d'utiliser son stage1 (vmlinuz + all.rd qui contient toutes les methodes d'installation plus tous les modules réseaux et storage) sur une autre distribution comme une Fedora pour dupliquer ce node en mode parrallele.
        
        En fait IGGI est basé sur CLIC, qui a déja 4 ans; Les solutions apportés par CLIC étaient déja intéressantes, et n'ont pas été reprise dans OSCAR, ce qui m'a surpris. Les projets tel qu'anciennement CLIC et maintenant IGGI sont des projets de recherche, d'expérimentation, qui n'ont pas lieu d'etre utilisé sur des plateforme de production. Le But et de tester des technologies pour que des projets de distribution cluster ou des bundle tel que OSCAR les utilise. La recherche et l'expérimentation ont déja été effectuée, il ne reste plus qu'a intégrer et adapter la documentation.
        
        Je connais la problématique du temps, de l'expérimentation, de la validation d'une nouvelle technologie dans une distribution ou dans un bundle de soft. OSCAR ne profite pas à mon gout des expérimentations exterieures, ce qui me fait dire que je trouve le projet stagnant.
        
        Le projet IGGI s'arrete en janvier 2007.0. Il inclut aussi une techno développée par icatis: computemode, qui permet de booter des nodes en diskless dans des plages horaires définies pour intégrer un cluster, et rendre le poste de travail au utilisateurs pendant les horaires de travail. Tout le travail des scripts d'auto-configuration est disponible sur le cvs de mandriva.
        
        Je peux proposer des idées pour OSCAR, des pistes et même aider à l'integration de package, ou technologie. Mon but n'est pas de dégnigrer OSCAR, mais de faire réagir les gens d'OSCAR (comme toi) pour qu'il améliore OSCAR en utilisant des choses validées par des projets de développement tel que IGGI. Les projets tel que IGGI doivent etre utiliser par des projets tels que OSCAR. D'ailleurs IGGI n'est sans doute pas le seul projet de recherche sur les cluster.
        
        OSCAR est un projet qui est utilisé à grande échelle, qui a une grande renomée, et qui doit regarder les solutions apportées et existantes par les autres projets.

        • [^]Re: Projet IGGI

          Posté par gvallee () le 29/11/2006 à 02:17. (lien). Évalué à 1.

          Juste une question : comment OSCAR est suppose "profiter des experimentations exterieures" si personne ne vient nous voir? Je suis vraiment surpris de voir ce type de reaction... est-on suppose connaitre tous les projets? faire seul tout le travail de veille technologique et d'integration? (oui j'en rajoute un peu)
          
          Serieusement, contactez nous (nous on a deja essaye de notre cote, pour le moment ca n'a pas donne grand chose pour diverses raisons) ; IGGI semble regrouper de bonnes idees, de bons composants. Vous connaissez les details de CLIC, Kadeploy et divers autres projets, pas nous ; mettez nous sur la piste, discutons et voyons ce que l'on peut faire. Je t'envoie un message prive pour te faire parvenir mon adresse email.