[Previo por Fecha] [Siguiente por Fecha] [Previo por Hilo] [Siguiente por Hilo]

[Hilos de Discusión] [Fecha] [Tema] [Autor]

Re: [Sop.Tec.LinuxPPP] Cluster

Creo que es importantisimo hacer algunas presiciones al respecto de este
tema, en estricto sentido: una cosa es Multiprocesamiento Simétrico Paralelo
(SMP) que ese se hace a fuerzas en una misma máquina y otra cosa es
Procesamiento Paralelo, que es lo que se puede hacer en los clusters, en el
tema de los clusters no he visto mucho que se utilice la palabra
"Multiprocesamiento" porque de hecho no todos los procesos se lanzan en
todos los nodos del cluster, de forma que cada máquina es independiente de
las otras, usualmente se lanza un solo proceso en muchas máquinas.

Los clusters solamente sirven cuando es un proceso que está de alguna forma
"Paralelizado" ya sea con threads o con segmentación del universo de datos
(Data universe segmentation), en la vida real hay problemas o modelos que
son paralelizables y modelos que no son paralelizables (el caso del Failover
es un caso especial que abajo lo platico).

Esto nos conduce a que dependiendo de el problema específico a resolver se
decide la tecnología a usar y apartir de ahí se escribe el programa.

Básicamente existen 3 formas de hacer "Clusters" o cúmulos de computadoras
que se repartan tareas en alguna medida:


1.- La tecnología de Donald Becker de la NASA que se llama Beowulf (en esa
se incluyen las bibliotecas de paso de mensajes MPI) que está basada en que
los procesadores avisen cuando ya terminaron un thread, ésta tecnología es
la mas famosa, pero a fuerzas necesita ejecutar programas (procesos)
paralelizados, programados o compilados paralelos. Incluso existen algunos
compiladores (Fortran por ejemplo) que pueden producir codigo paralelizado
hasta cierto punto.

 Esta tecnología es óptima por ejemplo para procesamiento numérico masivo,
p.ej programas de simulación o econometría.

 Esta es la tecnología que se uso Digital Domain para TITANIC que desde mi
punto de vista no es óptima, ya que el paso de mensajes mismo ocupa tiempo
de procesador y el chiste es que sean pocos los pasos de mensajes, Pixar usa
una tecnología mas parecida a Mosix con la que hicieron, por ejemplo Toy
Story.


2.- La tecnología de Amnon Barak de la Universidad de Jerusalem que se llama
Mosix (que se puede definir como un Agente de movilidad) y se basa en
descubrir el nivel de ocupación de cada uno de los procesadores que están
registrados en el cúmulo y que el nodo central asigne procesos a cada uno de
los nodos esclavos en la medida que estén desocupados para "balancear" la
ocupación de cada uno de los nodos.

 Esta es una tecnología óptima para procesos en donde ya tienes el universo
completo de datos a procesar y puedes segmentar ese universo, p.ej el SETI o
procesos en los que a lo mejor no existen datos apriori, pero en donde
puedes acotar perfectamente cada proceso que se lanza p.ej un servidor de
bases de datos muy escalable.


3.- Las tecnologías de Failover o Round Robin, que es la tecnología mas
básica y sencilla, conciste únicamente en repartir la carga del cúmulo
disparando procesos en la medida que se requieren en las maquinas que en ese
momento estén activadas o reconocidas por el cúmulo, a mi se me hace que los
primeros que hablaron de esta idea y la implementaron fueron las gentes de
el ISC (Internet Software Consortium) autores por ejemplo del BIND (servidor
de nombres).

 Esta es la tecnología preferida para el Web, porque está especialmente
diseñada para resolver los temas de alta disponibilidad que están empezando
a ser un factor importante en los sitios grandes en el internet, por ejemplo
Yahoo, Google, Altavista, el IFE, en este caso todas las máquinas en el
cúmulo tiene una copia del proceso a ejecutar.



Beowulf y Mosix tienen un problema: que es que llega un punto que el paso de
mensajes y/o los mensajes de estatus son muchos por lo que la contribución
al rendimiento del cúmulo al agregar otra máquina es marginal, esto se
resuelve haciendo clusters de clusters, pero eso a la vez genera otro tipo
de problemas.

Por eso es que todavía llega un momento o hay un punto en la solución de
problemas en la vida real en el que se justifica el uso de una
supercomputadora, la cual si hace Multiprocesamiento Simétrico Paralelo
(SMP) masivamente.





Daniel De La Luz Daniel escribió:
> 
>    Esto suena interesante donde puedo encontrar que requerimientos de equipo
> necesita para hacer eso, ya que solo tengo las motherbord, procesador y
> memoria. Necesito un disco duro por maquina y flopy o que.
> 
> Gracias.
> 
> >From: "L.I. Francisco Ortega" <fortega en secver gob mx>
> >Reply-To: linux en pepe net mx
> >To: <linux en pepe net mx>
> >Subject: RE: [Sop.Tec.LinuxPPP] Cluster
> >Date: Fri, 7 Jul 2000 14:31:35 -0600
> >
> >No precisamente, tu puedes tener varias maquinas conectadas las cuales
> >procesan la misma tarea, aunque no se encuentren fisicamente en el mismo
> >Motherboard.
> >
> >----- Original Message -----
> >From: Daniel De La Luz Daniel <daniel_luz en hotmail com>
> >To: <linux en pepe net mx>
> >Sent: Friday, July 07, 2000 10:53 AM
> >Subject: RE: [Sop.Tec.LinuxPPP] Cluster
> >
> >
> > >
> > >    Segun yo para un Multiprocesamiento en paralelo deben des estar los
> > > procesadores en la misma motherboard o no ?, y me gustaria aprender a
> >hacer
> > > de los dos para ver sus ventasjas y desventajas.
> > >
> > > Gracias.
> > >
> > > >From: "L.I. Francisco Ortega" <fortega en secver gob mx>
> > > >Reply-To: linux en pepe net mx
> > > >To: <linux en pepe net mx>
> > > >Subject: RE: [Sop.Tec.LinuxPPP] Cluster
> > > >Date: Thu, 6 Jul 2000 14:33:23 -0600
> > > >
> > > >Quieres hacer un Cluster o queires hacer Multiprocesamiento en paralelo
> > > >????
> > > >
> > > >----- Original Message -----
> > > >From: Daniel De La Luz Daniel <daniel_luz en hotmail com>
> > > >To: <linux en pepe net mx>
> > > >Sent: Thursday, July 06, 2000 12:25 PM
> > > >Subject: Re: [Sop.Tec.LinuxPPP] Cluster
> > > >
> > > >
> > > > >    Oigan no se si podrian tomar notas y ponerlas en la lista o
> >alguna
> > > > > pagina, para la gente que vive fuera del DF.
> > > > >
> > > > >    Ya que en mi empresa acabamos de actualizar alguans maquinas y
> >tengo
> > > >la
> > > > > idea de hacer un cluster con estas motherboards.
> > > > >
> > > > >    Si se pude.
> > > > >
> > > > > Gracias.
> > > > >
> > > > > >From: José Neif Jury Fabre <pepe en pepe net mx>
> > > > > >Reply-To: linux en pepe net mx
> > > > > >To: linux en pepe net mx
> > > > > >Subject: Re: [Sop.Tec.LinuxPPP] Cluster
> > > > > >Date: Wed, 05 Jul 2000 15:40:34 -0500
> > > > > >
> > > > > >"Jorge Luis Vázquez Aguirre" escribió:
> > > > > > >
> > > > > > > On Wed, 5 Jul 2000, Cid Jimenez Govea wrote:
> > > > > > >
> > > > > > > > P.D. También tengo instalaciones con espacio suficiente para
> >poder
> > > > > > > > organizar algo interesante el problema es que me ubico en
> >Toluca
> >y
> > > >en
> > > > > > > > ocasiones es un problema trasladarse aun que para este tipo de
> > > >cosas
> > > > > > > > no es un factor fundamental.
> > > > > > >
> > > > > > > O si no, podemos ponernos de acuerdo y que sea en Toluca.
> > > > > > > Que has pensado al respecto Pepe?
> > > > > > > Gracias
> > > > > >
> > > > > >Estoy organizando a los Gurús de Clusters, la reunion muy
> >probablemente
> > > > > >sería en el auditorio de Ciencias Nucleares de la UNAM, porque para
> > > >algunos
> > > > > >de los Gurús invitados creo que trasladarse a Toluca sería
> >complicado.
> > > > > >
> > > > > >
> > > > > >
> > > > > >--
> > > > > >    José Neif Jury Fabre
> > > > > >      pepe en pepe net mx
> > > > > >http://linuxppp.com/~pepeneif
> > > > > >
> > > > > >"Contrary to popular opinion, Unix is user friendly,
> > > > > >  It just happens to be very selective about who it
> > > > > >  makes friends with."
> > > > >
> > >---------------------------------------------------------------------
> > > > > >Lista de soporte de LinuxPPP
> > > > > >  Reglas de la lista en http://pepe.net.mx/reglas.html
> > > > >
> > > > >
> >________________________________________________________________________
> > > > > Get Your Private, Free E-mail from MSN Hotmail at
> >http://www.hotmail.com
> > > > >
> > > > >
> >---------------------------------------------------------------------
> > > > > Lista de soporte de LinuxPPP
> > > > >  Reglas de la lista en http://pepe.net.mx/reglas.html
> > > > >
> > > >
> > > >---------------------------------------------------------------------
> > > >Lista de soporte de LinuxPPP
> > > >  Reglas de la lista en http://pepe.net.mx/reglas.html
> > >
> > > ________________________________________________________________________
> > > Get Your Private, Free E-mail from MSN Hotmail at http://www.hotmail.com
> > >
> > > ---------------------------------------------------------------------
> > > Lista de soporte de LinuxPPP
> > >  Reglas de la lista en http://pepe.net.mx/reglas.html
> > >
> >
> >---------------------------------------------------------------------
> >Lista de soporte de LinuxPPP
> >  Reglas de la lista en http://pepe.net.mx/reglas.html
> 
> ________________________________________________________________________
> Get Your Private, Free E-mail from MSN Hotmail at http://www.hotmail.com
> 
> ---------------------------------------------------------------------
> Lista de soporte de LinuxPPP
>  Reglas de la lista en http://pepe.net.mx/reglas.html

-- 
   José Neif Jury Fabre
     pepe en pepe net mx
http://linuxppp.com/~pepeneif

"Contrary to popular opinion, Unix is user friendly, 
 It just happens to be very selective about who it 
 makes friends with."
---------------------------------------------------------------------
Lista de soporte de LinuxPPP
 Reglas de la lista en http://pepe.net.mx/reglas.html
[Hilos de Discusión] [Fecha] [Tema] [Autor]