Los equipos MPP especializados suelen ser grandes y costosos. Como se trata de productos enfocados a un mercado sumamente especializado, es poco probable que esta tendencia se modifique, ya que como todo producto de nicho, los fabricantes de estos equipos deben mantener un costo elevado para contar con un margen de ganancia que permita justificar la venta de pocos equipos, así como financiar investigación y desarrollo para tecnologías futuras.
Fuera de estos mercados especializados, la tendencia en el ámbito de la computación es de avances espectaculares y reducciones de precio constantes. Gracias a este avance, y como es conocido ampliamente, las computadoras personales actuales, con precios que en ocasiones son menores a mil dólares, tienen más capacidad que las supercomputadoras que hace 20 años se consideraban las más poderosas del mundo, con un costo de varios millones de dólares.
El concepto del cómputo distribuido deriva directamente de la proliferación de computadoras relativamente potentes y de bajo costo, así como del advenimiento de la tecnología de redes de área local, que permite interconectar varios equipos independientes e intercambiar datos entre ellos.
Al hacerse más comunes estas tecnologías, y proliferar el tipo de instalaciones donde se tienen varias estaciones de trabajo comunicándose a través de una red de área local, rápidamente se cayó en cuenta que esta configuración corresponde, a nivel básico, a la de un equipo de procesamiento paralelo.
De esta manera, y a mediados de la década de los 80, se comenzó a manejar el concepto de cómputo distribuido. Este concepto contempla la resolución de algún problema complejo, empleando varios equipos de cómputo independientes, que se comunican y cooperan para la resolución del problema, utilizando una red de área local que los interconecta. Este esquema resulta familiar pues es la estructura más básica de una máquina MPP, aunque las configuraciones empleadas en cómputo distribuido presentan una serie de diferencias, ventajas y desventajas frente a equipos MPP propiamente dichos.
Un grupo de computadoras interconectadas y que cooperan entre sí para realizar una tarea común, suele llamarse un cluster (racimo).
Conviene mencionar que el hecho de formar un cluster suele tener dos objetivos: el primero es lograr alta disponibilidad, y el segundo es tener alto rendimiento.
Un cluster de alta disponibilidad busca proporcionar un servicio de la manera más confiable posible. En esta configuración, uno o más equipos del cluster proporcionan el servicio, mientras que los demás funcionan como ``respaldo''. Normalmente efectúan ``espejeo'' (mirroring) de la información en los equipos de servicio, a fin de mantener una copia actualizada de dicha información. Si alguno de los equipos de servicio llega a fallar, el equipo de respaldo entra en su lugar, de esta manera logrando que el servicio no sea interrumpido.
El cluster de alto rendimiento busca la resolución de un problema, por medio de la cooperación entre los equipos que lo componen, en el menor tiempo posible. En este sentido es diferente al cluster de alta disponibilidad pues se busca que todos los equipos estén realizando alguna tarea componente de la solución al problema, y comunicándose con los demás nodos.
Los primeros proyectos para utilizar este tipo de configuración en cómputo de alto rendimiento se enfocaron a la explotación de recursos existentes, como estaciones de trabajo empleadas para diseño y cálculos de manera independiente, y las redes de área local que las interconectaban. Fue en estos primeros ambientes de cómputo distribuido heterogéneo que surgieron proyectos como PVM, que inicialmente fue producto de un proyecto de investigación sobre la utilización de esos recursos de cómputo no utilizados. Así pues, los primeros clusters, si bien ya pueden identificarse claramente como tales, se conocieron inicialmente como NOWs (Network Of Workstations).