С самого начала компьютерной эры существовала необходимость во все более и более производительных системах. В основном это достигалось в результате эволюции технологий производства компьютеров. Наряду с этим имели место попытки использовать несколько процессоров в одной вычислительной системе в расчете на то, что будет достигнуто соответствующее увеличение производительности. Первой такой попыткой, осуществленной в начале 70-х годов, является ILLIAC IV. Сейчас имеется масса параллельных компьютеров и проектов их реализации.
Архитектуры параллельных компьютеров могут значительно отличаться друг от друга. Рассмотрим некоторые существенные понятия и компоненты параллельных компьютеров. Параллельные компьютеры состоят из трех основных компонент: процессоры, модули памяти, и коммутирующая сеть. Можно рассмотреть и более изощренное разбиение параллельного компьютер на компоненты, однако, данные три компоненты лучше всего отличают один параллельный компьютер от другого.
Коммутирующая сеть соединяет процессоры друг с другом и иногда также с модулями памяти. Процессоры, используемые в параллельных компьютерах, обычно точно такие же, что и процессоры однопроцессорных систем, хотя современная технология, позволяет разместить на микросхеме не только один процессор. На микросхеме вместе с процессором могут быть расположены те компоненты или их составляющие, которые дают наибольший эффект при параллельных вычислениях. Например, микросхема транспьютера наряду с 32-разрядным микропроцессором и 64-разрядным сопроцессором плавающей арифметики содержит внутри кристальное ОЗУ емкостью 4Кбайт, 32-разрядную шину памяти, позволяющую адресовать до 4Гбайт внешней по отношению к кристаллу памяти, четыре последовательных двунаправленных линии связи, обеспечивающих взаимодействие транспьютера с внешним миром и работающих параллельно с ЦПУ, интерфейс внешних событий.
Одним из свойств различающих параллельные компьютеры является число возможных потоков команд. Различают следующие архитектуры:
Другим свойством, различающим параллельные компьютеры, является способ доступа к модулям памяти, то есть имеет ли каждый процессор локальную память и обращается к другим блокам памяти, используя коммутирующую сеть, или коммутирующая сеть соединяет все процессоры с общей памятью. Исходя из способа доступа к памяти, различают следующие (довольно условные) типы параллельных (MIMD) архитектур:
Отметим два класса компьютерных систем, которые иногда используются как параллельные компьютеры:
Хотя системы этого сорта вводят дополнительные свойства, такие как надежность и защита, во многих случаях они могут рассматриваться как MIMD компьютеры, хотя и с высокой стоимостью удаленного доступа.