L’exceptionnel espace architectural qui accueille aujourd’hui Passerelle a été construit entre 1946 et 1955 pour le compte d’une société coopérative, L’Alliance des Travailleurs. Dès 1956, cette société a fusionné avec La Léonarde, entreprise d’alimentation générale qui possédait de nombreux comptoirs de distributions dans le Nord-Finistère. En 1960, les locaux de la rue Charles Berthelot sont revendus à un grossiste en fruits et légumes qui y installe son dépôt jusqu’en juin 1972. De nombreux aménagements seront effectués à cette époque, notamment pour la conservation des fruits et des légumes. Au cours des années suivantes, le bâtiment sera loué à diverses entreprises spécialisées en vente de meubles, parmi lesquelles l’enseigne BUT. Le 05 septembre 1989, cet ancien entrepôt désaffecté est acheté par la toute jeune association Passerelle (créée en 1988 dans ce but et représentée par Serge Tanguy, son président-fondateur) pour y développer un ambitieux projet artistique.

Passerelle, comme son nom l’indique, veut jeter des ponts entre les disciplines les plus diverses : cinéma, arts plastiques, vidéo, danse, théâtre, musique. Des particuliers-artistes, des associations qui cherchaient des salles et ateliers s’organisent, en marge du Centre culturel Le Quartz, nouvellement reconstruit sur les cendres du Palais des arts et de la culture (entièrement détruit par un incendie en 1981). Mais, en 1991, faute de moyens, l’association signe une convention de mise à disposition du lieu avec la Ville de Brest. Cette dernière intègre le bâtiment du 41, rue Charles Berthelot dans son Patrimoine Communal et, consciente des besoins éducatifs et culturels de la population, confie la gestion de ses locaux à l’association Passerelle dans le but de développer la création et la diffusion de l’art contemporain.

Depuis plus de 30 ans, l’association Passerelle fait vivre le lieu, en organisant des expositions et de nombreux événements, des concerts (du rock à la musique improvisée), des expériences théâtrales et chorégraphiques, etc. en collaboration avec différentes structures culturelles locales, nationales et internationales. S’appuyant sur ce qu’elle donne à voir, Passerelle favorise son rôle pédagogique en accueillant le jeune public (scolaires et péri-scolaires), les étudiants, les publics adultes, et  en favorisant les échanges avec les différents partenaires.

En 2018, Passerelle a été le premier centre d'art à être labellisé «Centre d'art contemporain d'intérêt national» par le ministère de la Culture, devenant ainsi un des lieux de référence en France en termes de production et de diffusion de l’art contemporain.

Passerelle Centre d'art contemporain bénéficie du soutien de la Ville de Brest, Brest métropole, le Conseil départemental du Finistère, la région Bretagne, le ministère de la Culture/DRAC Bretagne.

Suravenir, filiale du Crédit Mutuel ARKEA, soutient le programme Les Chantiers-Résidence.

Passerelle Centre d'art contemporain a reçu le soutien du ministère de la Culture/Drac Bretagne dans le cadre du plan de relance 2021.