Les calcaires sont des roches contenant du calcium, elles ont souvent une teinte grisâtre provenant de la matière organique (carbone), la dolomie quant à elle contient du magnésium qui peut lui donner une teinte beigeâtre à chamois. À Percé, la formation de Forillon se présente sous forme de calcaire à grains fins, grisâtre à rougeâtre. La base de la formation contient des interlits cherteux, de mudstone calcareuxet de calcaires silteux. Le sommet de la séquence est composé quant à lui de calcaires qui sont parfois dolomitiques ou siliceux.Toujours à Percé (Coin-du-Banc), cette unité affleure à la rivière du Portage, elle y est en contact de faille avec la formation de White Head (440 Ma), mais aussi en contact concordant avec la formation de Indian Point (415 Ma). Ces deux dernières unités affleurent également au cap du Mont Joli et à la Côte Surprise où se trouve le Cap Blanc.
Le Rocher Percé est relié au cap du Mont Joli par un tombolo, un terme géomorphologique décrivant un cordon sédimentaire reliant une île et la côte, mais qui peut aussi relier une île à une autre.
Contrairementà ce que l’on pourrait croire, le rocher n'appartient pas à la même formation que le cap du Mont Joli, ce dernier est plus vieux. Le rocher a plutôt la même composition que le Cap Barré et les Trois-Soeurs. Ces caps rocheux et géosites appartiennent à laformation de Forillon et sont séparés du Rocher par une faille majeure de décrochement dextre à composante inverse et parl’érosion. Aux environs de Gaspé, cette formation a une épaisseurde plusieurs centaines de mètres.
La formation de Forillon contient plusieurs fossiles, les plus abondantssont les brachiopodes et les trilobites. Ces trilobites appartiennentà l’ordre des Phacopida.
Lors de son passage à Percé en 1603, Samuel de Champlain fait mention du Rocher Percé dans ses écrits, celui-ci est alors connu sous le nom de l’Île Percée. Il fait aussi mention du tombolo qui relie le Rocher au cap du Mont Joli.
Les Calcaires de Gaspé ont d’abord été décrits par Sir William Logan et son collègue Alexander Murray au milieu des années 1800.