El poble es troba a uns 2 km. de la costa i no es visible des del mar. Aquesta situació es dona en moltes altres poblacions costaneres d’arreu de Catalunya que així es protegien dels atacs de la pirateria.
Els primers documents que parlen de la Selva són del s.X, i fan referència a l’Església de Sant Esteve de Mata (actualment Sant Sebastià). No parla de que fos un poblat, però segurament era un conjunt de masos escampats. L’església i la vall pertanyien al proper monestir de Sant Pere de Rodes. L’any 974 consta que el compte d’Empúries-Rosselló, anomenat Goufred, donà al monestir l’església de Sant Esteve.
La costa del Mediterrani va ser assetjada durant molts segles pels pirates i la població en va patir diferents atacs, per aquest motiu, s’hi van construir torres de defensa. L’any 1397 es demanava fortificar l’església de Sant Esteve de Mata pels constants atacs dels pirates i sarraïns.
A les darreries del s.XVI es va construir l’església situada a la plaça del Camp de l’Obra i partir de l’any 1565 comencen a aparèixer actes de naixement on no s’especifica si els primers inscrits van ser batejats a l’antiga capella o a la nova església.
A finals del s.XVIII la població de la Selva de Mar va patir una baixada de la població després de la firma de la Carta Magna l’any 1787, que va significar la separació entre aquesta i el Port de la Selva. Aquesta segregació també va significar d’una gran part del terme, incloent Sant Pere de Rodes.
Posteriorment, el desgavell de la Guerra Civil i la postguerra, les plagues i la glaçada del 1956, van suposar un repte per la població. A partir de la dècada dels seixanta, amb l’auge del turisme, hi ha una certa recuperació econòmica però no demogràfica, fins a dia d’avui.