Gràcies a les troballes de restes arqueològiques als voltants de la Serra de Rodes, ens podem formular la hipòtesi que des de l’època de l’edat de Bronze ja existien restes d’una cultura megalítica, es a dir, la de les tombes on s’utilitzaven grans llosses de pedra, com els dòlmens, menhirs, etc.
Més endavant hi va haver presència ibèrica, grega i romana que estava sota la influència d’Empúries.
Pel que fa a documents escrits, el primer on es en fa esment de la població és a l’any 974 en l’acta de donació escrita pel compte Gaufred d’Empúries-Rosselló i el seu fill Sunyer, bisbe de l’església de Sant Sebastià -abans amb l’advocació de Sant Esteve- i la reserva privilegiada d’aquest, anomenada la Selva de Sant Romà al monestir de Sant Pere de Rodes.
El poble es troba a uns 2 km de la costa i no és visible des del mar. Aquesta situació es dona en moltes altres poblacions costaneres d’arreu de Catalunya que així es protegien dels atacs de la pirateria.
La costa del Mediterrani va ser assetjada durant molts segles pels pirates i la població en va patir diferents atacs, per aquest motiu, s’hi van construir torres de defensa. Per això l’any 1397 els habitants demanaven a l’abat de Sant Pere de Rodes fortificar l’església de Sant Esteve de Mata pels constants atacs dels pirates.
També cal mencionar el castell de Sant Salvador o de Verdera, situat al cim de la muntanya de Verdera, a uns 686m, on en el llibre “El Valle de Matta y su comarca” d’Antoni Cortada i Quintana, escrit des de Sant Juan de Puerto-Rico l’any 1913, on hi esmenta que sota la construcció medieval, hi ha una petita paret encara més antiga, on probablement, en aquell assentament els grecs hi van edificar un temple dedicat a la deessa “Diana Pirenaica” més tard seria dedicat pels romans a la deessa Venus.
Mig destruït i molt malmès pel deteriorament i malmès per les nombroses invasions que a patit finalment la zona i el posterior enderrocament l’any 1798 per odre del duc de Noailles en la guerra de Successió. Avui a dia està a l’espera d’unes excavacions arqueològiques per poder confirmar aquestes teories.
A la Selva de Mar, a les darreries del s. XVI es va construir l’església situada a la plaça del Camp de l’Obra i a partir de l’any 1565 comencen a aparèixer actes de naixement on no s’especifica si els primers inscrits van ser batejats a l’antiga capella o a la nova església. També durant aquest segle, s’hi van construir les torres de defensa per garantir la protecció dels habitants.
A finals del s. XVIII la població va patir una baixada demogràfica després de la firma de la Carta Magna l’any 1787, que va significar la separació entre aquesta i el Port de la Selva. Aquesta segregació també va significar la pèrdua d’una gran part del terme, incloent-hi Sant Pere de Rodes.
Posteriorment, a finals de la Guerra Civil es va dinamitar l’església de Sant Esteve, ja que era on guardaven les armes i munició, causant l’enderrocament de la façana, cremant el taulell, els pergamins i documents històrics que hi havia emmagatzemats.
El desgavell de la Guerra Civil, la postguerra, les plagues i la glaçada del 1956, van suposar un repte per la població.
A partir de la dècada dels seixanta, amb l’auge del turisme, hi ha una certa recuperació econòmica però no demogràfica, fins a l’actualitat.