Es wird vermutet, daß der Kirchturm der Alten Kirche in Rulfingen, als eine Art Wehrturm, im 15. Jahrhundert im spätgotischen Stil entstanden ist. Der Kirchenpatron der alten Ulrichskapelle ist der heilige Bischof Ulrich von Augsburg. Sein Wappentier war der Fisch, der noch heute Teil des Rulfinger Ortswappens ist.
Ende 13., Anfang 14. Jahrhundert war das Einkommen eines Pfarrers in Rulfingen so gering, daß er davon nicht leben konnte. Die Pfarrei wurde aufgehoben und die Kirche in Rulfingen besaß nur noch den Status einer Kapelle.
1347 wurde die Pfarrei dem Kloster Mengen angegliedert und die Wilhelmiter und später die Benediktiner versahen die pastoralen Kirchendienste in Rulfingen, bis 1770 wieder ein Pfarrer, Franz-Anton Lacher aus Mengen, nach Rulfingen kam. Franz-Anton Lacher erfror am 23. Januar 1779 auf dem Weg von Rulfingen nach Mengen.
Noch während die Benediktiner die Kirche betreuten, Mitte des 18. Jahrhunderts wurde die alte St. Ulrichskapelle abgebrochen, nur der Turm blieb stehen und 1759 errichteten die Baumeister der Sigmaringer Stadtpfarrkirche Ilg aus Dornbirn und Stoffler den Bau der heutigen Kirche im barocken Stil. Die Stuckdecke soll laut M. Schimmelfennig von dem Stuckateur Johann Jakob Schwarzmann stammen.
Seit dem 19. April 1810 hat Rulfingen einen eigenen Friedhof. 1825 wurde die selbstständige Pfarrei Rulfingen errichtet und seitdem gehört die Pfarrei Rulfingen zur Erzdiözese Freiburg im Breisgau.
Das Jahr 1846 brachte die Innenrenovation der Kirche: Der Hochaltar wurde neu gefaßt, ein neuer Tabernakel eingesetzt und die von Langenenslingen überlassenen Statuen Johannes der Täufer und Sankt Sebastian (beide von Franz Magnus Hobs, 1755) im Chor aufgestellt. Beide Figuren stehen heute in der neuen Kirche.
Malermeister Wilhelm Waldraff aus Ostrach, geboren in Rulfingen, gestaltete die zwei Deckengemälde und die Kreuzwegtafeln im Jahr 1883.
1888 wurde der Hochaltar im neuromanischen Stil gestiftet und am 13. Juni 1892 fand die Einweihung der neuen Orgel (Orgelbau Späh Ennetach) statt. Zwischen 1895 und 1897 wurden die Fenster im Stil des Historismus eingebaut.
Die aus der Zeit der Erbauung stammenden Fresken, die vier Evangelisten darstellend, wurden 1929 von Benedikt Gröner wiederhergestellt. Der aus Habsthal stammende Gröner/München übermalte auch 1929 die Krönung Marias an der Decke. Im selben Jahr wurden die Stuckarbeiten durch Anton Bahnmüller aus Saulgau ergänzt.
Nach einer Besichtigung von Erzbischof Dr.Schäufele im Jahr 1968, entscheidet die Erzdiözese Freiburg den Neubau der St.Ulrichskirche an anderer Stelle, da die alte Kirche zu klein und baulich ruinös war. Am 1. Advent 1974 wurde die erste Messe im neuen Gotteshaus gehalten. Die alte Kirche wurde nicht abgerissen und stand viele Jahre ungenutzt, aber imposant in der Mitte des Dorfes.
In den 80er Jahren wurde die Außensanierung durchgeführt, dann im Frühjahr 1996 die Stuckdecke notsaniert und die Orgel mußte abgebaut werden. Harald Rapp, Orgelbauer aus Ennetach erstand die Kirchenorgel von der Stadt, rettete sie damit vor dem Verfall und brachte sie nach Lissabon. Seit 1997 tönt die Orgel dort in der Kirche Saò Domingo.
Am 19.07.99 wurde das Kriegerdenkmal, das damals noch vor der Kirche stand, auf den Friedhof versetzt und der Vorplatz vor der Alten Kirche neu gestaltet.
Am 1. November 1997 erwachte die Kirche aus ihrem Dornröschenschlaf: Die Geschwister Röck aus Fulgenstadt begeisterten über 300 Besucher mit Musik aus vier Jahrhunderten und begründeten damit die heutige kulturelle Nutzung. Die ganz besondere Atmosphäre und eine hervorragende Akustik haben die Alte Kirche zu einem bei Künstlern und Publikum beliebten Veranstaltungsort gemacht.
Seit der offiziellen Eröffnungsfeier am 24. September 1999 wird die Alte Kirche von einem ehrenamtlichen Arbeitskreis betreut und bis Mai 2006 fanden 125 Veranstaltungen statt. Konzerte, Ausstellungen, Varieté, sowie Lesungen, Kabarett und Comedy erreichen heute ein Publikum über die Kreisgrenzen hinaus.