Aus dem Jakobus-Bruderschaftsbuch von 1710 geht hervor, daß im Jahr 1433 ein "Bruder Conrad von Kalb" (Calw) vom fürstenbergischen Landesherrn die Erlaubnis einholte, ein "St. Jakobs Kürchlein bey Wolfach im Küntzigerthal" erbauen zu dürfen. Schon bald konnte eine kleine Kapelle geweiht werden. Bald entstand auch eine Ursprungslegende, nach der Hirtenkinder in der Nähe des Kapellenstandorts einen Gesang vernahmen, der aus einer Tanne zu kommen schien. Als man diese fällte, fand sich in ihrem Stamm ein Bildnis des Apostels Jakobus d. Ä. Aus Freude über diesen Fund errichteten die Bewohner der Gegend unter der Leitung eines frommen Edelmannes, Konrads von Calw, zu Ehren des hl. Jakobus an der Stelle eine Kapelle.
In den Wirren der Reformationszeit wurde die Kapelle 1540 zerstört und geriet bald in Vergessenheit. 1655 entdeckten spielende Kinder die Ruinen der Kapelle und veranstalteten in kindlicher Frömmigkeit Andachten und Prozessionen. Der Eifer der Kinder erweckte den der Erwachsenen neu. Am Jakobusfest 1655 wurde dort erstmals wieder eine Andacht gehalten. Bestrebungen, die Kapelle zu erneuern, scheiterten zunächst an der damals herrschenden Armut als Folge des 30jährigen Krieges.
Am Ostertag 1659 gelobten dann zwei Wolfacher Bürger mit ihren Frauen, "die Kapelle auf eigene Kosten neu zu bauen, selbst wenn es all ihr Hab und Gut kosten sollte". Die festliche Weihe dieser zweiten Kapelle in St.Jakob war im April 1660. Das alte Gnadenbild, in den Wirren jener Zeit verschollen, wurde in einem Brunnen, wo es in Sicherheit gebracht worden war, wiedergefunden.
Durch die Gründung der "Bruderschaft zum hl. Jakobus um einen guten Tod" 1664 wurde die Wallfahrt zu St. Jakob in Wolfach über den süddeutschen Raum hinaus bekannt. Ein neuer großer Pilgerstrom setzte ein, für den sich die zweite Kapelle bald als zu klein erwies. 1680 wurde das bescheidene Kirchlein abgetragen und noch im gleichen Jahr durch den dritten und größeren, heute noch bestehenden Kapellenbau ersetzt. Auch die dürftige Hütte, die dem jeweiligen Einsiedler in St. Jakob als Unterkunft diente, wurde durch einen Massivbau abgelöst.
Die prächtige und künstlerisch wertvolle Ausstattung der heutigen Kapelle entstand Ende des 17. und Anfang des 18. Jhds. Der Hochaltar von 1705, ein Meisterwerk des heimischen Barock, wird wie die beiden Seitenaltäre der Villinger Bildhauerfamilie Schupp zugeschrieben. Die Entstehungszeit der Seitenaltäre ist nicht genau datiert, sie standen aber vermutlich schon in der zweiten, älteren Kapelle. An der Chorbogenwand sind aus einer früheren Bemalung zwei Bilder des vom Schillingerhof im Übelbach stammenden Malers Konrad Schmider erhalten.