Ten oosten van de binnenstad van Dordrecht staat de ruïne van het Kasteel te Merwede. Dit kasteel is zo oud, dat het niet helemaal duidelijk is wanneer het nou werd gebouwd. Waarschijnlijk was dit aan het eind van de dertiende eeuw en is het door de jaren heen door overstromingen beschadigd geraakt en verzakt.
Het kasteel werd herbouwd, maar bij het Beleg van Dordrecht in 1418 ingenomen door Jacoba van Beieren. De gravin werd echter verjaagd door de inwoners van Dordrecht, die het kasteel gedeeltelijk verwoestten. Drie jaren later tijdens de Sint-Elisabethsvloed werd wat er nog over was van het kasteel, vrijwel volledig vernield. De ruïne was onbewoonbaar geworden en werd nooit meer opgebouwd. De Dordtenaren haalden er jarenlang hout en bakstenen weg. Uiteindelijk bleef alleen de westmuur van de noordwesttoren over, die nu nog steeds te zien is.