Das Halterkreuz wurde seinerzeit vor dem Schwalleck, einem ehemals gefährlichen Stromhindernis errichtet ("Greiner Wirbel").
Der Sage nach wohnte vor vielen Jahren bei der Überfuhr über den Schwall ein Halter (Hirte) der Stadt Grein. Dieser hütete bei Hochwasser in der Nähe des Schwalls das Vieh. Während dieses weidete, versuchte der Hirte das Treibholz aus der Donau aufzufangen. Mit dem schwimmenden Holz deckte er den Brennholzbedarf im Winter. Als er einen langen Baumstamm ans Ufer anheften wollte, rutschte er aus und fiel ins Wasser. Gerade noch rechtzeitig konnte sich der Nichtschwimmer an dem Baumstamm anklammern und trieb so hilflos im Schwall umher. In seiner Angst machte der Halter das Gelöbnis, wenn er gerettet werde, am Ufer ein Kreuz zu errichten. Da trieb die Strömung den Baum so nahe ans Ufer, daß der Halter den Ast eines herabhängenden Baumes erreichen konnte und so glücklich gerettet wurde. Der Halter hielt sein Gelöbnis, und seit dieser Zeit steht dort das sogenannte Halterkreuz.
2019 wurde es auf Initiative des Vereins "Grein Tourismus" restauriert und beleuchtet.