Die Gaststätte ist nach dem einst dort befindlichen Zollhaus benannt. Die herzöglichen Behörden begannen dort im Jahr 1590 in Achdorf mit dem Bau eines Zollhäusls. An einer Schranke mußte hier für die Benutzung der Straße nach München ein Wegzoll entrichtet werden. So verwundert es nicht, dass eines Tages dort auch eine Gastwirtschaft errichtet wurde.