Der Ursprung der Gesellschaft der Herren zu Schützen geht auf das 14. Jahrhundert zurück.
1451 vereinigte sich die Gesellschaft zu Schützen mit der Gesellschaft zum Affenwagen, auch Herrenstube genannt, und 1518 mit der St. Sebastians-Bruderschaft.
Zunächst fanden sich in den Reihen der Schützen und der Herrenstube waffenfähige Luzerner zusammen. Bis weit ins 18. Jahrhundert gehörten auch alle hohen Persönlichkeiten Luzerns der Gesellschaft zur Pflege der Geselligkeit, der Unterhaltung und zum Teil des Schiesswesens an.
Die Gesellschaft der Herren zu Schützen besass seit ihrem Bestehen ein eigenes Haus, die sogenannte Gesellschaftsstube.
1807 verkaufte die Gesellschaft ihr Gesellschaftshaus am Fischmarkt (heute Hôtel des Balances) für 7’500 Gulden und erwarb für 8’500 Gulden das 1709 errichtete Sommerhaus des verstorbenen Franz Ludwig Pfyffer v. Wyher, Generalleutnant in königlich französischen Diensten, Topograph und Ersteller des grossen Reliefs der Urschweiz.
Noch im selben Jahr wurde das neue Gesellschaftshaus durch einen feingliedrigen, zweigeschossigen Anbau mit Ballsaal ergänzt, den der bedeutende Stadtarchitekt Josef Singer entworfen hatte.