Choć idea przyświecająca powstaniu organizacji, stanowiącej formę aktywności społecznej, integrującej osoby zainteresowane kultywowaniem pamięci o kulturowej specyfice, promocją i rozwojem miasta, działające na rzecz Żyrardowa na niwie kultury, oświaty i badania oraz popularyzacji historii była szlachetna, przekucie marzeń w rzeczywistość nie należało do łatwych. Komitet Organizacyjny wybrano 14 kwietnia 1964 roku. Niedługo później – 15 września 1964 roku – zamierzenia grupy żyrardowian stały się faktem: Towarzystwo Przyjaciół Miasta Żyrardowa powołane uchwałą Miejskiego Komitetu Frontu Jedności Narodowej – pod przewodnictwem Lecha Hana – zainaugurowało swoją działalność.
I choć w zakładach pracy oraz szkołach średnich powstały koła Towarzystwa, nie trzeba było długo czekać, by radość tworzenia została przyćmiona pierwszymi oznakami kryzysu mającego swoje źródło w braku aktywności po stronie członków organizacji. Lech Han zrezygnował wówczas z funkcji, na którą wybrano Józefa Kwiecińskiego. Towarzystwo przeniesione zostało z siedziby Archiwum do budynku Muzeum Historii Ruchu Robotniczego, dokąd członkowie organizacji przyciągani byli interesującymi ich odczytami Krzysztofa Zwolińskiego: jednego z organizatorów i pierwszego kierownika instytucji.
Dwa lata później, po śmierci Józefa Kwiecińskiego, na tymczasowego prezesa wybrano Bolesława Braun-Walickiego, którego w listopadzie 1968 roku zastąpił prof. dr hab. Władysław Pałucki. Zapoczątkowano wówczas organizację sesji popularno-naukowych, z których jedna – zorganizowana w 1971 roku – poświęcona została jubileuszowi 750 lecia Wiskitek. W tym samym czasie doprowadzono do odsłonięcia pomnika upamiętniającego 40 mieszkańców Żyrardowa rozstrzelanych przez hitlerowców na Wydmach Międzyborowskich.
W 1972 roku nowym prezesem Towarzystwa został Józef Markiewicz, po którego rezygnacji z funkcji złożonej dwa lata później na następcę wybrano Witolda Romalskiego, którego prezesura dla Towarzystwa okazała się czasem stabilizacji. Nie bez znaczenia były działalność wydawnicza czy kontynuowanie sesji popularno-naukowych: choćby z okazji 70 lecia Rewolucji 1905-1907 czy o klasie robotniczej i ruchu robotniczym w zachodniej części Mazowsza przy okazji 60 lecia uzyskania przez Żyrardów praw miejskich. Wiązały się również z powrotem organizacji do siedziby Archiwum Powiatowego i doprowadzenia do odsłonięcia pomnika upamiętniającego miejscową ludność rozstrzelaną przez hitlerowców w lesie radziejowskim.
Towarzystwo odegrało rolę także w jubileuszowym dla miasta roku 1979 (150 lecie Żyrardowa), kiedy imię „Żyrardów” udało się nadać jednemu z polskich statków oceanicznych. Zasłużona dla archiwistyki organizacja otrzymała wówczas medal „150 lecia Żyrardowa”.
Popularyzowanie wiedzy historycznej za pomocą organizowanych odczytów i wydawanych opracowań kontynuowano także w kolejnych latach, kiedy zapraszano na spotkania pod hasłem „Sylwetki 40 lecia PRL”, a także – by chronić od zapomnienia sylwetki ludzi zasłużonych dla miasta i zachowywać dorobek pokoleń – podjęto pracę nad „Żyrardowskim Słownikiem Biograficznym”.
Działalność Towarzystwa, po śmierci Witolda Romalskiego w 1991 roku i przeniesieniu Archiwum z Żyrardowa do sąsiedniego powiatu uległa ograniczeniu. Nieformalnym prezesem organizacji przez kolejne lata pozostawał Andrzej Góralski, którego wspierali: Włodzimierz Adamiak, Andrzej Stawarz i Andrzej Grudziński, aż w 2003 roku na funkcję prezesa wybrano Jana Kucharskiego. Towarzystwo, przeniesione wówczas do budynku Kantoru, uzyskało status Społecznego Opiekuna Zabytków, zostało wpisane do Krajowego Rejestru Sądowego, a w 2006 roku uzyskało status Organizacji Pożytku Publicznego.
Pierwsza kadencja Stanisława Niewiadomskiego przyniosła przeprowadzkę organizacji do Miejskiej Biblioteki Publicznej i sporządzenie inwentaryzacji wydawnictw Towarzystwa (4,5 tysiąca egzemplarzy książek o wartości blisko 60 tysięcy złotych), jak również przystąpienie do Partnerstwa na rzecz Rozwoju Powiatu Żyrardowskiego oraz Lokalnej Organizacji Turystycznej Mazowsza Zachodniego. Poza popularyzowaniem historii zajęto się organizacją debat na temat ochrony zabytków Żyrardowa i możliwości finansowania działań konserwatorskich.
Ostatnie lata upłynęły na konsultacji projektów zmian w miejscowym planie zagospodarowania przestrzennego, kiedy zwracano szczególną uwagę na zachowanie terenów publicznych, wykorzystanie naturalnych walorów środowiska przyrodniczego (w tym terenów nadrzecznych), na racjonalność inwestycji komunikacyjnych i respektowanie ochrony konserwatorskiej. Towarzystwo uczestniczyło także w konsultacjach opracowania gospodarki przestrzennej w Województwie Mazowieckim. Nie brakowało organizacji kolejnych sesji popularno-naukowych, wśród których wyróżnić można zapoczątkowany cykl „Bohaterowie naszych ulic”. Towarzystwo, pragnące stanowić organizację z wszechmiar pożyteczną, zainicjowało również stałą akcję honorowego krwiodawstwa.
Niedługo przed jubileuszem 50 lecia wybrano projekt graficzny logo organizacji opracowany przez Monikę Rosińską, a także uruchomiono stronę internetową, która – poza doniesieniami prasowymi – stała się niezbędnym nośnikiem wiedzy o działalności organizacji.
Mateusz Modrak