Stał tam drewniany budynek, a przed nim znajdowała się figura ukrzyżowanego Jezusa zwrócona w kierunku ówczesnej ul. Dąbrowskiej (dziś ul. Dąbrowskiego). Zabudowa tego odcinka ul. Rzgowskiej od Rynku Geyera (obecnie pl. Reymonta) na południe w kierunku Chojen była na początku XX w. raczej skąpa. Stały tam jedynie po lewej stronie budynki mieszkalne dla robotników od Sachsa i kilka parterowych domków.

Domu pod Krzyżem już dziś oczywiście nie ma (na tym terenie rozciąga się osiedle Czerwony Rynek), a pamięć miejsca i jego nazwa przetrwały jedynie we wspomnieniach dawnych mieszkańców Łodzi.