Po nauce w ostrowieckim gimnazjum Rybkowski wyjechał do Poznania, gdzie w 1935 r. ukończył szkołę plastyczną, a następnie wstąpił do Państwowego Instytutu Sztuki Teatralnej, kierowanego przez Leona Schillera. Do wybuchu wojny pracował w teatrach warszawskich, a w czasie okupacji został wywieziony na roboty do Niemiec. Po zbombardowaniu Drezna trafił do Czech, stamtąd do Krakowa, a potem przyjechał do Łodzi, gdzie zaangażował się w Teatrze Wojska Polskiego, który później przeniósł się do Warszawy.
W 1949 r. zadebiutował jako reżyser filmowy „Domem na pustkowiu”, a w latach 50. nakręcił kilka znanych obrazów: „Autobus odjeżdża 6.20” (1954), „Nikodem Dyzma” (1956), "Kapelusz pana Anatola” (1957 i kolejne 2 części). Nowy rozdział otwiera „Album polski” (1970), kilka świetnych adaptacji literatury polskiej, a przede wszystkim znakomici „Chłopi” wg Reymonta (serial TV w 1972 r., rok później film), „Dulscy” (1975), „Granica (1977) czy kolejne seriale – „Rodzina Połanieckich” (1978) oraz „Kariera Nikodem Dyzmy” (1980) ze świetną rolą Romana Wilhelmiego.
W latach 1974–1977 Jan Rybkowski pełnił funkcję dziekana Wydziału Reżyserii PWSFTviT w Łodzi i to był kolejny jego kontakt z Łodzią, gdzie przecież nakręcił większość swoich filmów. Wybitny twórca, który ma oczywiście swoją gwiazdę na ulicy Piotrkowskiej, zmarł 29 grudnia 1987 r. w Konstancinie-Jeziornie i spoczął na warszawskich Powązkach.
