Żyliński jako zawodnik reprezentował barwy dwóch łódzkich klubów: YMCA i ŁKS. Z pierwszym zdobył mistrzostwo (1948) i wicemistrzostwo Polski (1949), z drugim również sięgnął po tytuł najlepszej drużyny w kraju (1953). W koszykarskiej reprezentacji Polski rozegrał 37 meczów. Najwięcej sukcesów odniósł jednak jako trener i działacz sekcji koszykówki żeńskiej w ŁKS.
Jako szkoleniowiec zdobył 16 medali mistrzostw Polski seniorek – cztery złote (1967, 1972, 1973, 1974), pięć srebrnych (1966, 1968, 1971, 1975, 1977) i siedem brązowych (1964, 1969, 1976, 1978, 1979, 1980, 1981) – i trzy juniorek (dwa złote, jeden srebrny). Kolejne dziewięć krążków koszykarki ŁKS wywalczyły w okresie, gdy "Ziuna" jako działacz kierował całą sekcją. Przez ponad trzy dekady nie opuścił żadnego meczu, w którym występowały koszykarki ŁKS! Podobnie było w okresie, w którym oficjalnie nie pełnił już w klubie żadnej funkcji. Zmarł 19 sierpnia 2014. Cztery lata później, 24 września 2018 imię Józefa „Ziuny” Żylińskiego otrzymała hala przy al. Unii.
W tym obiekcie we wrześniu 2019 rozegrano I Turniej Koszykówki Kobiet „Ziuna Cup”. Druga edycja imprezy odbędzie się w dniach 4-6 grudnia 2020. Weźmie w niej udział sześć drużyn młodzieżowych: Kadra Polski U-15, ŁKS KK, UKS Trójka Żyrardów, MUKS Poznań, BAT Kartuzy i NSMS PZKosz Łomianki. Z uwagi na zagrożenie epidemiologiczne w tegorocznym turnieju nie wystąpią zespoły zagraniczne.
Na turnieju będzie również obecna kangurzyca Ziunka - nowa maskotka ŁKS Koszykówka Żeńska.
