Музей находится на рядом с Голосеевским парком имени Максима Рыльского. В этом доме прошли 13 последних лет жизни писателя(1951—1964), тут он создал свои поэтические сборники «Троянди й виноград», «Зимові записи», «Вечірні розмови» тощо.
Музей Рыльского помогали создавать сыновья поэта, его коллеги по «цеху» – мэтры российской поэзии Н. Тихонов, А. Твардовский и М. Исаковский, оперный певец И. Козловский. С тех пор за более чем 40 лет музей посетило свыше 1 миллиона человек. Здесь хранится большое количество рукописей Рыльского, его библиотека, множество бытовых предметов, включая охотничьи принадлежности: Рыльский был заядлым охотником и рыболовом, активным путешественником и коллекционером.
Музей как бы сохраняет дух той эпохи – маленький домик среди современных высоток.