Церковь во имя Св. Афанасия и Кирилла Александрийских находиться на возвышенном месте, отделенном долиной р. Болховки от Красной горы (ул. Ключикова, д.5-а). Приход существовал уже в 16 в. в Пушкарной слободе, при церкви было кладбище. Новый деревянный храм был возведен в 1750 г. В 1800 г. на средства купца Андриана Илларионовича Богомолова на месте деревянного построен каменный храм с двумя пределами в трапезной: в честь Владимирской иконы Божией Матери и во имя Св. Мучеников Андриана и Натальи. В 1875 г. трапезная была расширена и соединена с 25-метровой колокольней (не сохранилась). Ремонтировалась в 1909 г..
Фото 2000 года.
Церковь закрыта в 1930 г., использовалась под склад пенькозавода. В 1989 г. Орловским хозрасчетным реставрационным участком была восстановлена венчавшая церковь главка. В настоящее время силами «Орелстрой» отреставрирован фасад храма.
Фото 2010 года