Церковь в Кише расположена в городе Кише, в нескольких километрах от Шеки. В 550 году до н.э. Атробат, мидийский наместник Персидской империи, назвал это место «Азербайджан», что означает «защищенный огнем». В IV веке н.э. племя, называвшее себя арранами, основало Албанское царство, территория которого простиралась до Кавказских гор, и постепенно перешло из персидского зороастризма в христианство. Начиная с VII века н.э., Албанское царство последовательно завоевывалось арабами, монголами, Тимуридами и Османской империей, в конечном итоге полностью исчезнув из истории. Распад между Персией, Османской империей и Россией в XVI-XVIII веках является важной причиной нынешнего разделения Азербайджана на три страны. Кавказское Албанское царство когда-то занимало большую часть северного Азербайджана, но сохранилось мало исторических документов и еще меньше древних памятников, связанных с Кавказским Албанским царством, что делает эту церковь особенно важной в культурном плане. Азербайджанцы долгое время стремились стереть следы армянского присутствия на своей территории, утверждая, что эти районы были «неотъемлемой частью Азербайджана с древних времен». Сейчас церковь преобразована в Музей Кавказской Албании, рассказывающий о сложном прошлом Кавказского региона. Внутри церкви представлены исторические экспонаты, а посетители могут увидеть древние руины через стеклянные окна в полу церкви.