Училището е открито в началото на учебната 1976/1977 г. като XI основно училище „Таня Карпинская”. В съответствие с Правилника на Министерството на народната просвета за общообразователните училища от учебна 1990/1991 г. е преобразувано в средно общообразователно. По предложение на учителската колегия и с решение на Временния изпълком на Общински съвет – град Габрово от 1991 г. приема името на бележития народен просветител Райчо Каролев.
През 2009 година училището е с обновена сграда по проект „Осигуряване на ефективна, общодостъпна и модерна образователна инфраструктура за устойчиво развитие на община Габрово” по договор за безвъзмездна помощ, финансиран от ОП „Регионално развитие”. Сградата на училището е санирана. Изградени са съвременни и модерни спортни площадки.
През учебната 2024/2025 година в училището се обучават 430 ученици в 19 паралелки. За всеки клас има самостоятелна класна стая. Училището разполага с 12 специализирани учебни кабинета.
В училището има изградени два Ресурсни кабинета за индивидуална работа с деца със специални образователни потребности.
СУ “Райчо Каролев” е средищно училище, което разполага с четири училищни автобуса. Учениците от начален етап и всички пътуващи ученици са обхванати в целодневна организация на учебния ден. От създаването на училището в сградата има един корпус, който е предназначен за училищен стол и оборудвана кухня към него.
Успешният учебно–възпитателен процес е подпомогнат с разнообразни дейности по национални програми и различни проекти: „Заедно в изкуствата и спорта”; „Иновации в действие”; "Осигуряване на съвременна, сигурна и достъпна образователна среда". Спортът в училището е застъпен като необходим и много важен елемент от цялостната дейност, с цел повишаване физическата дееспособност, развитие на двигателната активност на учениците, и формиране на устойчива личностна потребност от занимания със спорт.
Високият професионализъм на педагогическия колектив допринася за национални и международни успехи на учениците от училището. Училището се гордее с успехите и на учениците, и техните учители.
Потомците на Райчо Каролев са първенци в редица общински, национални и международни състезания.
СУ „Райчо Каролев” – Габрово е общинско училище. От м. март 2024 г. изпълняващ длъжността директор на училището се заема от Силвия Христова.