Клуб имеет богатую историю, включая второе место в Чемпионате СССР в 1966 и выигрыш кубка СССР в 1981. В сезоне 2006 играл во втором дивизионе . В 2007 году стал клубом Первого дивизиона. В 2008 году провел лучший сезон за последние 25 лет, но из-за проблем с финансированием был вынужден сняться с соревнований и перейти во второй дивизион, выступает в зоне «Юг».
Клуб основан 27 августа 1937 под названием РОДКА СКВО (Ростовский окружной Дом Красной Армии Северо-Кавказского военного округа), с 1954 года — ОДО (Окружной Дом офицеров), в период 1957—1959 носил имя СКВО. Это название часто ассоциируют с названием, Северо-Кавказского Военного Округа, но правильное его расшифровка — Спортивный Клуб Военного Округа. Данное название в тот период имели все окружные клубы министерства обороны. С 1960 года имеет современное название.
Согласно версии официального сайта команды СКА, команда называлась ОДО (Окружной Дом офицеров) с 1946 года (в версии Википедии указан год 1954).
До 1958 года команда играла в региональных и городских соревнованиях, многократно была чемпионом Ростова и СКВО. С 1958 года начала выступления в Чемпионате СССР, класс «Б». Первый сезон в компании достаточно сильных клубов, СКА (тогда СКВО) провёл на высоком уровне, заняв первое место и забив больше всех голов. В турнире за право выхода в высшую лигу армейцы также были на высоте и завоевали путёвку в элиту (класс «А»). Интересно, что в этом финальном турнире играли исключительно армейские команды городов Свердловска, Одессы, Ростова, Севастополя… Судьбу турнира решил гол, забитый запасным Ростовской команды Швецем в ворота СКВО-Свердловск. Результат 1:1 вывел ростовчан в класс «А» по лучшей разнице мячей, где они продержались до 1973 года, составляя достойную конкуренцию именитым соперникам.
Состав этой замечательной команды в то время: Вратарь — Виктор Киктев; защита: Николай Минчин, Алексей Бочаров (капитан), Вячеслав Гейзер; полузащита: Анатолий Чертков, Алексей Гущин, Тенгиз Норакидзе; нападение: Анатолий Павлов, Евгений Волченков, Валентин Егоров, Юрий Мосалев.
В свой первый сезон в высшей лиге, новичок, невзирая на звания и титулы соседей по турнирной таблице, забирался всё выше и выше, претендуя на призовые места. Свой первый матч в классе «А» со «старшим братом» — грандом советского футбола ЦСКА — ростовчане выиграли 2:0. Далее были победа над Зенитом, Крыльями Советов, ничья с Динамо (Тбилиси) и неожиданное поражение от середнячка — Молдовы (Кишинев). В этом матче получил серьезную травму вратарь В.Киктев. Новый вратарь В.Скарлыгин имел скверную «привычку» ронять взятый мяч. Результаты незамедлили сказаться и сезон СКА завершил на четвёртом месте, что всё равно было большим успехом. На следующий год армейцы снова стали четвёртыми. В это время в команде играли Виктор Понедельник, Виктор Одинцов, Юрий Мосалев. Успех команды во многом определял и тренер Пётр Щербатенко, на смену которому в 1962 году пришёл Виктор Маслов. Вместе с новым тренером стала омолаживаться и перестраиваться вся команда. В 1963 году дончане снова останавливаются в шаге от медалей, забив при этом больше всех мячей — 73. В 1966 году красно-синие завоевали свои первые медали чемпионата, серебряного достоинства. Командой в то время руководил Йожеф Беца, помощник Маслова, который ушёл в киевское Динамо ещё в 1964-м. Затем последовала серия неудачных сезонов, успех команде стал сопутствовать в кубке и то лишь до финальной стадии. В 1969 году армейцы вышли в финал Кубка, но проиграли команде первой лиги — львовским Карпатам. На следующий год опять финал, ничья со Спартаком и проигрыш в переигровке. После этого команда очень редко стала входить даже в первую десятку, а в 1973 году и вовсе покинула высшую лигу.
Ростовский клуб стало лихорадить, он то выходил в высшую лигу, то снова вылетал из неё. В 1977 году тренировать команду пришёл Николай Самарин, прервав чехарду сменяющих друг друга тренеров (после 1966 года в команде почти каждый год менялся главный тренер). А привел ростовский клуб к выигрышу Кубка СССР в 1981 году бывший тренер московского «Спартака» Владимир Федотов. Решающий мяч в той памятной игре против «Спартака», возглавляемого великим Константином Бесковым, забил Сергей Андреев. К сожалению, в тот славный для ростовского футбола год СКА снова лишился права играть в высшей лиге чемпионата СССР. Зато благодаря обладанию кубком, армейцы смогли выступить в розыгрыше Кубок кубков УЕФА, дойдя до 1/8 финала, победив по сумме двух матчей турецкий клуб «Анкарагюджю» (5:0) и уступив немецкому Айнтрахту из Франкфурта по сумме двух матчей 1:2 (1:0 дома и 0:2 на выезде). Ненадолго вернувшись в высшую лигу СКА снова показывал нестабильный футбол (однако 10 июня 1984 года одержал одну из самых памятных побед — в Москве со счётом 6:1 был побеждён «Спартак»). 1985 год стал последним сезоном в элите, а вскоре, в 1989 СКА и вовсе опустился во вторую лигу.
В чемпионатах России максимальное место, которое занимал СКА - тринадцатое в первом дивизионе (2008).
В конце 2005 года главным тренером команды стал один из её наиболее прославленных игроков — Сергей Андреев. Президент клуба Иван Саввиди поставил перед командой задачу в 2006 году — выйти в первый дивизон. Однако 31 августа 2006 года Андреев был неожиданно отправлен в отставку, новым главным тренером стал Виктор Бондаренко. В качестве причины отставки Саввиди назвал «отсутствие командного боевого духа и психологической гармонии между игроками и тренерским составом». 17 октября Саввиди объявил о приостановке финансирования клуба, мотивировав это тем, что армейское руководство не согласовало с ним предоставление стадиона для игр другой ростовской команды, ФК Ростов. При этом, надо отметить, что депутат Государственной думы Иван Саввиди, возглавлявший ранее ФК Ростов, фактически приватизировал в свою пользу два крупнейших в Ростове стадиона. Сезон 2006 года ростовская команда завершила на 2 месте. В связи с тем, что ряд клубов Первого дивизиона не прошли аттестацию ПФЛ, в январе 2007 года ростовский СКА был включён в число участников этого дивизиона. В сезоне 2007 года СКА с трудом сохранил место в Первом дивизионе, заняв 17 место и забив необходимый для этого победный гол за несколько минут до окончания игры последнего тура с курским «Авангардом» (счёт 3:2). В следующем году СКА выступил успешнее и добился лучшего результата в российской истории клуба, заняв 13 место. Этот сезон был также отмечен острым противостоянием СКА и «Ростова», впервые после распада СССР игравших в одном дивизионе. Несмотря на это, СКА после окончания сезона из-за тяжёлого финансового положения был вынужден отказаться от места в Первом дивизионе и перейти во Второй.