Идиома происходит из научного анекдота: "Группа учёных получила задание на разработку теории, позволяющей предсказывать результат скачек. Через некоторое время появился отчёт с методикой расчёта результатов забегов с точностью до нескольких десятичных цифр в предположении абсолютно упругого сферического коня в вакууме."
Пародируются многочисленные физические выкладки, в которых часто для упрощения делаются допущения, приближающие ситуацию к идеальной. Например, в классической механике часто прибегают к абстрактному понятию абсолютно упругого тела. В электродинамике и оптике используется описание поведения электромагнитных волн в вакууме (что более достижимо, чем абсолютная упругость). Допущения об идеальной сферичности тоже часто можно обнаружить в той или иной области физики. Впоследствии смысл был перенесён на любую ситуацию, в которой упрощённые идеализированные модели выдаются за реальные практические достижения.
При использовании словосочетания в речи слово «конь» может быть заменено другим существительным, подходящим к конкретному случаю. В европейской традиции аналогичную функцию выполняет сферическая корова как теоретическая модель для повышения удойности. Однако анекдот о сферическом коне известен во всём научном мире и часто цитируется в текстах, где обсуждается абстрагирование как научный метод, само же выражение «сферический конь» используется без дополнительных пояснений как метафора избыточно абстрактной, упрощённой модели.