Народився в м. Рига в родині священнослужителя. Освіту здобув у Псковській та Троїце-Сергіївській духовних семінаріях. В останній, після успішного її закінчення, з 1779 до 1786 року викладав риторику, поезію, історію та філософію.

З жовтня 1786 року був призначений викладачем гірничого училища, згодом перейменованого в Санкт-Петербурзький гірничий кадетський корпус — один з найкращих на той час навчальний заклад технічного профілю. На цій посаді Іван Рижський, окрім зазначених вище предметів, майже 10 років викладав латину, логіку, географію для учнів старших класів.

З вересня 1799 року Іван Степанович Рижський був штатним секретарем Св. Синоду, з липня 1801 року — членом державної Берг-колегії, продовжуючи при цьому викладацьку діяльність. У травні 1802 року за науково-літературні праці Рижському було надане почесне звання доктора філософії, тоді ж він був обраний членом Імператорської академії наук та мистецтв.

У 1803 році за рекомендацією попечителя Харківського навчального округу графа Станіслава Потоцького та видного громадського діяча Василя Назаровича Каразіна Івана Степановича Рижського було призначено професором російської словесності й красномовства Харківського університету. Після відкриття університету на першому засіданні Загальних зборів Івана Степановича було обрано ректором.

Деякий час Іван Степанович Рижський обіймав посаду декана відділення словесних наук (словесного факультету) і секретаря Загальних зборів. Читав лекції з теорії словесності, першим у російських університетах почав читати курс історії російської літератури. Вів активну наукову роботу, сприяв поширенню передових наукових знань.

Першою роботою Івана Степановича Рижського була книга «Политическое состояние в древнем мире во время царей, республики и императоров», видана в 1788 році. Проте основні наукові інтереси вченого концентрувалися навколо філософських питань мовознавства, що й знайшло відображення в його подальших працях. Деякі з них («Введение в курс словесности», «Опыт риторики») довгий час використовувалися як навчальні посібники в Харківському, Московському й Казанському університетах.

Був нагороджений орденом Св. Анни ІІ ступеня.