Jonas Smilgevičius gimė 1870 m. vasario 12 d. Šoniuose (dabar Plungės raj.), bajorų šeimoje. Iki 1893 m. mokėsi Mintaujos ir Liepojos gimnazijose. Aukštojo mokslo siekti išvyko į Vakarus: vienerius metus ekonomiką studijavo Karaliaučiaus universitete, vėliau, iki 1899 m. – Berlyno universitete, bendravo su Vokietijoje gyvenančiais lietuvybės puoselėtojais (J. Sauerweinu, V. Bruožiu ir kitais). Dar lietuviškos spaudos draudimo metais bendradarbiavo lietuviškoje spaudoje, 1907 m. tapo Lietuvių mokslo draugijos nariu.
Po studijų Peterburge dirbo Peterburge Žemės ūkio ministerijos inspektoriumi, Varšuvoje vadovavo Nobelio prekybos įmonių filialui. Į Lietuvą gyventi grįžo 1912-iais. Kartu su dr. J. Basanavičiumi įkūrė bendrovę, kuri nupirko bankrutavusią P. Vileišio geležies dirbinių gamyklą, ją pertvarkė ir pavadino „Vilija“. Iki 1918 m. veikusiame fabrike buvo gaminami žemės ūkio padargai, J. Smilgevičius įmonei vadovavo. 1913 m. jis talkino steigiant Vilniaus lietuvių kredito draugiją.
Iš rašytojos Šatrijos Raganos tėvų Pečkauskų nusipirkęs gerokai nugyventą Užvenčio (Kelmės raj.) dvarą, padarė jį vienu moderniausių ūkių tuometinėje Lietuvoje. Dvare buvo įrengtas modernus vandens malūnas, lentpjūvė, plytinė, sūrinė, užveista pieninių galvijų banda, čia auginamą tabaką pirko Klaipėdos ir Rusijos tabako fabrikai.
J. Smilgevičius buvo akcinių bendrovių „Nemunas“, „Dubysa“, „Neris“, „Miškas“, „Sidabrinė lapė“ vienu iš steigėjų ir pagrindinių akcininkų, rūpinosi žemės ūkio naujovių populiarinimu Lietuvoje.
1917-iais jis padėjo organizuoti Vilniaus konferenciją, buvo išrinktas į Lietuvos Tarybą, pasirašė Nepriklausomybės Aktą. 1920 m. išrinktas į Steigiamąjį Seimą, tapo jo finansų ir biudžeto komisijos pirmininku. 1921 m. buvo vienu iš Lietuvos kredito banko steigėjų. 1925 m. išrinktas Lietuvos banko tarybos nariu, nuo tarpukario politinių partijų veiklos laikėsi atokiai ir dažniausiai gyveno Užventyje, nemažą dvaro pelno dalį skirdamas labdaringai veiklai. 1937 m. buvo vienu iš Lietuvos malūnininkų sąjungos steigimo iniciatorių, buvo Tabako augintojų draugijos valdybos narys.
Mirė Kaune 1942-ųjų rugsėjo 27 d., palaidotas Užvenčio kapinėse. JAV gyvenantys signataro artimieji įsteigė Jono Smilgevičiaus vardo stipendiją gabiems Lietuvos studentams paremti.