Ivan Konstantinovitš Aivazovski sündis 29. juulil 1817. aastal Feodossias (linn Krimmi poolsaare kagurannikul, muistne Theodosia). Tema isa oli armeenia kaupmees ja ema osav  tikkija. Sel ajal, kui Ivan sündis ning oli veel noor, taastus linn ikka  veel majanduslikust langusest, mille põhjustas 1812. aastal katk. Perekond polnud just eriti heal järjel. Noor poiss kasvas üles linnas, kus elasid nii kreeklased, venelased, armeenlased, türklased ja  tatarlased. Tõenäoliselt pidi ta töötama ja aitama peret juba varajastel aastatel. Ivan arenes kiiresti. Võimed muusikas ja kunstis olid vapustavad, kuid tal polnud raha paberit osta ja sellepärast tegi ta visandid söega valgete seintega majadele.

Tema kunstilisele andele hakati tähelepanu pöörama, kui  Feodossia kuberner A. I. Kaznatšejev pani ta Simferoopoli kooli ja hiljem kirjutas avalduse Sankt-Peterburgi Kunstiakadeemiasse, et poiss sinna endale koha saaks. Kooli sisse Ivan sai.  Aivazovski tegi kõike väga hästi akadeemias ja tema tööd köitsid ka poeet Aleksander Puškinit, kes külastas akadeemia näitust 1836. aastal.  Sankt- Peterburg oli just õige  koht noorele kunstnikule ja selle aja jooksul sai ta sõbraks helilooja Mihhail Glinkaga ning tegi tutvust kirjanike Gogoli ja Krõloviga.

Täiendava õppimise eest sai ta reisimise stipendiumi, aga üheks tingimuseks oli, et ta peaks algul veetma kaks suve Krimmis loodust maalides. Seda ta tegi ja tema kirjad sellest ajast on täis entusiasmi inspiratsioonist, mida ta leidis Krimmi maastikest. Samuti võttis ta osa Venemaa eskadronist Kaukaasia ranniku lähedal ja tegi seal visandeid tuleviku maalidest.