Manoma, kad apie XIVa. pradžią medinės pilies vietoje buvo pastatyta mūrinė Krėvos pilis. Čia rezidavo keletas Lietuvos Didžiosios Kunigaikštystės valdovų: Gediminas, Algirdas, Vytautas. Šioje pilyje 1382 m. įkalintas Lietuvos didysis kunigaikštis Kęstutis ir jo sūnus Vytautas. Būtent, čia 1385 m buvo pasirašyta garsioji Krėvos sutartis tarp lenkų bajorų ir Jogailos.