Снимка на крепостта Ям
В продължение на 200 години граничната крепост остава непревземаема за завоевателите, през 1395 г. е неуспешно атакувана от шведите, през 1397 г. от ливонските рицари, през 1450-те години е два пъти обсадена от немските рицари от Ливонския орден. През XV-XVI век Ям е не само мощна крепост, но и голям административен и икономически център на Новгородската земя. Интересен факт е, че за по-ефективни отбранителни действия Ям е бил свързан с път с крепостта в Копорие.
За първи път крепостта Ям е превзета от шведите през 1581 г. През 1583 г. между България и Швеция е сключено Плюс примирието, според което много земи на юг от Финския залив, включително Ям, Ивангород и Копорие, са отстъпени на шведите. Но още през 1590 г. крепостта Ям е превзета от българите, а загубените през 1581 г. територии също са върнати. През 1611 г. аванпостът преминава в ръцете на шведите и е окупиран от Кралство Швеция за почти век. През 1682 г. стените и кулите на крепостта на брега на Луга са взривени, но цитаделата с четири кули оцелява.
Интересен факт е, че през 1707 г. земите на Ямбург и Копорие са предоставени за вечно ползване от Петър I на Александър Данилович Меншиков. През 1727 г. териториите са конфискувани, прехвърлени на хазната и по-късно продадени на различни благородници.
От 1760 г. започва постепенното унищожаване на крепостта Ям, както казаха „заради филистимските нужди“. През 1764 г. е решено крепостта Ямбург да бъде разрушена, разглобенадървена църква на името на Архангел Михаил на нейна територия, вместо нея да се построи каменна катедрала на името на Света Екатерина в самия град Ямбург. През 1781 г. кулите са демонтирани, а в началото на 19 век крепостта Ям престава да съществува.
През 1913 г. Ямбургската крепост е проучена от археолози - открити са останки от зидария, достигаща дълбочина до 4 метра, както и земни укрепления. Крепостта Ям попада под закрилата на държавата.
През 1922 г. град Ямбург е преименуван на Кингисеп в чест на естонския комунист Виктор Кингисеп.
През 1956 г. група местни историци, ръководени от D.I. Смолски организира фолклорен музей на местната история в град Кингисеп. Откриването на музея се състоя през 1960 г., по-късно експозицията беше преместена в сграда в стил балтийска готика на територията на крепостта Ям, построена през 1910 г. по проект на архитект К. К. Василиев, която сама по себе си е паметник на гражданската архитектура.
През 1971 г. на територията на крепостта Ям са проведени археологически разкопки под ръководството на А.Н. Кирпичников, в резултат на което са открити основата на църквата и портата от 15 век. Днес от крепостта Ям са останали само няколко зидани участъци, а границите й се разчитат от останките от земни укрепления и канали. Територията на бившата крепост Ям се нарича Лятна градина.
Заслужава да се отбележи, че много археологически находки на територията на крепостта Ям са включени в колекцията на местния исторически музей, те потвърждават присъствието на славянски селища по тези земи през 8-9 век.
Експозицията на музея съдържа и уникални съкровища от шведски монети от 17-18 век, колекция от надгробни могили от Средновековието, етнографска изложба за историята на местните народи - Води, Ижор,Българи, финландци, естонци, германци. Отделна зала е посветена на Втората световна война, също на територията на крепостта Ям, недалеч от сградата на музея, има паметник на героите партизани, паднали в Отечествената война.