История Ласточкиного гнезда началась после русско-турецкой войны 1877—1878 гг., после которой земля на берегу Чёрного моря была пожалована одному из генералов. Имя первого владельца, генерала-романтика, не сохранилось, но именно с его времен у дачи закрепились названия «Замок любви и «Генералиф». Первое деревянное сооружение на уступе мыса появилось в конце XIX века, вторым владельцем усадьбы стал придворный лекарь и гласный земства А. К. Тобин. После его смерти вдова продала имение московской купчихе Рахманиной. Свой современный облик Ласточкино гнездо приобрело благодаря немецкому нефтепромышленнику и барону Рудольфу фон Штенгелю.
Тогда здание представляло из себя обычное деревянное строение, именно таким его запечатлели на своих полотнах известные художники-маринисты Айвазовский, Лагорио и Боголюбов. Первое упоминание о замке “Ласточкино гнездо” относится к 1895 году. В справочнике по Крыму Григорий Москвич пишет: «Дача «Ласточкино гнездо» построена чрезвычайно смело на отвесной скале». В 1927 году в Крыму в районе Ялты случилось довольно крупное землетрясение. Образовалась глубокая косая трещина в скале под замком, часть её вместе с садом обрушилась в море, а обзорная площадка нависла над пропастью, однако само здание практически не пострадало, но шпили все же упали в море. Однако второй его толчок силой в 9 баллов прошил глубокой косой трещиной скалу под замком «Ласточкино гнездо». Рядом со зданием был разбит сад, который в результате землетрясения весь ушёл в море.
В начале Первой мировой войны имение купил московский купец Павел Григорьевич Шелапутин, который открыл в замке ресторан. В скором времени купец умер и ресторан закрылся. Здание перешло к купчихе Рохмановой, которая оформила интерьер неоготического замка в древнерусском стиле. В годы Гражданской войны «Ласточкино гнездо» было заброшено. В конце 1920 года после установления на полуострове Советской власти все бывшие частные владения были переданы в ведение Главного управления совхозами Крыма. В 1930-е годы здесь находился читальный зал местного Дома отдыха «Жемчужина», но вскоре сооружение признали аварийным и закрыли. Восстановление началось в конце 1960-х гг. Скала была укреплена, под основание замка подведена железобетонная плита, а сам он отреставрирован. Здание становится узнаваемым символом Крыма.
В последние 20 лет в стенах замка находился ресторан итальянской кухни. Горячительные напитки и великолепные пейзажи вдохновляли посетителей на подвиги — прыжки в море из «гнезда». В 2011 году власти Крыма закрыли ресторан, а в здании разместили выставочные залы. В экспозиции представлены литографии, рисунки и гравюры, рассказывающие об истории Южного берега Крыма. В сентябре 2011 года на скале «Ласточкино гнездо» проводился международный чемпионат по клифф-дайвингу — акробатическим прыжкам в воду.
«Ласточкино гнездо» является визитной карточкой Крыма. На многих фотографиях, открытках, визитках и т.д. можно встретиться с восхитительным изображением данного замка в разное время суток. Популярность этим местам придали отснятые здесь эпизоды незабываемого фильма «Человек-амфибия». Именно под этой скалой находилось «логово» «морского дьявола» Ихтиандра. В этих же скалах Станислав Говорухин снимал фильм «Десять негритят».
«Ласточкино гнездо» можно осмотреть не только снаружи, но попасть и внутрь здания, где располагается музей. Музей работает c 10:00 до 19:00 в летнее время, с 10:00 до 16:00 в не сезон. В праздничные и выходные проводятся экскурсии, которые необходимо заказывать заранее. Добраться до «Ласточкиного гнезда» на общественном транспорте можно из Ялты.