Yalının kimin tarafından yaptırıldığı bilinmemektedir. 20. yüzyılın başlarında Polonyalı Leon Valerien Ostrorog tarafından satın alınmış ve bu isimle tanınmıştır. Kont Ostrororg İslâm Hukuku üzerinde çalışmış, Oxford ve Lahey üniversitelerinde öğretim üyeliği yapmış bir bilim adamı olup, 1900’lü yıllarda Osmanlı hükümetinin daveti üzerine Adliye Nezareti’nde hukuk ve sadaret müşavirliği görevlerinde bulunmuştur. Bu arada İstanbul Darülfünunu’nda öğretim üyeliği yapmış ve Osmanlı İmparatorluğu Hukuk Danışmanı unvanını kullanmıştır.
Kont Ostrorog I.Dünya Savaşı sırasında Fransa’ya gitmiş, eşi Kontes Jeanne Ostrorog yalıda onun dönüşünü beklemiştir. Çanakkale Savaşı’nda yaralanan askerlere yalısının kapılarını açmış ve onların sağlıklarına kavuşması için elinden geleni yapmıştır.
Kandilli’deki Kont Ostrorog yalısının yaklaşık 150 yılı aşkın bir geçmişi vardır. Kont Leon Valerien’in bu yalıyı Asker Ali Paşa’nın damadı, zamanın Adliye Nazırı Servet Paşa’dan satın alınmış, 1905 yılında da yanındaki Ahmet Aşkî Paşa’nın yalısı ile birleştirilerek genişletilmiştir. Böylece iki yalının birleşmesi ile yeni bir yalı ortaya çıkmıştır.
Günümüzde arkasındaki ana caddeden uzun bir merdivenle inilen yalı çiçekli bir bahçe içerisinde yer almaktadır. Bahçesinde 1882 tarihli bir hamam aynası bir de çeşme bulunmaktadır. Bu bahçeden geniş bir kapı ile yalının salonuna girilmektedir. Bu salonun bütün kapıları açıldığı zaman önden deniz, arkadan da koru ve bahçe ile bütünleşmektedir.
Yalının harem dairesi orta sofalı karnıyarık plan tipinde olup her iki katta da aynı plan düzeni tekrarlanmıştır. Buradaki sofa dikdörtgen biçimindedir ve yalıyı ikiye bölmektedir. Kısa kenarlardan birisinde giriş, diğerinde de merdiven bulunmaktadır. Merdiven üç kollu olup, sofanın bahçe cephesini tümü ile kaplamaktadır. Yalıya hem bahçe hem de deniz tarafından giriş mevcuttur. Giriş katındaki sofa taşlık olup, köşelerine dört geniş oda yerleştirilmiştir.
İki katlı, ahşap yalının irili ufaklı 15 odası bulunmaktadır. Kafesli dikdörtgen, ince uzun çerçeveli pencerelerinin ardına boydan boya sedirler yerleştirilmiştir. Alt kattan iki taraflı merdivenlerle çıkılan üst kattaki salonun çevresinde de yine irili ufaklı odalar sıralanmıştır. Yalının odalarının tavanları Osmanlı ahşap işçiliğinin en güzel örneklerini gözler önüne sermektedir. Yalının döşeme parkeleri ise 1940 yılında Bebek’te yıkılan Köçeoğlu Yalısı’ndan satın alınarak buraya getirilmiştir. Yalıya bitişik eski deniz hamamının üzeri kapatılarak salon haline getirilmiş ve Pierre Loti’nin buraya ziyaretinden ötürü de bu bölüme Onun ismi verilmiştir. Yalının içerisi antika eşyalar, halılar, çeşitli koleksiyonlarla zenginleştirilmiştir. Buradaki Pekin işi antikaların, Çin vazoların, Çin lambalarının en güzel örnekleri bulunmaktadır. Bunların yanı sıra yalıda zengin bir kütüphane bulunmaktadır.
Ünlü Fransız yazar Pierre Loti ile Claude Farrere İstanbul’a gelişlerinde bu yalıda misafir edilmişler, onları Fransa eski Cumhurbaşkanı Georges Pompideu, Danimarka Prensesi Margarite, Dürrüşehvar Sultan gibi ünlüler de izlemiştir. Yalının bugünkü sahibi Koç Holding Onursal Başkanı Rahmi Koç'tur. Ünlü işadamı uzun yıllardır bu yalıda yaşamaktadır.
