Atatürk Yalova’ya gelişinde ilk kez Baltacı Çiftliği’ndeki köşkte kalmıştır. Ardından Millet Çiftliği’ndeki köşk yapılmıştır. Böylece bu köşkler içerisinde yer alan Atatürk Köşkü yapılmıştır. Cumhuriyet dönemi mimarisinin ilk dönem yapılarından olan bu köşk 1929 yılında Mimar Sedat Hakkı Eldem tarafından 38 günde yapılmıştır. 

Bu köşk arazi eğimine uydurulmuş, dikdörtgen planlı olup, iki katlıdır. Ayrıca çatı katından da yararlanılmıştır. Köşkün bodrum katında servis merdivenleri bulunan geniş mutfaklar yer almaktadır. Zemin katındaki giriş holünden şeref salonuna, oradan da toplantı ve yemek salonuna geçilmektedir. Sonra da bu mekân terasa açılmaktadır. Bu terastan, toplantı ve yemek salonlarından birer kapı ile girilen küçük bir çalışma odası bulunmaktadır. İkinci kat orta salona açılan odalardan meydana gelmiştir. Bu salonun girişi üzerinde Çinili Balkon adı verilen bir balkon bulunmaktadır. Orta salonun çevresi U biçiminde bir koridorla çevrilmiştir. Çinili Balkonun sağında yatak odası ile banyo vardır. Buradan da aralarında bağlantı olan iki dinlenme odasına yer verilmiştir. Orta salonun sağında kalan bölüm misafirlere ayrılan odaları içermektedir. 

Köşk cephe görünümünde iki kat boyunca ince dikdörtgen pencerelerle aydınlatılmıştır. Cephe görünümü arazi konumuna göre düzenlenmiştir. Köşkün mobilyaları ve diğer eşyaları Dolmabahçe Sarayı’ndan buraya getirilmiştir. 

Ulu Önder, Atatürk Bahçe Kültürleri Araştırma Enstitüsü bahçesinde ve deniz kenarında bulunan Köşke geldiğinde bahçıvanı ağacın dallarını kesmeye çalışırken görür. Hemen bahçıvanı yanına çağırarak bunun nedenini sorar. Bahçıvanda “Ağacın dalları Köşkün duvarına kadar uzamıştır” der. Bunun üzerine Ulu Önder “Ağacın dalını kesmeyin Köşkü kaydırın” emrini verir. Daha sonra 10 Ağustos 1930 tarihinde İstanbul'dan getirilen tren rayları üzerinde bina 4.80 cm kaydırılarak ağacın dalları kesilmekten kurtarılır. Bu yüzden de bu köşke halk arasında Yürüyen Köşk ismi verilmiştir.