Küçükhüyük kasabasının bulunduğu Sincanlı ovasında M.Ö. 4000 yıllarından itibaren insan yaşadığı bilinmektedir. Kasabamızda yapılan araştırmalarda ise M.Ö. 2500–2000 yıllarına ait kalıntılar bulunmuştur. Ülkemizde bulunan birçok Hüyük gibi kasabamıza adını veren Hüyük de eski tunç çağına ait bir yerleşim yeridir. Bölgede bulunan ve müzede sergilenen kol biçiminde konik bir kap ile yonca ağızlı testi kasabamızın Hitit hâkimiyetine girdiğini ve Hititler zamanında yerleşim yeri olduğunun kanıtıdır.
Hititlerden sonra sırasıyla Frig, Lidya, Pers, Büyük İskender ve Romalılar bu bölgeye hâkim olmuştur. Romalılardan önceki dönemlere ait henüz önemli bulgulara rastlanmamıştır. Roma imparatorluğu zamanında ise kasabamızın ismi CİDYESSUS (Küçükhüyük) Afyonkarahisar’da para basılabilen (18) on sekiz şehirden biri olmuştur. Bu dönemde imparator adına yarı özerk olarak bronz sikkeler kesilmiştir. Romalılardan sonra Anadolu’ya hâkim olan Bizans imparatorluğu zamanında Afyonkarahisar’da ki diğer yerleşim yerleri (Amorium hariç) gibi kasabamız da önemini yitirmiştir.
Selçuklu Türklerinin Anadolu’ya girmesinden sonra 1200’lü yıllarda Sincanlı ovası fethedilmiş ve Türkleştirilmeye başlanmıştır. Bu tarihlerde Sincanlı ovasında bulunan yerleşim yerlerine Oğuz boylarından Bayat ve Dodurga boyları yoğun olarak yerleştirilmiştir. Selçuklu devletinin yıkılmasından sonra kasabamızın bulunduğu Sincanlı ovasına önce Sahibata oğulları sonrada Germiyan beyliği hakim olmuştur. 1429 yılında Germiyan beyliğinin ortadan kalkmasıyla kasabamız Osmanlı devletinin hakimiyetine girmiştir. 16 yy. da Karahisar sancağına bağlı Sincanlı nahiyesinin bir köyü olarak kasabamızın ismi belgelerde “Küçükhöyük” olarak geçmektedir.
Osmanlı devleti zamanında Sincanlı ovasına Oğuz boylarından gelen Yörük-Türkmen aşiretlerinin yerleşmeleri devam etmiştir. Bu aşiretlerden bir tanesinin ismi YAHŞİBEY’dir. Kasabamızda bulunan Yahşibey (Başıbey) mevki büyük ihtimalle ismini bu aşiret den almıştır. Bu mevkide bulunan mezarın ise bu aşiretin beylerinden birine ait olduğu düşünülmektedir..
Kasabamızda bulunan ve 1708 tarihlerinde yaptırılan merkez cami bugün hala ibadethane olarak kullanılmakta ve Osmanlı döneminin bir eseri olarak yaşatılmaktadır.
Kasabamız 1992 yılına kadar köy olarak idare edilmiş ve bu tarihten sonra belde vasfını almıştır. Beldemizde Atatürk, Cumhuriyet, Fatih, Kurtuluş ve Zafer isminde 5 mahalle bulunmaktadır.
