تاریخ ساخت برج کبوترخانه اصفهان دقیقا معلوم نیست. اما، در کل کبوترخانه های ایران را به 1200 سال پیش نسبت می دهند. بر اساس کتاب تاریخ ابن کثیر، کبوتر بازی در ایران در قرن 4 و 5 معمول بود. اما، چون کبوتر بازها برای مردم ایجاد مزاحمت می کردند گاه فرمانروایان دستور می دادند آنها را خراب کنند. در کل، کبوترخانه ها برای بازی با کبوترها یا تفریح و تزئین ساخته نشده اند و هدف از ساخت آنها استفاده از کود یا گوشت آنها بوده است. در طول قرن شانزده و هفده میلادی مخصوصا در زمان سلطنت صفویان، ایرانیان تعداد زیادی برج مخصوص اسکان کبوتران ساختند.
در دور و اطراف اصفهان چیزی حدود ۳ هزار برج کبوتر وجود دارد که البته در گذشته تعداد زیادی بوده است اما امروزه تعداد آن ها کمتر شده است. در هر کدام از این برج ها به خصوص در برج کبوتر خانه اصفهان گاهی تا ۲۵۰۰۰ کبوتر هم زیست می کرده اند و معماری پر دقت آن باعث شده تا هیچ پرنده ای دیگری نتواند وارد این برج شده و امنیت کبوتر ها را بر هم زند.
