Nasreddin Hoca’nın torunu olan Sivrihisar Kadısı Müderris Celaleddin Emin Arif’in oğludur. 6 Ağustos 1407 yılında babası Sivrihisar’da kadı iken dünyaya gelmiştir. İlk tahsilini babasından aldıktan sonra Molla Yegan’ın Bursa Medresesi’nde verdiği derslere devam etmiştir. Tahsilinin ardından tekrar Sivrihisar’a dönen Hızır Bey, Sivrihisar’da müderrislik ve kadılık görevlerinde bulunmuştur. Orada bulunduğu süre içerisinde Kurşunlu Mahallesi’ndeki evini okul yapıp vakfa bağışladı. Fatih Sultan Mehmet, fetih öncesinde Edirne’de katıldığı bir toplulukta bir Arap bilgininin sorularının yanıtlanamadığını görünce çok kızar, adamlarına bu bilgine cevap verecek bir alim kişi bulmalarını söyler. Hızır Bey’i bu iş için uygun bulan görevliler onu bulup ikna ederler ve Hızır Bey Edirne’ye bir sipahi kılığında gelir. İlk bakışta görünümünden dolayı Hızır Bey’i küçük gören Arap bilgin sorduğu bütün sorulara cevap alınca oldukça şaşırır. Hızır Bey’in sorusuna ise bu bilgin cevap veremez ve yenilmiş olur. Bu duruma oldukça sevinen Fatih, Hızır Bey’i Bursa Sultaniye Medresesi baş müderrisliğine, ardında da Edirne Medreseleri’nin baş müderrisliğine getirir. İstanbul’un fethine bir sipahi olarak bizzat katılan Hızır Bey, fethin ikinci günü F.Sultan Mehmet’çe İstanbul Kadılığı’na ve Belediye Başkanlığı’na getirilir. İyi bir hatip olmasının yanında üç dil ile şiir yazabilecek bilgiye de sahiptir.