Osmanlılarda millet sistemi içerisindeki kurumsallaşmalar olan cemaatler farklılıklar göstermekteydi. Müslüman cemaatler Heterodoks ve Ortodoks olanlar olarak temelde bölünmüş olsalar da Ortodoksların XVI. yüzyılda hegemon hale gelmesine değin bu iki grup arasında bir çatışma bulunmuyordu. Müslüman Heterodoks cemaatler yerleşik katı bir hiyerarşi içerisinde, katı kurallar ve kurumsallaşmalar temelinde örgütlenmemiş, esnek düşünce yapısına sahip gruplardır. Bunun tersine, Ortodoks cemaatler katı bir kurumsallaşma içerisinde, hiyerarşik şekilde örgütlenmiş, yazılı katı kurallara sahip ve görece daha sert öğretilere sahip gruplardır. Melamiler, Bektaşiler ve Yunus Emre’nin de temsilcisi olduğu Anadolu Sufilik geleneği Heterodoksiye örnektir. Buna karşın Mevleviler, Kadızadeliler gibi cemaatler de Ortodoksi grubuna dahil olur. Burada şöyle bir karşılaştırma yapmak düşüncenin oturması için elzemdir: Türk tarihinde Ortodoks grupların Sünni olmasına karşın İran’da bu grup Şii’dir. Mamafih Ortodoksi, çağa ve şartlara göre hangi tarafın kurumsallaşabildiği ile yakından bağlantılıdır.

İki grubun da öğretisine göre hükümdarın mutlak otorite sahibi olması, kavgaları belirli çözümlere kavuşturuyordu çünkü nihayetinde iki cemaat de hükümdarın yaptırımı altındaydı ve bunu meşru görüyordu. 15. yüzyılın sonundan itibaren Heterodoksların başkentten taşraya doğru uzaklaştırılması, doğuda Şiilik düşüncesi üzerinde kurulmuş Safevilerin Osmanlı’ya meydan okuması iki grup arasındaki statükoyu Ortodoksi lehine değiştirdi. Safevilerin doğuda Kızılbaş Türkmenleri desteklemesi, Sufilerin Sünni alimler tarafından küfür içerisinde bulunduğu iddiası tüm bu değişimin kilometre taşlarıdır. Kanuni dönemi Şeyhülislamı Ebusuud Efendi’nin taşralı heterodokslar hakkındaki fetvaları dönemi anlamak için bize bir yol göstermesinin yanı sıra, Osmanlı ricalindeki kapalılığı da ortaya çıkarmaktadır.

Müslümanlar fıkıh alimleri olan kadıların özel ve kamusal yargılamalarına tabiilerdi. Hristiyanlar ise özel hukuk alanlarında kendi mahkemelerine bağlı olsalar da kamusal olarak Müslüman kadılara bağlılardı. Üstelik çoğu kez özel ticaret davalarını kadıya götürmeleri de tarafsız olacağını düşünmeleri açısından çok önemlidir. Bu bize imparatorluğun gayr-i müslim tebaasının idareye sağladığı meşruiyeti ve duyduğu güveni gösterebilir. Rum Patriği’nin tıpkı kadılar gibi atama usulüyle görev almasından dolayı gayr-i resmi değil bir devlet memuru olarak görülmüş olması dönemin Hristiyanlarının siyasal idareden dışlanmaktan ziyade bir parçası haline geldiklerini göstermektedir. Üstelik padişah tarafından verilen vergi toplama yetkisi, 1691’de vergi reformu yapılana kadar Patrik’i siyasal otoritenin ayrılmaz bir parçası haline getirmiştir.

Yahudilerin durumu ise imparatorluktaki belki de en karışık müesseselere sirayet etmişti. Doğu Roma’dan süregeldiği şekliyle hiyerarşik bir yapı kurabilen Ortodoks Hristiyanların aksine Yahudiler dünyanın çok farklı coğrafyalarında varlık gösterdiğinden dolayı parçalanmış bir yapıda cemaatleşmişlerdi. Fakat Hristiyanlar ve Yahudiler arasında uzun yüzyıllardır bulunan düşmanlık Yahudilerin Avrupa gettolarında yaşadıkları katliamların neticesinde, en büyük grup 15. yüzyıldada İberya’dan olmak üzere, Osmanlı’ya göçmelerinin ertesinde imparatorluk toplumu içinde de bir gerilim yaratmıştı. Hristiyan cemaatin Hz. İsa’nın öldürülmesinin sorumlusu olarak tuttukları ve Christ Killer olarak yaftaladıkları Yahudileri kabullenmeleri zor olmuştu. Fakat burada dengeleyici unsur 3. bir taraf olarak Müslümanlardı. Hristiyanların Yahudileri dışlamasına idare izin vermemiş, iki cemaat arasındaki olaylarda genellikle Hristiyan taraflar saldırgan olduğu için cezalandırılmıştı.

Mamafih tarihe baktığımız zaman, imparatorluk içerisinde süregelen uzun süreli bir Hristiyan-Yahudi çatışmasından söz edemeyiz. Bu da bize Pax-Ottomana teriminin pratikte de bir karşılığı olduğunu gösterir. Yahudilerin kendi içlerindeki parçalanmışlık ise hukuk düzeninde kendini hissettirmiş olmasına karşın davalar genelde Müslüman mahkemeler önüne gelmişti. Karen Barkey’in gösterdiği üzere, bir Yahudi ve bir Müslüman aynı mahkemede şahitlik yapabiliyordu. Bu imparatorluğun yarattığı iklimi anlamak için önümüze çok önemli kaideler sunar.
Ermeni cemaati ise belirsizlikler içerisindeydi. Rumlarınki gibi patrikhane statükosundan uzak sadece bölgesel olarak yetkili Ermeni Episkoposluğu bulunmaktaydı. Genel kabul gören Ermeni anlatısına göre, İstanbul’un fethinden önce Bursa’da bulunan II. Mehmet, Ermenilerin bölgedeki ruhani önderi Hovagim’e eğer fetih gerçekleşirse onu ve diğer Ermeni ileri gelenleri İstanbul’a götüreceği vaadini verdi. İstanbul’un fethinden sonra ise bunu 1461’de Ermeni Patrikliğini kurarak yerine getirdi. Osmanlı idaresi açısından asıl sorun, İstanbul’un dışında, hatta imparatorluğun dışında, başka Patriklerin de bulunmasıydı. Fakat İstanbul ve imparatorluk sınırları içerisindeki Ermeniler İstanbul’daki Ermeni Patrikhanesi’ne bağlı kalmışlardır. İmparatorluğun içerisinde Ermeniler XIX. yüzyıla kadar Müslümanlarla çok yakın bağlar kurmuşlar hatta kendilerine Müslümanlar tarafından millet-i sadıka (sadık millet) yakıştırması yapmışlardır. Ermenilerin Rumlarla ve Yahudilerle olan sorunlarında da yine Müslümanlar dengeleyici ve vesayet sisteminin hegemon gücü olarak çözümler sunmuşlardır.

İmparatorluk cemaatleri arası ilişkiler her daim aynı seviyede ilerlemese de çatışmalar günlük muhtelif olaylar olarak kalmış ve XIX. yüzyıla değin, genel kapsamlı bir toplumsal sorun ortaya çıkmamıştır. 1789’dan çok önce Balkanlarda milliyetçilik kavramı özellikle Bulgarlar yardımıyla doğabilirdi fakat imparatorluk düzeni Balkanlarda her tür etnik ayrışıma çatışmaya dönmediği müddetçe rıza göstermiş ve cemaatlerin kendi sınırlarını belirlemelerine izin vermiş olsa dahi bunu asla toplumsal bir etki-tepki meselesine dönüştürmedi. Gündelik yaşamın özel telaşlarının farkında olan Osmanlı devlet kademesinin de gayr-i müslim tebaanın kendi hayatını yaşaması için çoğu dönem şeriat hükümlerinin dışına çıkmış olması, imparatorluk ricalinin şeriat sınırlarını saydamlaştırdığını bize göstermektedir. Asker ya da yönetici devşirebildiğiniz, düzenli olarak cizye vergisi alabildiğiniz bir topluluğun gayr-i müslim kalması gayet tabii olarak imparatorluğun çıkarlarını pekiştirmekteydi.