Frederick Burgess, nacido el 6 de octubre de 1853 en Providence, Rhode Island, se licenció en la Universidad de Brown en 1873, tras lo cual cursó sus estudios de teología en el Seminario Teológico General de Nueva York. Fue ordenado diácono en 1876 y, posteriormente, en 1878, fue ordenado sacerdote por el reverendísimo Thomas M. Clark. Cabe destacar que el ministerio era una tradición familiar; su tío, el Obispo George Burgess, había sido el primer Obispo de Maine. Frederick se casó con Caroline G. Bartow, y la pareja tuvo cuatro hijos —Julian Howard, Edgar Bartow, George y Frederick— antes de que Caroline falleciera en 1894.
Tras su ordenación, Burgess prestó servicio en diversas parroquias de Massachusetts, Connecticut, Pensilvania y Detroit. En 1898, el mismo año en que recibió el título honorífico de Doctor en Teología por la Universidad de Brown, se convirtió en Rector de la Iglesia Grace en Brooklyn.
En 1901, Burgess fue elegido segundo Obispo de Long Island. Fue consagrado oficialmente el 15 de enero de 1902 en la Iglesia Grace de Brooklyn Heights por el reverendísimo Henry C. Potter, Obispo de Nueva York. Desempeñó fielmente su ministerio episcopal hasta su fallecimiento en el cargo el 15 de octubre de 1925. Posteriormente, el Obispo Burgess fue enterrado en la cripta de la Catedral de la Encarnación.