Петр Олегович Толстой происходит из дворянского рода Толстых. Среди предков известного телеведущего был граф Лев Толстой, а также купец Савва Мамонтов.