@Dame_Edna, Попробуйте с этими настройками для 23.976 → 23.976. Основной и максимальный битрейт на ваше усмотрение. Вы, конечно, знаете, что CPB Size не должен превышать 30000000 bits, но и не должен превышать максимальный битрейт. Можете снять галочку с Disable Open Gops, но тогда, возможно, будет ошибка при муксе, связанная с видео буфером.
P.S. Чуть не забыл. 
Для MPEG2 лучше использовать Harmonic ProMedia Carbon. Ссылка №2. Мне тоже не удалось закодировать MPEG2 в ATEME совместимый с Blu-ray. Harmonic ProMedia Carbon создаёт полностью совместимые MPEG2, можно подсмотреть настройки в нём.