HandBrake хорош тем, что при комфортном сжатии(соотношение размер/качество), он ещё и выдерживает "железячные" стандарты и стандарты HTML5, то есть для онлайн просмотра. Я только не вижу смысла "сжимать" чем то "в h264", а потом им снова сжимать "более качественно" опять в h264(как это указывалось ранее. В том же гайде который указал Savi, четко обозначено, что HandBrake принимаеи на входе очень много разных форматов, так зачем же пережимать лишний раз???). Потому как x265 по сути им же(h264) и является....

Как и чем сжать этот файл,хотя бы до 100 мб,но что бы не сильно размить видео?
Чудес не бывает. Пол часа видео, в 100 мегабайт НЕВОЗМОЖНО ничем, сжать с приемлимым качеством. Особенно если речь идет про изначально lossy Fullhd исходник. Тут метров 400 минимум. Иначе НИКАК.