Мод необходимо установить в папку с игрой 

 Попробовал его сейчас поставить и выяснил, что путь к игре нужно задавать ручками, инсталлятор в реестр не спешит заглядывать. Ты хоть в папку с Homeworld2 его ставил? Если нет, хоть с бубном выплясывай - толку не будет.
Но исправить это проще простого 

 Мод идёт двумя биг-файлами - 
FXMOD172.big и 
FXMODLANG.big. Первый это, собственно, сам мод, второй - язык к нему. Просто скопируй их в папку 
Data игры, создай копию ярлыка и дело в шляпе. Строка запуска игры с модом:
<путь>\homeworld2.exe -mod FXMOD172.big -locale FXMODLANG
ЗЫ. Да, всё, что сказано выше, касается версии 1.72. Если у тебя 1.711, файлы будут называться 
FXMOD1.71.big и 
FXMOD1.71_English.big соотвественно. Их и копируешь 

 Строка запуска игры кардинально не изменится:
<путь>\homeworld2.exe -mod FXMOD1.71.big -locale FXMOD1.71_English
Дерзай! 
