Если ты сохраняешь выделение как отдельный канал, его название должно быть
Alpha 
Чтобы не быть голословным - смотри аттачи (оригинальное изображение топора ни на бит не изменилось, просто появился ещё один канал). Хотя для достижения наилучшего эффекта альфа-канал ещё придётся рихтовать чёрно-белым карандашиком, чтобы получить более плавный и естественный переход цветов.
Либо подготовить монохромное изображение в отдельном слое, которое и станет альфой, все остальные слои погасить и в качестве канала сохранить всё видимое изображение. Для проверки слоя можно разместить его в самом верху с режимом совмещения
Multiply.
Сохранять в TGA, естественно, нужно с галкой
Alpha Channels в режиме 32 бита на пиксел.
PS. Проверял в Photoshop 6.0 и 9.0 (CS2 который).