Надо просто вырезать нужный кусок растра и попытаться преобразовать в формат, запихуемый запихиваемый в 3ds Max.
Про то, как сгладить рельеф (растр) в QGIS с помощью разных инструментов, пож-та, новую тему на форуме QGIS.
"Макс" работает как с векторами (моделирование, всё-таки), так и с растрами (в основном, для текстур, как я понимаю).
P.S. С "максом" лично я не работал пока ни минуты
