Почему лирический герой в стихотворении М. Ю Лермонтова "кавказ", дорожит памятью о Кавказе и тоскует по нему?

Потому что само стихотворение связано с воспоминаниями поэта.

Именно сам Лермонтов прочувствовал всю нежность и трепетность имеено на Кавказе.

Самое первое впечатлене от красоты гор, на всю жизнь запечатленное в памяти, первая влюбленность, голос матери поющей колыбельную. Он вспоминает те минутки проведенные там, и наверное грустит о тех моментах, проведеных в горах.

Да же сам упоминая об этом в самом стихе:

("Чтоб вечно их помнить, там надо быть раз")