Система:

x^2-2xy-y^2=7

x-3y=5

выражаем из второго х

х=5+3 у Подставляем в 1-ое:

(5+3 у) ^2-2 у (5+3 у) - у^2=7

25+30 у-9 у^2-10 у-6 у^2-y^2=7

-9y^2-6y^2-y^2=7-25-30y-10y

-16y^2=-18-40y

-16y^2+40y+18=0 | : (-4)

4y^2-10y-4.5=0

корень = 2,8

подставляем:

х=5-8,4=-3,4