Нужно решить систему

x^2-2xy+y^2=1

x^2+xy-4y^2=2

Так. Значит выражаем из первого выражения x:

(x-y) ^2=1

Такое может быть, только если x-y = 1 = > x=y+1;

Подставляем под второе выражение: (y+1) ^2+y (y+1) - 4y^2=2

y^2+2y+1+y^2+y-4y^2-2=0

2y^2-3y+2=0

D = 9-8=1

y = (3±1) / 2 = 2 или 1

Подставляем в x=y+1 = > x=3 или 2