5sin^2 x + 3sin x*cos x - cos^2 x=3

5sin^2 x + 3sin x*cos x - cos^2 x=3

5sin^2 x + 3sin x*cos x - cos^2 x-3sin^2x-3cos^2x=0

2sin^2x+3sinxcosx-4cos^2x=0 делим все на cos^2x

2tg^2x+3tgx-4=0

tgx=t

2t^2+3t-4=0

D=9+32=41

t = (-3+корень из 41) / 4

возможно ты неправильно списала, так как решение правильное