6sin^2x=5sinxcosx-cos^2x

Правую часть относительно равенства перенесите влево и разделите всё уравнение на косинус в квадрате

сделайте замену и перейдите к квадратному уравнению.

6sin^2x-5sinxcosx+cos^2x=0

6sin^2x/cos^2x - (5sinxcosx/cos^2x) + cos^2x/cos^2x=0

6tg^2x-5tgx+1=0

tgx=t

6t^2-5t+1=0

D=25-24=1

x1=1/3 x2=1/2

tgx=1/3 x=arctg1/3

tgx=1/2. x=arctg1/2