При каком значении m векторы a=4i-mj и b=m (в квадрате) i+12j образуют тупой угол

Если угол тупой, то скалярное произведение меньше 0. Вектор а имеет координаты 4 и - m, вектор b имеет координаты m^2 и 12. По формуле скалярного произведения получаем 4m^2 - 12m<0. Решая квадратное неравенство получаем 0