Дано стороны прямоугольника А В, и радиус окружности R,

Как проверить поместится ли прямоугольник в окружности?

Прямоугольник поместится в окружности, если его диагональ меньше диаметра окружности.

Поэтому нужно проверить:

If sqrt (A*A + B*B) < = 2*R Then Print "поместится"

If sqrt (A*A + B*B) > 2*R Then Print "не поместится"

Или в одну строку

If sqrt (A*A + B*B) < = 2*R Then Print "поместится" Else Print "не поместится"

Заметьте, я написал А*А и В*В вместо A^2 и B^2, потому что операцию умножения компьютер делает намного быстрее, чем возведение в степень.