マウス座標を逆回転させても判定できると思います。
bx = 200 : by = 200
bcx = bx / 2
bcy = by / 2
buffer 1, bx, by
color 255 : boxf : color , 255
mes "左上"
gsel 0
cx = ginfo_winx / 2
cy = ginfo_winy / 2
*main
repeat 360
wait 10
r = 3.14 * cnt / 180
redraw 0
color 0, 255, 255 : boxf
// 回転前
color 255, 255
boxf cx-bcx, cy-bcy, cx+bcx-1, cy+bcy-1
// 回転後
gmode 3, bx, by, 200
pos cx, cy
grotate 1, 0, 0, r, bx, by
// マウス座標を回転前の位置に
mx = mousex - cx
my = mousey - cy
x = cos(-r)*mx - sin(-r)*my
y = sin(-r)*mx + cos(-r)*my
// 点を打つ(逆回転させたマウス座標)
color
boxf x+cx-1, y+cy-1, x+cx+1, y+cy+1
x += bcx
y += bcy
// 内側にあるか(回転してない時と同じ)
if (x >= 0) & (x < bx) & (y >= 0) & (y < by) : flag = 1 : else : flag = 0
if flag : title "内側" : else : title "外側"
redraw 1
loop
goto *main