HSPが高DPIに対応していないので、
自動的にスケーリングされてボケた表示になっているだけかと。
HSP以外でも非対応のアプリはボケてしまいますね。
対応するには、HSPのランタイムのマニフェストをResourceHackerなどで編集するか、
SetProcessDPIAwareを呼び出せばよいかと。
http://hsp.tv/play/pforum.php?mode=pastwch&num=72733#72865
ただし、ウィンドウサイズやウィンドウ内に描画されるものも小さくなりますので、
DPIの値に応じて自分で拡大してあげる必要がありますが。
#uselib "user32"
#func SetProcessDPIAware "SetProcessDPIAware"
SetProcessDPIAware
dialog "test"
それか、Windows 10 Creators Update からスケーリング若干改良されているので、
それで妥協するか。
http://pcmanabu.com/improved-high-dpi-support-for-desktop-apps/