うーん?
なんか質問内容を見る限りではキャプションの描画を弄るより、
「枠なしウィンドウ(bgscr)に自前で枠を作る」
方が近そうに思えるんですけど・・・
(WS_SYSMENUを追加して、WM_NCHITTESTの返り値でキャプション相当エリア、各8方向伸縮などなど振り分ける)
本題ですが、
ウィンドウメッセージのハンドルってのは、メッセージ処理を捕まえるって事。
HSPで言うところのoncmdです。で、捕まえた結果キャプションバー等に何か描画するのですが、
当然のようにHSP命令では描画できないのでWinAPI関数群で描画することになります。
(TextOutだとかFillRectだとか)
1)oncmd gosubでWM_NCPAINTを捕まえる。
2)必要であれば、DefWindowProcAを呼んでWindows標準の外枠を描いてもらう
3)自ウィンドウのハンドルから外枠を含むデバイスコンテキストを取得
(取得方法はBeginPaintではなくGetWindowDC。WM_PAINTとは違う。)
4)デバイスコンテキストに好き勝手に描画する。
5)取得したデバイスコンテキストを解放する。
6)return 0で処理を完了する。(返り値の0は省略できません。)
同様にWM_NCACTIVATEの際もやる必要があるらしいとか書いてあるのでやってみるといいかも。
この方法でいくのなら、
http://eternalwindows.jp/graphics/repaint/repaint06.html
一応こちらもそれっぽいことが書いてあるので(Cですが)頑張って読んだら分かるかも。
ちなみに、WM_NCHITTESTは$0084、WM_NCPAINTは$0085、WM_NCACTIVATEは$0086です。