タスクバーでグループされるかどうかを決めるのは、そのアプリケーションに割り当てられたアプリケーションIDというものを使うようです。
そしてこのアプリケーションIDは、通常はWindows側で自動設定されますが、アプリケーション側が独自に決めることもできます。
https://docs.microsoft.com/ja-jp/archive/msdn-magazine/2009/july/windows-7-taskbar-apis
アプリケーションIDの指定には、SetCurrentProcessExplicitAppUserModelIDという関数を使います。
https://docs.microsoft.com/ja-jp/windows/win32/api/shobjidl_core/nf-shobjidl_core-setcurrentprocessexplicitappusermodelid
注意すべきなのは、SetCurrentProcessExplicitAppUserModelID をウィンドウが初期化される前に呼び出すことです。
なのでHSP3では #packopt hide 1 を指定してデフォルトで非表示状態に設定し、SetCurrentProcessExplicitAppUserModelID を呼び出したあとに screen でウィンドウを初期化します。
ただしこの #packopt hide 1 はデバッグモードでは機能しないので、効果を得るためにはCtrl+F9で作成した実行ファイルを起動します。
// デフォルトでウィンドウが作成されるのを防ぐために #packopt hide 1 する
#packopt hide 1
#include "shell32.as"
// アプリケーションID
sdim AppID
AppID = "HSPTestApp"
// 文字列をUTF-16に変換
sdim AppID_uni, strlen(AppID) * 2 + 2
cnvstow AppID_uni, AppID
// アプリケーションIDを登録
SetCurrentProcessExplicitAppUserModelID varptr(AppID_uni)
if (stat != 0) : dialog "エラー"
// SetCurrentProcessExplicitAppUserModelID よりも後で screen する
screen 0, 640, 480