В секции frontend надо прописать:

Для редиректа всего траффика:

redirect scheme https if !{ ssl_fc }

Если фронтендов/бекэндов много, и редиректить нужно по имени домена:

redirect scheme https if { hdr(Host) -i www.mydomain.com } !{ ssl_fc }