Fix dynamic lora path too.

[Ph0rk0z]

It's slower but it works and now allows compiling with dynamic vram off.

[Ph0rk0z]

Here's the benchmarks again.

Disable Dynamic Vram!

Klein 4 lora stochastic - Reroll

[INFO] got prompt
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:05<00:00,  1.45s/it]
[INFO] Prompt executed in 6.05 seconds

Klein 4 lora stochastic - Reroll Compiled

100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:05<00:00,  1.35s/it]
[INFO] Prompt executed in 5.64 seconds

Klein 4 Lora Dynamic - Reroll

INFO] got prompt
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:11<00:00,  2.77s/it]
[INFO] Prompt executed in 11.40 seconds

Klein 4 Lora Dynamic - Reroll Compiled (this path still busted?)

100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:57<00:00, 14.38s/it]
[INFO] Prompt executed in 57.75 seconds

Klein 4 Lora Dynamic - Reroll Compiled (post clauderization)

Needs: export TORCHINDUCTOR_EMULATE_PRECISION_CASTS=1

[INFO] got prompt
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:09<00:00,  2.42s/it]
[INFO] Prompt executed in 9.93 seconds

Enable dynamic Vram!

Stochastic lora - Reroll

100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:06<00:00,  1.64s/it]
[INFO] Model TAESD prepared for dynamic VRAM loading. 10MB Staged. 0 patches attached. Force pre-loaded 16 weights: 12 KB.
[INFO] Prompt executed in 6.46 seconds

Stochastic Lora - Compiled (thanks rattus)

100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [01:11<00:00, 17.76s/it]
[INFO] Model TAESD prepared for dynamic VRAM loading. 10MB Staged. 0 patches attached. Force pre-loaded 16 weights: 12 KB.
[INFO] Prompt executed in 62.65 seconds

Stochastic Lora - Compiled (dynamic disabled at node) It's not very effective.

100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:59<00:00, 14.91s/it]
[INFO] Model TAESD prepared for dynamic VRAM loading. 10MB Staged. 0 patches attached. Force pre-loaded 16 weights: 12 KB.
[INFO] Prompt executed in 52.74 seconds

I guess now to find out why the KJ nodes can't disable dynamic vram from a switch.

[Ph0rk0z]

klein-9b-4lorav2ST.json

Here's the wf btw.