Skip to content

Commit 1e63fcd

Browse files
committed
defaults for quickstart
1 parent d8477be commit 1e63fcd

File tree

1 file changed

+9
-9
lines changed

1 file changed

+9
-9
lines changed

eval_protocol/cli.py

Lines changed: 9 additions & 9 deletions
Original file line numberDiff line numberDiff line change
@@ -391,25 +391,25 @@ def parse_args(args=None):
391391
rft_parser.add_argument("--base-model", help="Base model resource id")
392392
rft_parser.add_argument("--warm-start-from", help="Addon model to warm start from")
393393
rft_parser.add_argument("--output-model", help="Output model id (defaults from evaluator)")
394-
rft_parser.add_argument("--epochs", type=int)
395-
rft_parser.add_argument("--batch-size", type=int)
396-
rft_parser.add_argument("--learning-rate", type=float)
397-
rft_parser.add_argument("--max-context-length", type=int)
398-
rft_parser.add_argument("--lora-rank", type=int)
399-
rft_parser.add_argument("--accelerator-count", type=int)
394+
rft_parser.add_argument("--epochs", type=int, default=8)
395+
rft_parser.add_argument("--batch-size", type=int, default=128000)
396+
rft_parser.add_argument("--learning-rate", type=float, default=3e-5)
397+
rft_parser.add_argument("--max-context-length", type=int, default=65536)
398+
rft_parser.add_argument("--lora-rank", type=int, default=16)
399+
rft_parser.add_argument("--accelerator-count", type=int, default=1)
400400
rft_parser.add_argument("--region", help="Fireworks region enum value")
401401
rft_parser.add_argument("--display-name", help="RFT job display name")
402402
rft_parser.add_argument("--evaluation-dataset", help="Optional separate eval dataset id")
403403
rft_parser.add_argument("--eval-auto-carveout", dest="eval_auto_carveout", action="store_true", default=True)
404404
rft_parser.add_argument("--no-eval-auto-carveout", dest="eval_auto_carveout", action="store_false")
405405
# Rollout chunking
406-
rft_parser.add_argument("--chunk-size", type=int, help="Data chunk size for rollout batching")
406+
rft_parser.add_argument("--chunk-size", type=int, default=10, help="Data chunk size for rollout batching")
407407
# Inference params
408408
rft_parser.add_argument("--temperature", type=float)
409409
rft_parser.add_argument("--top-p", type=float)
410410
rft_parser.add_argument("--top-k", type=int)
411-
rft_parser.add_argument("--max-tokens", type=int)
412-
rft_parser.add_argument("--n", type=int)
411+
rft_parser.add_argument("--max-tokens", type=int, default=32768)
412+
rft_parser.add_argument("--n", type=int, default=8)
413413
rft_parser.add_argument("--inference-extra-body", help="JSON string for extra inference params")
414414
# Wandb
415415
rft_parser.add_argument("--wandb-enabled", action="store_true")

0 commit comments

Comments
 (0)