KSAT-AI-Benchmark/env.example at main · roboco-io/KSAT-AI-Benchmark · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
# KSAT AI Benchmark - Environment Variables Template
# 이 파일을 .env로 복사하고 실제 API 키를 입력하세요

# ============================================
# AI Model API Keys
# ============================================

# OpenAI API Key
# https://platform.openai.com/api-keys
OPENAI_API_KEY=sk-your-openai-api-key-here

# Anthropic API Key
# https://console.anthropic.com/settings/keys
ANTHROPIC_API_KEY=sk-ant-your-anthropic-api-key-here

# Google AI API Key (Gemini)
# https://makersuite.google.com/app/apikey
GOOGLE_API_KEY=your-google-api-key-here

# Upstage API Key (Solar)
# https://console.upstage.ai/api-keys
UPSTAGE_API_KEY=your-upstage-api-key-here

# Perplexity API Key
# https://www.perplexity.ai/settings/api
PERPLEXITY_API_KEY=your-perplexity-api-key-here

# Cohere API Key (Optional)
COHERE_API_KEY=your-cohere-api-key-here

# Hugging Face API Token (Optional)
HUGGINGFACE_API_TOKEN=your-huggingface-token-here

# ============================================
# Evaluation Settings
# ============================================

# 각 문제당 최대 대기 시간 (초)
TIMEOUT=60

# API 호출 실패 시 재시도 횟수
MAX_RETRIES=3

# 재시도 간 대기 시간 (초)
RETRY_DELAY=5

# 병렬 실행 워커 수 (0 = 순차 실행)
MAX_WORKERS=0

# ============================================
# Rate Limiting
# ============================================

# API 호출 간 최소 대기 시간 (초)
API_CALL_DELAY=1

# 분당 최대 API 호출 수
MAX_REQUESTS_PER_MINUTE=60

# ============================================
# Output Settings
# ============================================

# 결과 저장 경로
RESULTS_DIR=results

# 로그 레벨 (DEBUG, INFO, WARNING, ERROR, CRITICAL)
LOG_LEVEL=INFO

# 로그 파일 경로
LOG_FILE=logs/evaluator.log

# ============================================
# Development Settings
# ============================================

# 개발 모드 활성화 (True/False)
DEBUG=False

# 테스트 모드 (제한된 문제만 실행)
TEST_MODE=False

# 테스트 모드 시 실행할 문제 수
TEST_QUESTIONS_LIMIT=5

# ============================================
# GitHub Actions Settings (자동 설정)
# ============================================

# GitHub Token (Actions에서 자동 설정됨)
# GITHUB_TOKEN=

# GitHub Repository
# GITHUB_REPOSITORY=roboco-io/KSAT-AI-Benchmark

# ============================================
# Optional: Custom Model Endpoints
# ============================================

# 커스텀 OpenAI 호환 API 엔드포인트
# CUSTOM_API_ENDPOINT=https://your-custom-api.com/v1

# 커스텀 API 키
# CUSTOM_API_KEY=your-custom-api-key

# ============================================
# Monitoring & Alerts (Optional)
# ============================================

# Slack Webhook URL (에러 알림용)
# SLACK_WEBHOOK_URL=https://hooks.slack.com/services/YOUR/WEBHOOK/URL

# Discord Webhook URL (에러 알림용)
# DISCORD_WEBHOOK_URL=https://discord.com/api/webhooks/YOUR/WEBHOOK/URL

# Email 알림 설정
# SMTP_HOST=smtp.gmail.com
# SMTP_PORT=587
# SMTP_USERNAME=your-email@gmail.com
# SMTP_PASSWORD=your-app-password
# ALERT_EMAIL=alert-recipient@example.com

# ============================================
# Advanced Settings
# ============================================

# 캐싱 활성화 (동일 문제 재평가 방지)
ENABLE_CACHING=True

# 캐시 만료 시간 (일)
CACHE_EXPIRY_DAYS=30

# 상세 로그 저장 (모든 API 응답 기록)
VERBOSE_LOGGING=False

# 프롬프트 온도 (0.0 - 1.0, 낮을수록 일관된 답변)
DEFAULT_TEMPERATURE=0.3

# 최대 토큰 수
DEFAULT_MAX_TOKENS=2000