Описание проекта (Попробуйте онлайн-версию сейчас!)
Klic Studio — это универсальное решение для локализации и улучшения аудио и видео, разработанное Krillin AI. Этот простой, но мощный инструмент объединяет перевод видео, озвучивание и клонирование голоса, поддерживает вывод в горизонтальном и вертикальном формате, обеспечивая идеальное представление на всех основных платформах (Bilibili, Xiaohongshu, Douyin, WeChat Video, Kuaishou, YouTube, TikTok и др.). С помощью рабочего процесса "от конца до конца" всего за несколько кликов вы можете преобразовать исходные материалы в готовый к использованию кросс-платформенный контент.
🎯 Запуск в один клик: Не требует сложной настройки окружения, автоматически устанавливает зависимости и готов к использованию, добавлена настольная версия для удобства!
📥 Получение видео: Поддерживает загрузку через yt-dlp или загрузку локальных файлов
📜 Точное распознавание: Высокая точность распознавания речи на основе Whisper
🧠 Интеллектуальная сегментация: Использует LLM для сегментации и выравнивания субтитров
🔄 Замена терминов: Замена профессиональной лексики в один клик
🌍 Профессиональный перевод: Перевод с контекстом с помощью LLM для сохранения естественности семантики
🎙️ Клонирование голоса: Предоставляет отборные голоса CosyVoice или кастомные клонирования голосов
🎬 Синтез видео: Автоматическая обработка видео в горизонтальном и вертикальном формате и компоновка субтитров
💻 Кросс-платформенность: Поддерживает Windows, Linux, macOS, предоставляет настольную и серверную версии
На нижнем изображении показан результат импорта локального видео длительностью 46 минут, сгенерированный файл субтитров после выполнения в один клик, без каких-либо ручных корректировок. Нет пропусков, наложений, паузы естественные, качество перевода также очень высокое.
subtitle_translation.mp4 |
tts.mp4 |
agi.mp4 |
Все локальные модели в таблице поддерживают автоматическую установку исполняемых файлов + файлов моделей, вам нужно только выбрать, остальное Klic подготовит за вас.
| Источник услуг | Поддерживаемые платформы | Доступные модели | Локально/Облачно | Примечания |
|---|---|---|---|---|
| OpenAI Whisper | Все платформы | - | Облачно | Быстрая скорость и хорошее качество |
| FasterWhisper | Windows/Linux | tiny/medium/large-v2 (рекомендуется medium+) |
Локально | Быстрее, без облачных затрат |
| WhisperKit | macOS (только для чипов M-серии) | large-v2 |
Локально | Оптимизация для Apple чипов |
| WhisperCpp | Все платформы | large-v2 |
Локально | Поддержка всех платформ |
| Aliyun ASR | Все платформы | - | Облачно | Избегайте проблем с сетью в материковом Китае |
✅ Совместимость со всеми облачными/локальными большими языковыми моделями, соответствующими OpenAI API стандартам, включая, но не ограничиваясь:
- OpenAI
- Gemini
- DeepSeek
- Tongyi Qianwen
- Локально развернутые открытые модели
- Другие API-сервисы, совместимые с форматом OpenAI
- Услуги речи от Aliyun
- OpenAI TTS
Поддерживаемые языки ввода: китайский, английский, японский, немецкий, турецкий, корейский, русский, малайский (постоянно добавляются новые)
Поддерживаемые языки перевода: английский, китайский, русский, испанский, французский и еще 101 язык
Сначала загрузите Release с исполняемым файлом, соответствующим вашей системе, следуя приведенным ниже инструкциям, выберите настольную или не настольную версию, затем поместите в пустую папку, загрузите программное обеспечение в пустую папку, так как после запуска будут созданы некоторые каталоги, управление будет проще.
【Если это настольная версия, то смотрите здесь, если файл release содержит desktop】
Настольная версия только что выпущена, чтобы решить проблему с неправильным редактированием конфигурационных файлов новичками, также есть некоторые ошибки, которые продолжают обновляться
- Дважды щелкните файл, чтобы начать использовать (на настольном компьютере также требуется настройка внутри программы)
【Если это не настольная версия, то смотрите здесь, если файл release не содержит desktop】
Не настольная версия — это первоначальная версия, настройка более сложная, но функции стабильны, также подходит для развертывания на сервере, так как будет предоставлен интерфейс в веб-формате
- Создайте папку
configвнутри папки, затем создайте файлconfig.tomlв папкеconfig, скопируйте содержимое файлаconfig-example.tomlиз каталогаconfigи заполните его вconfig.toml, следуя комментариям для заполнения вашей конфигурационной информации. - Дважды щелкните или выполните исполняемый файл в терминале, чтобы запустить службу
- Откройте браузер, введите
http://127.0.0.1:8888, чтобы начать использовать (замените 8888 на порт, указанный в конфигурационном файле)
【Если это настольная версия, то смотрите здесь, если файл release содержит desktop】
На данный момент способ упаковки настольной версии из-за проблем с подписью и т.д. не позволяет запустить его двойным щелчком или установить dmg, необходимо вручную доверять приложению, вот как:
- Откройте терминал в каталоге, где находится исполняемый файл (предположим, имя файла KlicStudio_1.0.0_desktop_macOS_arm64)
- Выполните последовательно следующие команды:
sudo xattr -cr ./KlicStudio_1.0.0_desktop_macOS_arm64
sudo chmod +x ./KlicStudio_1.0.0_desktop_macOS_arm64
./KlicStudio_1.0.0_desktop_macOS_arm64
【Если это не настольная версия, то смотрите здесь, если файл release не содержит desktop】
Это программное обеспечение не подписано, поэтому при запуске на macOS после завершения настройки файлов в "Основных шагах" также необходимо вручную доверять приложению, вот как:
- Откройте терминал в каталоге, где находится исполняемый файл (предположим, имя файла KlicStudio_1.0.0_macOS_arm64)
- Выполните последовательно следующие команды:
Это запустит службу
sudo xattr -rd com.apple.quarantine ./KlicStudio_1.0.0_macOS_arm64 sudo chmod +x ./KlicStudio_1.0.0_macOS_arm64 ./KlicStudio_1.0.0_macOS_arm64
Этот проект поддерживает развертывание Docker, пожалуйста, обратитесь к Инструкции по развертыванию Docker
Если вы столкнулись с проблемой загрузки видео
Пожалуйста, обратитесь к Инструкции по настройке Cookie для настройки вашей информации о Cookie.
Самый быстрый и удобный способ настройки:
- Заполните
transcribe.provider.nameкакopenai, так вам нужно будет заполнить только блокиtranscribe.openaiи конфигурацию большой модели в блокеllmдля перевода субтитров. (app.proxy,modelиopenai.base_urlзаполняйте по своему усмотрению)
Способ настройки с использованием локальной модели распознавания речи (учитывая стоимость, скорость и качество)
- Заполните
transcribe.provider.nameкакfasterwhisper,transcribe.fasterwhisper.modelзаполните какlarge-v2, затем заполнитеllmдля конфигурации большой модели, и локальная модель будет автоматически загружена и установлена. (app.proxyиopenai.base_urlаналогично выше)
Текст в речь (TTS) является необязательным, логика настройки такая же, заполните tts.provider.name, затем заполните соответствующий блок конфигурации под tts, код звука в UI заполняйте согласно документации выбранного поставщика (адреса документации указаны в разделе часто задаваемых вопросов ниже). Заполнение таких данных, как aksk от Aliyun, может повторяться, это сделано для обеспечения ясности структуры конфигурации.
Обратите внимание: если вы используете клонирование голоса, tts поддерживает только выбор aliyun.
Для получения AccessKey, Bucket, AppKey от Aliyun, пожалуйста, прочитайте：Инструкция по настройке Aliyun
Пожалуйста, поймите, что задача = распознавание речи + перевод большой модели + услуги речи (TTS и т.д., необязательно), это поможет вам понять конфигурационный файл.
Пожалуйста, перейдите к Часто задаваемым вопросам
- Не отправляйте бесполезные файлы, такие как .vscode, .idea и т.д., пожалуйста, используйте .gitignore для фильтрации
- Не отправляйте config.toml, вместо этого используйте config-example.toml
- Присоединяйтесь к нашей группе QQ для получения ответов на вопросы: 754069680
- Подписывайтесь на наши социальные сети, Bilibili, ежедневно делимся качественным контентом в области AI технологий