Функции | Зависимости | Системные требования | Установка | Вики | Благодарность разработчикам | Лицензии
Простой и удобный интерфейс для использования различных моделей нейронных сетей. Вы можете общаться с LLM, используя текстовый, голосовой и визуальный ввод; использовать StableDiffusion, Kandinsky, Flux, HunyuanDiT, Lumina-T2X, Kolors, AuraFlow, Würstchen, DeepFloydIF, PixArt, CogView3-Plus и PlaygroundV2.5 для генерации изображений; ModelScope, ZeroScope 2, CogVideoX и Latte для генерации видео; StableFast3D, Shap-E, и Zero123Plus для генерации 3D-объектов; StableAudioOpen, AudioCraft и AudioLDM 2 для генерации музыки и аудио; CoquiTTS, MMS и SunoBark для преобразования текста в речь; OpenAI-Whisper и MMS для преобразования речи в текст; Wav2Lip для синхронизации губ; LivePortrait для анимации изображений; Roop для замены лиц; Rembg для удаления фона; CodeFormer для восстановления лиц; PixelOE для пикселизации изображений; DDColor для раскрашивания изображений; LibreTranslate и SeamlessM4Tv2 для перевода текста; Demucs и UVR для разделения аудиофайлов; RVC для преобразования голоса. Вы также можете просматривать файлы из выходной директории в галерее, загружать модели LLM и StableDiffusion, изменять настройки приложения внутри интерфейса и проверять системные датчики.
Цель проекта - создать максимально простое в использовании приложение для работы с моделями нейронных сетей.
- Легкая установка через install.bat (Windows) или install.sh (Linux & MacOS)
- Возможность использования приложения через мобильное устройство в локальной сети (через IPv4) или в интернете (через Share)
- Гибкий и оптимизированный интерфейс (на основе Gradio)
- Ведение журнала отладки в логах из файлов
Install
иUpdate
- Доступно на трех языках
- Поддержка моделей Transformers, BNB, GPTQ, AWQ, ExLlamaV2 и llama.cpp (LLM)
- Поддержка моделей diffusers и safetensors (StableDiffusion) - txt2img, img2img, depth2img, marigold, pix2pix, controlnet, upscale (latent), refiner, inpaint, outpaint, gligen, diffedit, blip-diffusion, animatediff, hotshot-xl, video, ldm3d, sd3, cascade, t2i-ip-adapter, ip-adapter-faceid и riffusion вкладки
- Поддержка моделей stable-diffusion-cpp для FLUX и Stable Diffusion
- Поддержка дополнительных моделей для генерации изображений: Kandinsky (txt2img, img2img, inpaint), Flux (txt2img с поддержкой cpp quantize и LoRA, img2img, inpaint, controlnet), HunyuanDiT (txt2img, controlnet), Lumina-T2X, Kolors (txt2img с поддержкой LoRA, img2img, ip-adapter-plus), AuraFlow (с поддержкой LoRA и AuraSR), Würstchen, DeepFloydIF (txt2img, img2img, inpaint), PixArt, CogView3-Plus и PlaygroundV2.5
- Поддержка Extras с моделями Rembg, CodeFormer, PixelOE, DDColor, DownScale, Format changer, FaceSwap (Roop) и Upscale (Real-ESRGAN) для изображений, видео и аудио
- Поддержка StableAudio
- Поддержка AudioCraft (Модели: musicgen, audiogen и magnet)
- Поддержка AudioLDM 2 (Модели: audio и music)
- Поддержка моделей TTS и Whisper (Для LLM и TTS-STT)
- Поддержка MMS для преобразования текста в речь и речи в текст
- Поддержка моделей Lora, Textual inversion (embedding), Vae, MagicPrompt, Img2img, Depth, Marigold, Pix2Pix, Controlnet, Upscale (latent), Refiner, Inpaint, Outpaint, GLIGEN, DiffEdit, BLIP-Diffusion, AnimateDiff, HotShot-XL, Videos, LDM3D, SD3, Cascade, T2I-IP-ADAPTER, IP-Adapter-FaceID и Riffusion (Для StableDiffusion)
- Поддержка модели Multiband Diffusion (Для AudioCraft)
- Поддержка LibreTranslate (Локальный API) и SeamlessM4Tv2 для переводов языков
- Поддержка ModelScope, ZeroScope 2, CogVideoX и Latte для генерации видео
- Поддержка SunoBark
- Поддержка Demucs и UVR для разделения аудиофайлов
- Поддержка RVC для преобразования голоса
- Поддержка StableFast3D, Shap-E и Zero123Plus для 3D генерации
- Поддержка Wav2Lip
- Поддержка LivePortrait для анимации изображений
- Поддержка Multimodal (Moondream 2, LLaVA-NeXT-Video, Qwen2-Audio), PDF-Parsing (OpenParse), TTS (CoquiTTS), STT (Whisper), LORA и WebSearch (с DuckDuckGo) для LLM
- Просмотр MetaData-Info для сгенерированных изображений, видео и аудио
- Настройки моделей внутри интерфейса
- Онлайн и оффлайн Wiki
- Галерея
- ModelDownloader
- Настройки приложения
- Возможность просмотра системных датчиков
- C+ компилятор
- Windows: VisualStudio, VisualStudioCode и Cmake
- Linux: GCC, VisualStudioCode и Cmake
- Система: Windows, Linux или MacOS
- GPU: 6GB+ или CPU: 8 ядер 3.6GHZ
- ОЗУ: 16GB+
- Место на диске: 20GB+
- Интернет для загрузки моделей и установки
- Сначала установите все Необходимые зависимости
Git clone https://github.com/Dartvauder/NeuroSandboxWebUI.git
в любое место- Запустите
Install.bat
, выберите свою версию и дождитесь установки - После установки запустите
Start.bat
и пройдите начальную настройку - Дождитесь запуска приложения и перейдите по ссылке из терминала
- Теперь вы можете начинать генерацию. Наслаждайтесь!
- Для получения обновлений запустите
Update.bat
- Для работы с виртуальной средой через терминал запустите
Venv.bat
- Сначала установите все Необходимые зависимости
Git clone https://github.com/Dartvauder/NeuroSandboxWebUI.git
в любое место- Запустите
./Install.sh
, выберите свою версию и дождитесь установки - После установки запустите
./Start.sh
и пройдите начальную настройку - Дождитесь запуска приложения и перейдите по ссылке из терминала
- Теперь вы можете начинать генерацию. Наслаждайтесь!
- Для получения обновлений запустите
./Update.sh
- Для работы с виртуальной средой через терминал запустите
./Venv.sh
Большое спасибо этим проектам, потому что благодаря их приложениям/библиотекам я смог создать свое приложение:
Прежде всего, я хочу поблагодарить разработчиков PyCharm и GitHub. С помощью их приложений я смог создать и поделиться своим кодом
gradio
- https://github.com/gradio-app/gradiotransformers
- https://github.com/huggingface/transformersauto-gptq
- https://github.com/AutoGPTQ/AutoGPTQautoawq
- https://github.com/casper-hansen/AutoAWQexllamav2
- https://github.com/turboderp/exllamav2coqui-tts
- https://github.com/idiap/coqui-ai-TTSopenai-whisper
- https://github.com/openai/whispertorch
- https://github.com/pytorch/pytorchcuda-python
- https://github.com/NVIDIA/cuda-pythongitpython
- https://github.com/gitpython-developers/GitPythondiffusers
- https://github.com/huggingface/diffusersllama.cpp-python
- https://github.com/abetlen/llama-cpp-pythonstable-diffusion-cpp-python
- https://github.com/william-murray1204/stable-diffusion-cpp-pythonaudiocraft
- https://github.com/facebookresearch/audiocraftxformers
- https://github.com/facebookresearch/xformersdemucs
- https://github.com/facebookresearch/demucslibretranslatepy
- https://github.com/argosopentech/LibreTranslate-pyrembg
- https://github.com/danielgatis/rembgsuno-bark
- https://github.com/suno-ai/barkIP-Adapter
- https://github.com/tencent-ailab/IP-AdapterPyNanoInstantMeshes
- https://github.com/vork/PyNanoInstantMeshesCLIP
- https://github.com/openai/CLIPrvc-python
- https://github.com/daswer123/rvc-pythonaudio-separator
- https://github.com/nomadkaraoke/python-audio-separatorpixeloe
- https://github.com/KohakuBlueleaf/PixelOEk-diffusion
- https://github.com/crowsonkb/k-diffusionopen-parse
- https://github.com/Filimoa/open-parseAudioSR
- https://github.com/haoheliu/versatile_audio_super_resolutionsd_embed
- https://github.com/xhinker/sd_embedtriton
- https://github.com/triton-lang/triton/
Многие модели имеют свои собственные лицензии на использование. Перед использованием я советую вам ознакомиться с ними:
- Transformers
- AutoGPTQ
- AutoAWQ
- exllamav2
- llama.cpp
- stable-diffusion.cpp
- CoquiTTS
- OpenAI-Whisper
- LibreTranslate
- Diffusers
- StableDiffusion1.5
- StableDiffusion2
- StableDiffusion3
- StableDiffusion3.5
- StableDiffusionXL
- StableCascade
- LatentDiffusionModel3D
- StableVideoDiffusion
- I2VGen-XL
- Rembg
- Shap-E
- StableAudioOpen
- AudioCraft
- AudioLDM2
- Demucs
- SunoBark
- Moondream2
- LLaVA-NeXT-Video
- Qwen2-Audio
- ZeroScope2
- GLIGEN
- Wav2Lip
- Roop
- CodeFormer
- ControlNet
- AnimateDiff
- Pix2Pix
- Kandinsky 2.1; 2.2; 3
- Flux-schnell
- Flux-dev
- HunyuanDiT
- Lumina-T2X
- DeepFloydIF
- PixArt
- CogVideoX
- Latte
- Kolors
- AuraFlow
- Würstchen
- ModelScope
- StableFast3D
- Zero123Plus
- Real-ESRGAN
- Refiner
- PlaygroundV2.5
- AuraSR
- IP-Adapter-FaceID
- T2I-IP-Adapter
- MMS
- SeamlessM4Tv2
- HotShot-XL
- Riffusion
- MozillaCommonVoice17
- UVR-MDX
- RVC
- DDColor
- PixelOE
- LivePortrait
- MagicPrompt
- Marigold
- BLIP-Diffusion
- Consistency-Decoder
- Tiny-AutoEncoder
- CogView3-Plus