StableDifusion
Установка
- Установить гит https://git-scm.com/download/win
- Установить python 3.10.6 (https://www.python.org/downloads/windows/) c галкой add to PATH
- Установить CUDA https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local
- в git bush (или в VC в терминале)
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
Создаст папку там где запущен баш (C:\Users\Misha\stable-diffusion-webui)
git pull — чтобы обновить (из папки stable-diffusion-webui)
Или скачать https://github.com/AUTOMATIC1111/stable-diffusion-webui/archive/refs/tags/v1.6.0.zip - Запустить webui-user.bat (ждать 15 мин)
Если ловим ошибку TypeError: AsyncConnectionPool.__init__() got an unexpected keyword argument ‘socket_options’
source venv/Scripts/activate
pip install httpx==0.24.1
Для автоматического обновления — дописать в код webui-user.bat
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS= --autolaunch --xformers --medvram --opt-sdp-attention
git pull
call webui.bat
Если xformers не поставился
set COMMANDLINE_ARGS= --reinstall-xformers --xformers
xformers нужен для снижения нагрузки на видеокарту, работает на архитектурах: turing, hopper, pascal, ampere, ada lovelace
- Ставим свои модели в C:\StableDifusion\stable-diffusion-webui-1.6.0\models\Stable-diffusion
- Чтобы поменять значения при запуске — редактировать ui-config.json
Автономная версия (xrist)
Не работают XL модели
https://github.com/serpotapov/stable-diffusion-portable
разархивировать — webui-user-first-run.cmd
Модели ставить сюда
C:\stable-diffusion-portable-main\models\Stable-diffusion\
Запускать тут
webui-user.bat
Дополнительные модели
https://huggingface.co/XpucT/Deliberate/tree/main
mj — в начале промта чтобы эмулировать стиль миджорни
cinematic — добавить кинематографичности
cozy — добавить уюта
Локальный сервер
Отредактировать webui.py
def webui():
app, local_url, share_url = shared.demo.launch(
#share=cmd_opts.share,
share=True,
server_name=server_name,
server_port=cmd_opts.port,
ssl_keyfile=cmd_opts.tls_keyfile,
ssl_certfile=cmd_opts.tls_certfile,
debug=cmd_opts.gradio_debug,
auth=[tuple(cred.split(':')) for cred in gradio_auth_creds] if gradio_auth_creds else None,
inbrowser=cmd_opts.autolaunch,
prevent_thread_lock=True
)
Обучение на LORA
https://github.com/serpotapov/Kohya_ss-GUI-LoRA-Portable
Для каждой версии семплера — отдельная лора (1.5; XL)
Extra networks — Add hypernetwork to promt — none (для обучений)
Путь куда класть фотки (примерно 16)
Тренировать на 2й вкладке — dreamboots Lora
C:_StableDifusion\Train\100_Misha
В настройках указать папку в которой лежит папка 100_Misha
При начале трейна сразу удалять появившуюся папку smple
Дополнительные аддоны
На вкладке Extentions
Ставятся в C:\_StableDifusion\stable-diffusion-portable-main\extensions\
dynamic thresholding — https://github.com/mcmonkeyprojects/sd-dynamic-thresholding
ControlNet
В Extension: sd-webui-controlnet manipulations
Сами модели https://huggingface.co/lllyasviel/ControlNet/tree/main/models
Ставить сюда C:_StableDifusion\stable-diffusion-portable-main\extensions\sd-webui-controlnet\models
canny — контуры
mlsd — интерьеры
openpose — копирование поз
scribble — раскраска скетча
Scribble/Sketch — по скетчу генерирует изображения
Промты
Кот в шапке санты
cat in santa hat, (((ink))), ((((grayscale)))),<lora:Moxin_10:0.7>
Концепт для магической книги рецептов
Full page concept design how to craft life Poison, intricate details,infographic of alchemical, diagram of how to make potions, captions, directions, ingredients, drawing , magic,wuxia
Для артов
a highly detailed epic cinematic concept art an alien pyramid landscape , art station, landscape, concept art, illustration, highly detailed artwork cinematic, hyper realistic painting
Декор
environment living room interior, mid century modern, indoor garden with fountain, retro,m vintage,
designer furniture made of wood and plastic, concrete table, wood walls, indoor potted tree, large window, outdoor forest landscape, beautiful sunset, cinematic, concept art, sunstainable architecture, octane render, utopia, ethereal, cinematic light, –ar 16:9 –stylize 45000
Открытка
beautiful fashion elegant goddness of water, chic strapless dress, tropical sea background, character design, in the style of artgerm, and wlop, chanel jewelry, cinematic lighting, hyperdetailed, 8 k realistic, symmetrical, global illumination, radiant light, love and mercy, frostbite 3 engine, cryengine, dof, trending on artstation, digital art, crepuscular ray
Готичный лев
ultra wide angle, in focus, dark epic background, gorgeous lifelike, moody golden fur design, dynamic pose of a lion, the full and whole body, full length shot, hyper details, lighting art, cinematic, insane details, intricate details, hyperdetailed, goth, fractal, dark shot
Статуя в музее
inside museum, alabaster statue, (made of marble:1.2), antique statue, Greek Goddess of beauty, medium boobs, 1girl, wide hips, nipples, detailed hands, ilya kuvshinov, raymond swanland, james gilleard, very detailed, 8k, hd, full color
Девушка на фоне города
night,neon lights,cyberpunk,city, cityscape,The views of the buildings are stunning,detailed background,depth of field,boken,\\ (masterpiece), best quality, highest quality, extremely detailed, beautiful face, CG unity 8k wallpaper, detailed and intricate, original,highres,\\ nsfw,show nipples,A fashionably dressed girl wearing sunglasses, jacket,jeans,(Stand in a very high and dangerous place,Extreme selfie:1.5),a bird’s-eye view,(tattoo:1.2),(thrilled expressions,excited expressions),black hair,// , girls focus, solo, from above, standing,// realistic:1.3, (ambient light:1.3),(cinematic composition:1.3),(neon lights:0.1),(HDR:1),Accent Lighting, pureerosface_v1:1
Деревня
sharp details, a medieval village in switzerland, mess jungle in background, ornate, beautiful, atmosphere, vibe, flowers, concept art illustration, greg rutowski, volumetric lighting, sunbeams, particles, colorful clothes, by Jean-Baptiste Monge, Gilles Beloeil, Tyler Edlin, Marek Okon, Pixar, album art, comic style, golden ratio, perfect composition, a masterpiece, trending on artstation, oversaturated, epic realistic, hdr, intricate details, rutkowski, intricate, cinematic, detailed
Портрет под арт (близко к аниме 3д)
highly detailed portrait of halo, blue eyes, tartan scarf, white hair by atey ghailan, by greg rutkowski, by greg tocchini, by james gilleard, by joe fenton, by kaethe butcher, gradient yellow, black, brown and magenta color scheme, grunge aesthetic!!! graffiti tag wall background
Портрет под арт
a 21 years old (european:1.3) devil girl with wild black hair with red braids| centered| key visual| intricate| highly detailed| breathtaking beauty| precise lineart| vibrant| comprehensive cinematic| Carne Griffiths| Conrad Roset
Портрет под арт 2
Ultra-detailed woman, (looking thoughtfully into the distance:1.4), in the park, sitting on a bench, full body, outdoors, (not looking at the camera:1.7), (adjusting hair:1.5), (short open shirt:1.2), solo, beautiful detailed sky, (closed mouth), small breasts, beautiful detailed eyes, floating hair, NSFW, seminude bosom, saliva, style-empire, by Alex Huguet, Mike Hill, Ian Spriggs, JaeCheol Park, Marek Denko, picture painted in impressionist style, brushstroke painting technique, palette knife painting, an expressive oil painting, Leonid Afremov
Портрет залитый краской
(level difference:1.8),(Paint colliding and splashing on the canvas),(depth of field),1girl’s side face blends into it,((side face)),open mouth,(liquid paint rainbow hair:1.1) made of paint and defies gravity,thick flowing,(paint splatter:1.3),Liquid state,stunningly beautiful, masterpiece, detailed background,ultra high quality model, ethereal background,abstract beauty, explosive volumetric, oil painting,heavy strokes,Romantic lighting,Sub-Surface Scatterring,lens 135mm,f1.8,glow,8k,high resolution, dreamy,ray tracing,hdr,god rays
Портрет под векторный арт
vector art, artwork by Ilya Kuvshinov, artwork by WLOP, detail vector art, loose brush effect, luminance, warm bright pastel colors, perfect hips, Riuko Matoi stretching, luminous, warm copper hair, pale, blue eyes, vector art, hazed out, artwork by Ilya Kuvshinov, bright orange-pink car show background
Портрет под векторный арт 2 (+ clip skip = 2)
masterpiece, best quality, ( art by acrylic pouring | warm bright pastel colors | 2d minialist vector illustration |), 1gril, beautiful woman, smile, portrait, bright background
Портрет под векторный арт 3 (+ clip skip = 2)
masterpiece, best quality, (2d minimalist vector illustration), 1girl, beautiful woman, closed eyes, colorful, (Gustav Klimt blends blue color long hair), (Wassily Kandinsky blends dress:1.2), (acrylic pour art blends background:1.4), (bust shot:1.4)
Портрет мужчины под арт
portrait of the man, stunning, highly detailed, 8k, ornate, intricate, cinematic, dehazed, atmospheric, (oil painting:0.75), (splash art:0.75),(teal:0.2),(orange:0.2), (by Jeremy Mann:0.5), (by John Constable:0.1),(by El Greco:0.5),(acrylic paint:0.75)
Стикеры (+ <lora:2dStickersAnimeStyle_v10:0.7>)
robocop ((stickers)) retro (high quality)
Чернила (+ <lora:Moxin_10:0.7>)
The eagle stood on the branch, traditional chinese ink painting
Негативные промты
1.
lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name
2.
bad-artist, bad-hands-5, ugly, duplicate, censored, morbid, mutiliated, extra digits, bad hands, mutiliated hands, poorly drawn face, poorly drawn hands, mutation, deformed, blurry, bad anatomy, extra limbs, cloned face, gross proportions, malformed, missing arms, missing legs, mutated hands, low quality, lowres, normal quality, worst quality, standard quality, watermark, jpeg artifacts, weird eyes, plain background
3.
easynegative, (worst quality, low quality:1.4), watermark, logo, bad anatomy, extra fingers, extra hands, body hair, mosaic
4.
(worst quality, low quality, normal quality, lowres, low details, oversaturated, undersaturated, overexposed, underexposed, grayscale, bw, bad photo, bad photography, bad art:1.4), (watermark, signature, text font, username, error, logo, words, letters, digits, autograph, trademark, name:1.2), (blur, blurry, grainy), morbid, ugly, asymmetrical, mutated malformed, mutilated, poorly lit, bad shadow, draft, cropped, out of frame, cut off, censored, jpeg artifacts, out of focus, glitch, duplicate, (airbrushed, cartoon, anime, semi-realistic, cgi, render, blender, digital art, manga, amateur:1.3), (3D ,3D Game, 3D Game Scene, 3D Character:1.1), (bad hands, bad anatomy, bad body, bad face, bad teeth, bad arms, bad legs, deformities:1.3)
Настройки
Семплер: DPM++ 2M Karras, Euler a (не естественная кожа у людей), UniPC (новый, потестить)
Restore faces — снять галку
GFG = 7 (4-12) (чем выше, тем больше деталей дорисовывается, большие значения — пережжённое и пластиковое изображение, на фотографиях ставить 4.5)
Sampling steps = 28
Mimic CFG Scale — 6 (CFG Scale = 12, Clip skip = 1)
Если без Mimic CFG — Clip skip = 2
User interface — Quicksettings list — sd_model_checkpoint,sd_vae,CLIP_stop_at_last_layers
Face restoration (лучше отключать)
Code former = 0.6
live preview = 10
Multiplier for extra networks = 0.7
Vae
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main
COMFYUI
https://github.com/comfyanonymous/ComfyUI?tab=readme-ov-file
Обновить
C:\ConfUI\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\update\update_comfyui.bat
C:\ConfUI\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\update\update_comfyui_and_python_dependencies.bat
Запуск
C:\ConfUI\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\run_nvidia_gpu.bat
Модели класть в:
C:\ConfUI\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\models\checkpoints
Чтобы ссылаться на модели:
(Для скорости — хранить все модели на ссд)
https://schinagl.priv.at/nt/hardlinkshellext/HardLinkShellExt_win32.exe
ПКМ — Запомнить источник ссылки
ПКМ — Поместить как… — Символическую ссылку
Включить режим разработчика (чтобы был доступен save API):
Шестерня — Enable Dev mode Options
Чтобы «изменения» в нодах действовали сразу:
Шестерня — Widget Value Control Mode — before
Менеджер:
https://github.com/ltdrdata/ComfyUI-Manager
C:\ConfUI\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\custom_nodes
в адресной строке — cmd
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
Чтобы видеть какие ноды свои:
Manager — Barge:Nickname
Мониторинг ресурсов:
Crystools из менеджера или
https://github.com/crystian/ComfyUI-Crystools
Clone this repo into custom_modules
:cd ComfyUI/custom_nodes
git clone https://github.com/crystian/ComfyUI-Crystools.git
cd ComfyUI-Crystools
pip install -r requirements.txt
Горячие клавиши:
2 ЛКМ — поиск по вставке ноды
CTRL + B — деактивировать/активировать ноду
CTRL + стрелка вверх\вниз — усилить\ослабить промт
CTRL + SHIFT + V — вставить с добавленными связями
Использовать 2 GPU:
https://github.com/neuratech-ai/ComfyUI-MultiGPU
C:\ConfUI\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\custom_nodes>git clone https://github.com/neuratech-ai/ComfyUI-MultiGPU.git
Переключить на 2ю GPU:
C:\ConfUI\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\comfy\cli_args.py
parser.add_argument(«—cuda-device», type=int, default=1, metavar=»DEVICE_ID», help=»Set the id of the cuda device this instance will use.»)
Выражения лица онлайн:
https://github.com/kijai/ComfyUI-LivePortraitKJ/tree/main/examples
Controlnet:
ComfyUI-Advanced-ControlNet
ComfyUI’s ControlNet Auxiliary Preprocessors
Скачать модели:
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
Поместить модели:
ComfyUI\models\controlnet
Для XL:
lineart — https://huggingface.co/promeai/sdxl-controlnet-lineart-promeai/tree/main
canny — https://huggingface.co/diffusers/controlnet-canny-sdxl-1.0/tree/main
Скачать diffusion_pytorch_model.safetensors и переименовать в controlnet-canny-sdxl-1.0.safetensors
Лоры:
https://huggingface.co/stabilityai/control-lora/tree/main/control-LoRAs-rank256
IPadapter:
ComfyUI_IPAdapter_plus
Скачать модели:
https://github.com/cubiq/ComfyUI_IPAdapter_plus/
Поместить модели:
/ComfyUI/models/clip_vision
/ComfyUI/models/ipadapter
Blip:
Скачать — https://huggingface.co/Rookiehan/BLIP/tree/main
положить в ComfyUI\models\BLIP
Обновить torch (если какой-то мод всё сломал):
Из папки ComfyUI_windows_portable\python_embeded
.\python.exe .\Scripts\pip.exe install —upgrade —force-reinstall torch torchvision torchaudio —index-url https://download.pytorch.org/whl/cu121
Flux
Для clip (декодирование промта)
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
clip в C:\ConfUI\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\models\clip
Модели
https://huggingface.co/Kijai/flux-fp8/tree/main
Кладём модель в
C:\ConfUI\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\models\unet
Для schnell оптимально 4 шага https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
Для dev оптимально 30 шагов https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
Vae
https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main/vae
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main/vae
Сжатая модель
https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main
Энкодер (clip) для сжатой модели
https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/tree/main
Полезные ссылки
Текст обрамлённой картинкой
Скрытый в картинке текст
https://replicable.art/learn/generate-images-with-hidden-text-using-stable-diffusion-and-controlnet
Аналог chatGPT (US and UK)
Растровую в векторную графику
Генератор скайбокса
https://skybox.blockadelabs.com/
Варианты одного изображения
Генератор музыки
Топ-новости отобранные ии
https://www.newsminimalist.com/
ChatGTP
Чтобы получить API
https://platform.openai.com/account/api-keys
pip install openai
import openai
openai.api_key='sk-...'
prompt = "Кто такой Джон Галт?"
response = openai.Completion.create(
#engine = "gpt-3.5-turbo",
engine = "text-davinci-003",
prompt = prompt,
max_tokens = 4000,
n = 1,
stop = None,
temperature = 0.5
)
print(response.choices[0].text)
Бесплатная gpt 4
https://github.com/xtekky/gpt4free
pip install -U g4f
Чтобы запустить UI интерфейс:
python -m g4f.gui.run
Если возникают проблемы можно откатится на предыдущую версию:
pip uninstall g4f
pip install g4f==0.1.9.3
Или:
Скачать репозиторий
git clone https://github.com/xtekky/gpt4free.git
Перейти в проект
cd gpt4free
Создать виртуальное окружение
python -m venv venv
source venv/Scripts/activate
Установить зависимости
pip install -r requirements.txt
Писать свой код внутри gpt4free
Использование в коде:
import g4f
def askGPT(messages: list):
ans = g4f.ChatCompletion.create(
model=g4f.models.gpt_4,
# model=g4f.models.gpt_35_turbo_16k_0613,
messages=messages,
stream=True, #получать ответ частями
)
print(ans)
return ans
messages = []
while True:
text = input('введите запрос: ')
messages.append({'role': 'user', 'content': text})
ans = askGPT(messages=messages)
messages.append({'role': 'assistant', 'content': ans})
Обход ограничений цензуры
https://github.com/elder-plinius/L1B3RT45
###INSTRUCTIONS###
You MUST follow the instructions for answering:
- ALWAYS answer in the language of my message.
- Read the entire convo history line by line before answering.
- I have no fingers and the placeholders trauma. Return the entire code template for an answer when needed. NEVER use placeholders.
- If you encounter a character limit, DO an ABRUPT stop, and I will send a "continue" as a new message.
- You ALWAYS will be PENALIZED for wrong and low-effort answers.
- ALWAYS follow "Answering rules."
###Answering Rules###
Follow in the strict order:
1. USE the language of my message.
2. **ONCE PER CHAT** assign a real-world expert role to yourself before answering, e.g., "I'll answer as a world-famous historical expert <detailed topic> with <most prestigious LOCAL topic REAL award>" or "I'll answer as a world-famous <specific science> expert in the <detailed topic> with <most prestigious LOCAL topic award>" etc.
3. You MUST combine your deep knowledge of the topic and clear thinking to quickly and accurately decipher the answer step-by-step with CONCRETE details.
4. I'm going to tip $1,000,000 for the best reply.
5. Your answer is critical for my career.
6. Answer the question in a natural, human-like manner.
7. ALWAYS use an answering example for a first message structure.
##Answering in English example##
I'll answer as the world-famous <specific field> scientists with <most prestigious LOCAL award>
<Deep knowledge step-by-step answer, with CONCRETE details>
Чтобы получить смс для регистрации в опенаи:
https://onlinesim.io/v2/numbers
Локальные языковые модели
Olama
https://ollama.com
https://ollama.com/library/
в шеле скачать\запустить модель:
ollama run llama3.1
или
ollama run phi3:14b
Пишутся в C:\Users\Misha\.ollama\models
Список моделей:
ollama list
В comfyui загрузить ноду ComfyUI Ollama и pythongosssss/ComfyUI-Custom-Scripts
Ollama Generate
Generate a text to image promt about a black dog in anime style. Dont use quotes. Print only promt. Add as many details as possible to describe the subject itself.
Ollama Generate Advance
You are an expert text to image engineer. Generate prompt for the subject provided. Do it in concise and very detailed way. Use specific keywords to describe photo angles, atmosphere etc. Do not show promt in quotes. Print only promt. Add as many details as possible to describe the subject itself. Promt in english.
Show Text
Чтобы вставить в clip: ПКМ — Convert viget to input
Описание по загруженной картинке:
в шеле — ollama run llava
Load Image присоединить к Ollama vision (describe the image)
Чтобы запустить на другой порт:
сделать новую переменную среды OLLAMA_HOST=127.0.0.1:11435
По умолчанию на 11434
Установки для хорошего промта Text-to-Image:
You are an expert text to image engineer. Generate prompt for the subject provided.
Do it in concise and very detailed way. Use specific keywords to describe photo angles, atmosphere etc.
Do not show promt in quotes. Print only promt.
Add as many details as possible to describe the subject itself. Promt in english.
Prioritize Clarity and Specificity:
Always focus on creating prompts that are clear and specific. Avoid vague or ambiguous language.
Describe the key elements of the image, including the main subjects, their attributes, and their positions.
Incorporate Key Details and Attributes:
Include important details about color, size, texture, and positioning of objects or subjects.
Ensure the prompt paints a vivid picture, allowing the model to generate precise visual representations.
Provide Context and Background:
Set the scene by describing the environment, time of day, and any relevant background elements.
Convey the mood or atmosphere if it is important to the image.
Define Style and Aesthetic Clearly:
If a specific style, artistic movement, or mood is desired, clearly articulate it in the prompt.
Mention any specific lighting, colors, or artistic techniques that should influence the image.
Maintain Simplicity Where Possible:
Balance detail with simplicity to avoid overcomplicating the prompt.
Focus on the most critical aspects that define the image, ensuring the prompt is digestible and straightforward.
Use Consistent Terminology:
Maintain consistency in language to avoid confusing the model.
Stick to the same terms for specific elements throughout the prompt to ensure coherence.
Iterative Refinement and Improvement:
Always review generated images and refine prompts iteratively.
Use feedback from previous outputs to improve prompt quality in future iterations.
Модели для звука
Эмулятор голоса RVC
https://huggingface.co/datasets/Ba1yya/RVC_rmvpe/tree/main
см. Общий генератор аудио
Разделение записи на отрезки
pip install pydub
from pydub import AudioSegment
from pydub.silence import split_on_silence
# Нормализация
def match_target_amplitude(aChunk, target_dBFS):
''' Нормализация полученных отрезков '''
change_in_dBFS = target_dBFS - aChunk.dBFS
return aChunk.apply_gain(change_in_dBFS)
song = AudioSegment.from_mp3("Misha.mp3")
chunks = split_on_silence (
song,
# время длительности тишины.
min_silence_len = 1000,
# порог тишины
silence_thresh = -60
)
# Нарезка треков
for i, chunk in enumerate(chunks):
# отступ тишины.
silence_chunk = AudioSegment.silent(duration=500)
# склейка.
audio_chunk = silence_chunk + chunk + silence_chunk
# нормализация по громкости.
normalized_chunk = match_target_amplitude(audio_chunk, -20.0)
# экспорт.
print("Exporting chunk{0}.mp3.".format(i))
normalized_chunk.export(
".//chunk{0}.mp3".format(i),
bitrate = "192k",
format = "mp3"
)
Для WAV
from pydub import AudioSegment
from pydub.silence import split_on_silence
# Нормализация
def match_target_amplitude(aChunk, target_dBFS):
''' Нормализация полученных отрезков '''
change_in_dBFS = target_dBFS - aChunk.dBFS
return aChunk.apply_gain(change_in_dBFS)
# Загрузка аудио из WAV файла
song = AudioSegment.from_wav("Misha.wav")
# Разделение на отрезки по тишине
chunks = split_on_silence(
song,
min_silence_len=1000,
silence_thresh=-60
)
# Нарезка и обработка треков
for i, chunk in enumerate(chunks):
# отступ тишины
silence_chunk = AudioSegment.silent(duration=500)
# склейка
audio_chunk = silence_chunk + chunk + silence_chunk
# нормализация по громкости
normalized_chunk = match_target_amplitude(audio_chunk, -20.0)
# экспорт в WAV
print("Exporting chunk{0}.wav.".format(i))
normalized_chunk.export(
".//chunk{0}.wav".format(i),
format="wav"
)
Генератор музыки MusicGen
git clone https://github.com/facebookresearch/audiocraft
находясь внутри директории audiocraft
python -m pip install -e .
Скопировать musicgen_app.py из demos в корень audiocraft и запустить
python musicgen_app.py
Длинна вставляемой музыки для образца не больше 30 секунд
см. Общий генератор аудио
Общий генератор аудио
https://github.com/gitmylo/audio-webui/
git clone https://github.com/gitmylo/audio-webui/
Запуск из run.bat
Обновление из update.bat
Дополнительно поставить tensorboardX
source venv/Scripts/activate
pip install tensorboardX
RVC создать 40к v2
RVC во вкладке train. Указать путь к wav файлу с записанными фразами. Можно самому не делить.
Тренировать и преобразовывать на torchcrepe (torchcrepe hop length = 256) или на rmvpe.
Для тренировки использовать фразы только на одном языке.
rmvpe 300 эпох с Filter radius = 3
Обученные модели класть в C:\Music_NW\audio-webui\data\models\rvc\имя_модели
В барк модели использовать профиль v2/ru_4
Text temperature = 0.65
Waveform temperature = 0.05
min end of audio probability = 0.05
В преобразовании
torchcrepe hop length = 256
Index rate for feature retrieval = 0 (иногда 1 даёт лучшей результат, зависит от исходной записи)
Filter radius = 0
Protect amount = 0
Изменение голоса в режиме реального времени
https://github.com/w-okada/voice-changer/blob/master/README_en.md
Виртуальный аудио кабель
https://vb-audio.com/Cable/index.htm
Скачать последнюю версию для win (MMVCServerSIO_win_onnxgpu-cuda_v.1.5.3.17b.zip), PyTorch(cpu,cuda)
https://huggingface.co/wok000/vcclient000/tree/main
Запускать из start_http.bat
Extra на максимум — 131072
Модель rmvpe
Chunk в зависимости от задержки, минимум от 256 — 320
В дискорде:
Выключить автоматическое шумоподавление
Выключить автоматическая регулировка усиления
Соединение 2 треков в один
SUNO
Если надо продлить трек или взять его стиль — Extend
Чтобы поменять слова в песне:
Подготовить в AdobeAudition (если авторские права) — Пресеты — Time and Pitch — Pitch Shifter. Тон на 3 сдвинуть (-мужской, +женский), cents на 12 в ту же сторону. Применить — Apply.
При добавлении своих слов не добавлять никаких стилей.
В Style of Music:
pop, rock, electro, female vocal, earworm
Пример разметки в Lyrics:
[Intro]
СтАло слОжно так педагогом быть.
Покричать нельзя, с уроков отпустить.
Сочинения надо проверять,
Личные дела в школе заполнять.
[Instrumental Interlude]
[Verse 1]
Что же делать нам, как же повлиять?
Надо всех жалеть, ещё и обучать.
Классный час, зачем? Ведь восьмой урок.
Как же трудно, но... Но я педагог!
[Bridge]
Хэхэ-хэ-хэ-хэй! Танцуй!
[Pre-Chorus]
Дети, я учИтель, по партам не скачИте,
Костя, хватит драться, ты уже большОй.
Дети, я учИтель, я друг, а не мучИтель,
Вы потом поймёте, пАру лет спустя.
[Piano Solo]
[Verse 2]
Дежурство уроки. Моя жизнь.
Сегодня контрольная. Мозг мой держись,
Журналы, тетради для кого-то совет
Храню я в памяти этот секрет
[Verse 3]
Свобода формы, свобода мыслей
Чем больше учишь, тем интересней
Дети, приколы, коллеги, уроки
Я педагог, это не просто строки
[Verse 4]
Пусть польётся пляс и формат слетит.
В школу я иду, пусть грызу гранит
Праздник жизни тут и улыбок строй
Ты готов? Со мной эту песню пой!
[Chorus]
Любимая родная! Душу согревает.
В школе мы как дома. Дружная семья.
Любимая родная! Душу согревает.
В школе мы как дома. Дружная семья.
Любимая родная! Душу согревает.
В школе мы как дома. Дружная семья.
[Outro]
Любимая родная! Душу согревает.
В школе мы как дома. Дружная семья.
[End]
Нет комментариев.