Прошлый тред: >>552016 (OP)
Вики треда: https://2ch-ai.gitgud.site/wiki/speech/
FAQ
Q: Хочу озвучивать пасты с двача голосом Путина/Неко-Арк/и т.п.
1. Используешь любой инструмент для синтеза голоса из текста - есть локальные, есть онлайн через huggingface или в виде ботов в телеге:
https://2ch-ai.gitgud.site/wiki/speech/#синтез-голоса-из-текста-tts
Спейс без лимитов для EdgeTTS:
https://huggingface.co/spaces/NeuroSenko/rus-edge-tts-webui
Так же можно использовать проприетарный комбайн Soundworks (часть фич платная):
https://dmkilab.com/soundworks
2. Перегоняешь голос в нужный тебе через RVC. Для него есть огромное число готовых голосов, можно обучать свои модели:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
Q: Как делать нейрокаверы?
1. Делишь оригинальную дорожку на вокал и музыку при помощи Ultimate Vocal Remover:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/UVR
2. Преобразуешь дорожку с вокалом к нужному тебе голосу через RVC:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
3. Объединяешь дорожки при помощи Audacity или любой другой тулзы для работы с аудио
Опционально: на промежуточных этапах обрабатываешь дорожку - удаляешь шумы и прочую кривоту. Кто-то сам перепевает проблемные участки.
Качество нейрокаверов определяется в первую очередь тем, насколько качественно выйдет разделить дорожку на составляющие в виде вокальной части и инструменталки. Если в треке есть хор или беквокал, то земля пухом в попытке преобразовать это.
Нейрокаверы проще всего делаются на песни с небольшим числом инструментов - песня под соло гитару или пианино почти наверняка выйдет без серьёзных артефактов.
Q: Хочу говорить в дискорде/телеге голосом определённого персонажа.
Используй RVC (запуск через go-realtime-gui.bat) либо Voice Changer:
https://github.com/w-okada/voice-changer/blob/master/README_en.md
Гайд по Voice Changer, там же рассказывается, как настроить виртуальный микрофон:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/Voice‐Changer (часть ссылок похоже сдохла)
Q: Как обучить свою RVC-модель?
Гайд на русском: https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/RVC#создание-собственной-модели
Гайд на английском: https://docs.aihub.wtf/guide-to-create-a-model/model-training-rvc
Определить переобучение через TensorBoard: https://docs.aihub.wtf/guide-to-create-a-model/tensorboard-rvc
Если тыква вместо видеокарты, можно тренить в онлайне: https://www.kaggle.com/code/varaslaw/rvc-v2-no-gradio-https-t-me-aisingers-ru/notebook?scriptVersionId=143284909 (инструкция: https://www.youtube .com/watch?v=L-emE1pGUOM )
Q: Надо распознать текст с аудио/видео файла
Используй Whisper от OpenAI: https://github.com/openai/whisper
Быстрый скомпилированный для винды вариант: https://github.com/Purfview/whisper-standalone-win
Так же есть платные решения от Сбера/Яндекса/Тинькофф.
Коммерческие системы
https://elevenlabs.io перевод видео, синтез и преобразование голоса
https://heygen.com перевод видео с сохранением оригинального голоса и синхронизацией движения губ на видеопотоке. Так же доступны функции TTS и ещё что-то
https://app.suno.ai генератор композиций прямо из текста. Есть отдельный тред на доске >>662527 (OP)
Шаблон для переката: https://2ch-ai.gitgud.site/wiki/speech/speech-shapka/
>Вал не крутись.mp4
Как же ахуенно
МимоКабанчиком тут пробегал в другой Ллама тред
Ну постонал и пропустил. Нейронка отчаянно пытается найти слоги в моих стонах, поэтому получается странно.
есть бесплатный аналог этого
предлагаю сделать модель этой бабы
Нужно менять голос в реалтайме. Напишите, пожалуйста, пошаговый гайд, куда и на что жать новичку? Потому что в шапке пик 2, гайда нет.
https://github.com/hinaichigo-fox/rvc_train_for_anon/tree/main
ТОЛЬКО КАГГЛ! НЕ ГУГЛ КОЛЛАБ!
а почему оно не работает? Буквально вчера работало а сегодня нет
НАШЕЛ РАБОЧИЙ СКРИПТ ДЛЯ ГУГЛ КОЛЛАБ!!!!
https://github.com/hinaichigo-fox/rvc_train_for_anon
https://colab.research.google.com/drive/1030ibBABNaNZ3CjIoDXstcCR7VhEnSAA
Voice Changer - ПОМОГИТЕ ПОЖАЛУЙСТА!!!
Сегодня несколько раз идеально модель работала, но чаще всего баговалась на значении "crepe". А она только на нем работает как надо. Просто все жутко лагать начинает, задержка растет и не думает падать.
И вот эта надпись в консоли смущает
Пользователям TTS. А какое применение вы видите вообще в этом? Мой кейс был такой - выдернул текст из файла субтитров для того чтобы прогнать через ТТС и затем прогнать через РВЦ для дубляжа. Итог такой что все эти ТТС начитывают максимально механически и для +- нормальной озвучки не подходят вообще. Есть какая ТТС которая как то играет голосом немного? И почему при прогоне через РВЦ в готовом оутпуте как будто не применяется файл черт голосовой модели, потому что на выходе звучит так же механически только другим голосом
я так и не понял как субтитры озвучивать
ну у меня после прогона через rvc норм все выходит. мимо еджттсник
>>666945
Двачую этого.
Недавно замутил себе speech2speech на нескольких нейросетках (yt-dlp -> whisperx + выравнивание от туда же -> deepl -> edgetts -> ffmpeg клеим обратно). Осталось лишь выровнять зачитку по временным отметкам старта и финала. У edgetts есть коэффициент ускорения, но как прикинуть длительность итоговой зачитки? Вариант "в лоб" – сгенерировать аудио, взять его длину и поделить, после чего заново сгенерировать.
Возможно, есть более изящные решения в опенсурце? Если у кого-то есть идеи или наработки — заделитель ништяками в тредике.
тменно по временым отметкам>>667448
>edgetts
>>667448
почему не заебашишь студию озвучки
скрипт на автоматическу скачку с пиратбея. RARBG а дальше свой комбайн
и заливаешь автоматом свое говно на рутор
для дорам и всяких сериалов уровня , учитывая скорость
идея вроде хорошая
Тогда к этому комбайну нужно подключить расстановку ударений и определение эмоций в речи. Если не путаю, edgetts может не только монотонно зачитывать, но и кричать, шептать, радоваться и все такое. Ещё сетку на различение голосов, хотя бы женский/мужской, выбор соответствующего в edgetts.
Можешь заняться, скиллов никаких не нужно: всё готовое переклеить.
Мои же задачи куда тривиальнее — палить по дискорду ютуб с корешами, кто языка не понимает.
можно просто готовый файл перегнать через rvc голосом володарского
монотоность в итоге заамаскированна
эстеты оценять
мне осталось как понять edgetts
читать по временым меткам а не сплошняком
https://github.com/myshell-ai/OpenVoice/
https://github.com/Alienpups/OpenVoice/blob/main/docs/USAGE_WINDOWS.md
автоматом никак ?
хотя я думаю можно придумать для этого скрипт чтобы нарезать изначальный материал по меткам сабов
Нахуй вы тогда нужны?
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/Voice‐Changer
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/Voice‐Changer‐FAQ
Можно через RVC ещё. Только всё равно надо виртуальный микрофон ещё настроить как в той инструкции по Voice Changer:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/Voice-Changer#виртуальные-кабели
да, для доступа к instant voice cloning нужно купить минимальную подписку (первый месяц стоит 1$)
>>668629
>>667996
Спасибо. Скоро буду пробовать. По результатам напишу в тред, поддержите, пожалуйста, ребюята.
Как нет файл есть в папке проекта я укпзывыю полный путь тоже самое
все равно>>669797
кодек 'unicodeescape' не может декодировать байты в позиции 2-3: усеченный \UXXXXXXXX escape
НЕДОДЕЛАНО НО МНЕ ПОКА НУЖНО ПРОВЕРИТЬ
КАК РАБОТАЕТ>>670200
https://pastebin.com/b1BjZ2Gm
ты сначала пробуй по отдельности. запусти терра ттс добейся его норм работы а потом уже добавляй что то
Где новую скачать таким же архивом, чтоб распаковал и запустилось, без установок питоновских библиотек?
Озвучка на английском
Анон, а где брать копирайченые модели? Типо всяких асмр ютуберш и японских va?
жесть, тред мертвый
ну да. так и есть. еще можно приколы делать типа Путин рекламирует сервер в майне и т.д.
Запускаю на локальной машине с Whisper GUI от grisk.
Что удобно: можно обрабатывать файлы пачкой, работает просто, закинул, через время готовое забрал.
Что неудобно: нельзя настроить таймкод, нестабильное разделение на спикеров (иногда есть, иногда нет), отсутствует прогресс бар и вообще какое-либо отображение процесса обработки, только файл начат - файл закончен.
От гугления только больше запутался. Гуев много, но все субъективно хуже.
В погромировании не шарю, хочу решение для локального запуска с кнопкой "Сделать заебись". Может, есть какие-то модели чисто под русский язык, или модифицированный для русского Whisper, с возможностью настраивать какие-то параметры типа тех же таймкодов и без особого красноглазия?
Как на елевенлабс сделать спич-ту-спич с кастомным голосом?
Хуясе говно. А может ты говно?
>сервер в майне
MDX-B Karaoke (lead/back vocals) на MVSEP. Итак, вопрос к знатокам: какие существуют более продвинутые методы очистки и изоляции вокала?
https://www.lalal.ai/
очень хороший инструмент
Пытаюсь запустить этот ваш VoiceChanger. Сразу вот это.
Два вопроса:
1. На кой хер эта хрень в интернет просится? Я не для того скачал локальную нейросетку с этой пердольной консолью, чтобы она ещё и в интернет лезла.
2. Я даже не вижу, чтобы она просила разрешения в интернет. Я бы в фаерволле увидел. Она через какой-то другой сервис пытается сделать какое-то коннект? Объясните, что там включается у неё?
Веса скачать пытается, судя по всему.
То бишь то, что за смену голоса отвечать и должно.
А ты ей не даешь.
Где тут аудиофайл закинуть чтобы работало?
Оно везде какие-то модели просит.
нафига вы все в этот реалтайм хотите? качай рвс и делай. Там все лучше и проще.
Нашёл как загрузить модели с сайта. А как сделать свою собственную из аудио?
а также плагин MDX-B Karaoke (lead/back vocals) на выходе звучит так если что пока что за проблема?
База на английских фонемах. Походу никак это не пофиксить, пока кто-нибудь новый беслптный инструмент не высрет без этого врожденного дефекта.
Ну вот доводится слышать качественные фейки без этих проблем. Может, дело в настройке?
Хуй знает. Ещё ни разу не слышал результат работы RVC и его форков без этих артефактов. Если есть возможность в треде или где обязательно надо спросить у людей кто такие фейки делал как добились. Может там вообще какой-то платный сервис на самом деле используется или какая диковиная хуйня не доступная бесплатно.
Я ещё помню был софт по изменению голоса от российских разработчиков (забыл как называется) и его изьяли из открытого доступа из за того что наебщики бабок по телефону моментально его на вооружение взяли.
Я видел в онлайн сервисах такой выбор. Уточняю мне надо ТТС именно с разными эмоциями на выбор, RVC я уже оформил пару месяце назад, но потом забил, чтоб потом голосом избранных персонажей говорить.
а с голосом только силеро как то может работать. там с помощью разметки надо это делать
А чому так? Технологии древних утеряны спустя полгода?
А любят кричать зато - посмотрите какой у нас открытый исходный код, а сами на хуг фейс выжимают платную машину, чтоб нельзя было скопировать себе и не ждать в очередях.
Я пробовал сегодня ХТТС. Конечно я это программистичкое для линуксоидов устанавливать не буду и чето там в консоли писать, это пиздец кал. Но получалось оно что-то рабочее, реально из 6 секунд похожий голос получался онлайн на хуйгфейсе. Но там очереди долгиеЮ нет фич для поднастройки и копировать себе нельзя, нужна платная машина. Кал.
Остаётся реально чтоли онлайн на сайтах ИИС пользоваться где у ботов разные эмоции на выбор и в РВС преобразовывать? Нет альтернатив?
Это ж блять просто сделать моделей 8 типов людей по возрасту и полу и у каждой по штук 10 эмоций, за неделю можно натренировать. То есть уже сделали, жиды не дают пользоваться бесплатно. Два стула, что либо плати, либо жри кал с отрытым кодом костыльный линуксоидный программистический для бомжей.
Я так охуел и не ожидал, что сразу на радостях сделал аи кавер.
пока альтернатив реально нет( Ждем всем тредом годную альтернативу еджттс и силеро
> А любят кричать зато - посмотрите какой у нас открытый исходный код
Тот кто в аср/ттс крутится знает, что силеро потом кричит "хули вы пользуетесь нашим открытым кодом, там в 78 строчке лицензимонного соглашения написано что вам нам должны бабок".
Силеро всегда была компанией-пидорасом, на неё лучше не ориентироваться.
Такое чувство будто они разрабатывают это всё, но сами не пользуются совсем. А нах делать тогда, если деньги даже не платят??
>ну у меня размер пачки больше >>12<< и не тянет
фик. куда цифра проебалась?
Алсо странное - я тренил две модели с 250 эпохами, а потом с 700. Думал что вот щас качество так качество услышу, а стало хуже, больше электронных звуков голоса робота стало. Как же так? Это не повезло просто или слишком много нельзя?
И допустим если я соберу звуки и сделаю свою маня карточку только со стонами и ахами этого персонажа, то можно её влить в чужу карточку с этим персонажем или хуйня получится и надо полностью свою со всей базой всего генерить?
> В итоге остановился на Demagog с моделью silero tts.
Покажи примеры лучшего, что получилось.
Это же невозможно слушать.
Оно даже не там смысловые ударения ставит. Причём не просто на уровне плохой актёрской игры, а на уровне банальном, натурально проваливает точки и запятые.
И это всего три минуты, из которых я с усилием дослушал две. Как такую белиберду целый час слушать не представляю.
Скажи честно, это ты такой лоускилл, что не смог настроить её нормально, или нейросетка в целом такая отстойная? Не имею цели тебя обидеть, если что.
Настроить можно так что от живой речи не отличить.
Но нужно править сам текст вручную и расставлять ударения плюсами. Никто для разового прослушивания - подобной хуйней заниматься не будет. За 3 минуты там пяток неправильных ударений что более чем годно. Конкурирующие нейросетки выдают либо такой же либо худший по сравнению с этим результат, но у этой есть плюс в виде автономной работы без ограничений. Если что я еще и аудиокниги слушаю на скорости в 220-240% так что мои мозг работает почти все время в ускоренном режиме и сам адаптирует качество до приемлемого. Люди не понимают что мозг очень гибкий инструмент и он может сам адаптироваться, всего день прослушиваний и мозг сам начнет правильно выставлять ударения при прослушивании и ты перестанешь замечать какие либо шероховатости.
> Если что я еще и аудиокниги слушаю на скорости в 220-240% так что мои мозг работа
Как в таком порядке можно вообще что то услышать, понять и главное прочувствовать из книги? Это художественное произведение, а не состав продукта "говяжьи анусы идентичные натуральным". Тут важны игра образов, слова, атмосфера, почище, чем в кино, собственное осознание. Это не краткий пересказ послушать. Я уже писал про то что и на стандартной скорости этот кал слушать невозможно
Спасибо, не имею желания адаптироваться к хуёвым продуктам; предпочитаю нормальное качество.
>>703443
Дураки вы. Мозг очень быстро адаптируется и сам переключает передачи. День два тренировок и вы будете воспринимать скорость в 240% как 100% даже не понимая на какой скорости вы сейчас смотрите\слушаете. Это те кто никогда ничего не слушал на ускорении думает что там каша получается, но со временем мозг вырабатывает свои режим работы и вы будете понимать и игру слов и интонации и вообще будете смотреть на себя в прошлом как на дурачков что проебали кучу времени. Недавно я попробовал посмотреть Дюну Вильнева на 100% так чуть не сдох от уныния, как я раньше вообще смотрел фильмы на такой скорости не пойму. 200% это минимальная комфортная скорость для потребления контента.
Мозг всегда сам настраивает восприятие течения времени и имеет встроенный эквалайзер. Раньше я думал что аудиофилы прогревают наушники после покупки но потом понял что прогревается именно мозг. Мозг сам меняет восприятие и занимается выравниванием АЧХ. Мозг всегда занимается адаптацией своих функций хотите вы этого или нет.
Ебать шизик тиктокоголовый. Какая каша у тебя в голове боюсь представить. Ни о каком запоминании и восприятии тут естественно не может быть и речи.
Каша у тебя в голове. Но ты этого не поймёшь пока сам не попробуешь.
Что я делаю не так?
Че делать если все скачал но при двойном нажатии на файл start.http ничего не происходит?
Раньше я делал это через любого доступного барыгу: выбирал в способах оплаты карту Казахстана и оно пропускало. Со временем кто-то пораскинул своими тремя извилинами и убрал этот способ, так что пришлось переходить на Киви - итог известен.
Я конечно понимаю, что переводы денег между Россией и Беларусью это охуеть какая сложная международная задача уровня Мстителей, но неужели не осталось больше никаких способов, кроме ЮMoney (бывший яндекс-кошелёк, который не даёт себя пополнить без скана паспорта на фоне жопы в трёх проекциях)?
В наличии есть беларуская карта МИР, которая нормально оплачивала в России, но у барыг конкретно такого варианта нету. Крипта тоже не пойдёт, её тут хуй купишь без мозгоебли и тех самых фоток с жопой (или я чего-то не знаю). Если кто-то тоже попал в такую ситуацию, то напишите пожалуйста, если остался какой-нибудь рабочий способ
Да если бы только жопу прислать, как когда-то в вебмани, и всё - там же целая куча мозгоебли, которую принимает лишь один банк. Ещё и взнос такой, будто я медицинскую страховку открываю, а не электронный кошелёк
белинвестбанк прикручивай и всё. они сами фотки твоего ануса в союзное государство перешлют.
Зачем платить ElevenLabs если silero tts выдает такое же качество но при этом бесплатно и без ограничений?
Ну как знаешь. Я вбивал неподготовленный текст в обе модели и обе модели обсирались в одних и тех же местах. У меня вообще сложилось впечатление что это одна и та же модель но с разными голосами.
>вбивал неподготовленный текст
Ну вот что у меня выходит.
Тупо залил аудио из вот этого видео
https://www.youtube.com/watch?v=Kmy7h7lSSPg
Нажал Instant Voice Cloning, вбил текст, и все.
Если пользоваться локальными моделями, то на что лучше обращать внимания по железу т.к. в скором времени хочу сменить компуктер.
Видюха с поддержкой CUDA а больше требований и нет.
Да и локальных моделей раз два и обосрался.
Аноны, нейрокаверы вам в хату, такой вопрос - как переделать голос с мужского на женский и вообще реально ли это? Я записываю свой и на женской модели полный треш выходит. Делать высокий pitch тоже не помогает. Но при этом когда я даю модели запись голоса какой нибудь тянки, то плюс минус похоже получается.
так почему нет выхлопа и куча ошибок
Аноны, дайте всю базу, если я хочу себе натренить голоса 2д девочек для moe-tts или что там сейчас топовое вышло. Еще что-то нужно сделать с эмоциями и интонациями. Вроде есть какой-то параметр питча, который в теории можно было бы менять прямо во время фразы. Но находил только какой-то университетский дроч. В общем, если кто-то что-то знает, подскажите.
Какая сейчас актуальная база для тренировки своей модели?
Обновления выходили для RVC? Или ещё какие модели появились?
может какой то архив есть с wav?
Я в одном из прошлых тредов писал свой опыт по установке этого говна. В общем там черех жопу надо скачивать модель с сайта силеро, с директории, на которую ниоткуда нет ссылок, так что найти ее можно только подрочив в присядку. Не советую начинать ставить силеро, так как тот же AllTalk на порядки лучше.
Я отсюда беру голоса https://www.kaggle.com/datasets/rtatman/speech-accent-archive
Кстати, еще ни разу до конца списка не доходил. В последний раз отвалился, как наевшийся клещ, к концу английских голосов.
Вот если бы еще делали плавный переход между idle состоянием и разговором, то я бы даже захотел себе какую нибудь такую ассистентку запилить.
https://www.youtube.com/watch?v=hPS7dtJn00s
https://www.youtube.com/watch?v=en6uW595DM8
Оно раньше было еще хуже, но автор подошел к делу со страстью и всего за два месяца такой прогресс. Надеюсь он не забросит проект. По сути он ничего нового не делает, а просто оптимизирует рабочие варики. Если судить по старым видео раньше он вообще использовал нейронки яндекса, гугла и говнАлису.
> 4
Так проиграл, что сделал свою версию, и проиграл ещё больше.
https://www.youtube.com/watch?v=stPt86RN5Bo
https://www.youtube.com/watch?v=fH_sZkZ6Fjc
Хочу срочно инструмент который выдает такое топ качество.
>В коментах автор же написал 11 labs
Действительно. Спасибо.
Интересует именно дубляж. Но автодубляж не тащит. Платные планы позволяют фиксить пере0еденный текст и ударения?
Так же халявный план не позволяет загружать аудио, только видео. Я в ffmpeg прицепил к mp3 изображение залитым одним цветом для меньшего веса:
ffmpeg -loop 1 -i input.jpg -i input.mp3 -vf "scale=640:480:force_original_aspect_ratio=decrease,pad=640:480:-1:-1:color=black,setsar=1,format=yuv420p" -shortest -fflags +shortest output.mp4
Но вы все скорее всего все это уже знаете. Когда указал как источник минутный ютуб ролик, оно уже пол часа его обрабатывает.
На каждую поп-певичку по 100 моделей на каждую эру, и видно какая модель самая залайканая.
Сам спросил сам ответил, weights.gg
Ужос какой-то. Все голоса как будто исполнены пьезоэлектрической зажигалкой или микросхемой из тостера.
Хотя нет, напутал - не микросхемой, а реле. Не все знают, кстати, что старинные реле можно использовать в качестве динамика.
Бесплатный аккаунт позволил скачать только первый голосовой перевод. Все остальные попытки что-то перевести не позволяют скачать результат, только прослушать первые 3-5 секунд.
Интересно если создать еще один бесплатный аккаунт, вычислят ли меня что я пытаюсь обойти их жадность?