Обмена моделями тред. Первый. Экспериментальный. Под БАЗУ нейрогенерации уже созданы номерные треды
Аноним
06/01/23 Птн 16:00:02
№
Ответ
Под БАЗУ нейрогенерации уже созданы номерные треды SD и WD+NAI. Меж тем, это всего несколько моделей, тогда как только на Фэйсе их более 112 тысяч.
Этот тред для тех, кто копнул хоть немного глубже: необязательно до уровня обскурщины, выпиленной даже из даркнета, а просто за пределами того, что удостоилось своих тредов.
ИТТ делимся находками и произведенными результатами.
Собственно, главный ресурс для поиска:
https://huggingface.co/models
Пропущено 157 постов, 46 с картинками.
Если на ЦП были ватермарки, то модель может начать воспроизводить их. Ну и тест роршаха для ИИ (запустить с пустым промтом) тоже может спалить.
А так ЦП находили в датасетах стейблы, тоже мне новость.
>>730235
Да в принципе любая аниме модель так может. Если брать специальные, то например https://civitai.com/models/28169 даёт похожие пикчи.
======================================
Предыдущий тред >>720590 (OP) https://arhivac.top/?tags=13840
------------------------------------------
схожие тематические треды
- NAI-тред (аниме) >>719192 (OP)
- технотред >>639060 (OP)
========================
Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях.
Полный функционал в локальной установке (см. ниже)
Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img
Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации)
Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace)
⚠️ Стандартные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже).
🔞 Без цензуры и полный функци_анал: только ПК-версия
===========================================
🖥УСТАНОВКА НА ПК
WebUI от Automatic1111
https://teletype.in/@stablediffusion/PC_install_SD
------------------------------------------
👉 Для новичков - простой в работе WebUI Fooocus
https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download
------------------------------------------
Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов)
https://github.com/comfyanonymous/ComfyUI/releases
Примерные workflow для ComfyUI (можно загружать напрямую из картинок)
https://comfyanonymous.github.io/ComfyUI_examples/
------------------------------------------
Для тех, у кого видеокарта не тянет - ускоренная генерация на ЦПУ
https://github.com/rupeshs/fastsdcpu
===========================================
📚 РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) 👇
https://civitai.com/
------------------------------------------
📊 ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ 👇
https://teletype.in/@stablediffusion/samplers_steps
===========================================
🎨 ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ
https://teletype.in/@stablediffusion/artists_for_prompts
Пример запроса (Промпт): a tiger, wildlife photography, high quality, wildlife, soft focus, 8k, national geographic, photograph by nick nichols
------------------------------------------
♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) 👇
https://supagruen.github.io/StableDiffusion-CheatSheet/
https://www.artvy.ai/styles
------------------------------------------
💻ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ
https://www.itshneg.com/controlnt-upravlyaj-pozami-v-stable-diffusion/
==========================================
🧠 ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ 👇
https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora
https://civitai.com/models/train
Пропущено 648 постов, 181 с картинками.
И подскажите где в настройках можно улучшить качество рендера ?>>730611
И спасибо анонам что ебались с моей проблемой теперь все збс прогон на амудэ идет за сказочные 6 минут спасибо!
Из недавних новостей:
- Разработанная в КНР языковая модель Ernie (аналог ChatGPT) призвана "отражать базовые ценности социализма". Она утверждает, что Тайвань - не страна, что уйгуры в Синьцзяне пользуются равным положением с другими этническими группами, а также отрицает известные события на площади Тяньаньмэнь и не хочет говорить про расстрел демонстрантов.
https://mpost.io/female-led-ai-startups-face-funding-hurdles-receiving-less-than-3-of-vc-support/
- ИИ - это сугубо мужская сфера? Стартапы в сфере искусственного интеллекта, возглавляемые женщинами, сталкиваются со значительными различиями в объемах финансирования: они получают в среднем в шесть раз меньше капитала за сделку по сравнению со своими аналогами, основанными мужчинами. Многие ИИ-стартапы основаны командами целиком из мужчин.
https://www.koreatimes.co.kr/www/opinion/2023/10/638_342796.html
- Исследователи из Кореи: модели ИИ для генерации графики склонны создавать гиперсексуализированные изображения женщин. В каждом изображении по умолчанию большая грудь и тому подобное. Это искажает действительность, потому что в реальности далеко не каждая женщина так выглядит.
https://mpost.io/openai-may-already-reach-agi-but-will-try-to-downplay-progress-due-to-force-stop/
- Возможно, что OpenAI уже создали AGI, но замалчивают это, принижают свой прогресс и намеренно завышают планку того, что считается полноценным AGI.
Тейки из предыдущего треда:
1. Генерация дипфейков. Они могут фабриковаться для дезинформации и деструктивных вбросов, в т.ч. со стороны авторитарных государств. Порнографические дипфейки могут рушить репутацию знаменитостей (например, когда в интернетах вдруг всплывает голая Эмма Уотсон). Возможен даже шантаж через соцсети, обычной тянки, которую правдоподобно "раздели" нейронкой. Или, дипфейк чтобы подвести кого-то под "педофильскую" статью. Еще лет пять назад был скандал вокруг раздевающей нейронки, в итоге все подобные разработки были свернуты.
2. Замещение людей на рынке труда ИИ-системами, которые выполняют те же задачи в 100 раз быстрее. Это относится к цифровым художникам, программистам-джуниорам, писателям. Скоро ИИ потеснит 3д-моделеров, исполнителей музыки, всю отрасль разработки видеоигр и всех в киноиндустрии. При этом многие страны не предлагают спецам адекватной компенсации или хотя бы социальных программ оказания помощи.
3. Распознавание лиц на камерах, и усовершенствование данной технологии. Всё это применяется тоталитарными режимами, чтобы превращать людей в бесправный скот. После опыта в Гонконге Китай допиливает алгоритм, чтобы распознавать и пробивать по базе даже людей в масках - по росту, походке, одежде, любым мелочам.
4. Создание нереалистичных образов и их социальные последствия. Группа южнокорейских исследователей поднимала тему о создании средствами Stable Diffusion и Midjourney не соответствующих действительности (гиперсексуализированных) изображений женщин. Многие пользователи стремятся написать такие промпты, чтобы пикчи были как можно круче, "пизже". Публично доступный "AI art" повышает планку и оказывает давление уже на реальных женщин, которые вынуждены гнаться за неадекватно завышенными стандартами красоты.
5. Возможность создания нелегальной порнографии с несовершеннолетними. Это в свою очередь ведет к нормализации ЦП феноменом "окна Овертона" (сначала обсуждение неприемлемо, затем можно обсуждать и спорить, затем это часть повседневности). Сложности добавляет то, что присутствие обычного прона + обычных детей в дате делает возможным ЦП. Приходится убирать или то, или другое.
6. Кража интеллектуальной собственности. Данные для тренировки передовых моделей были собраны со всего интернета. Ободрали веб-скраппером каждый сайт, каждую платформу для художников, не спрашивая авторов контента. Насколько этичен такой подход? (Уже в DALL-E 3 разработчики всерьез занялись вопросом авторского права.) Кроме того, безответственный подход пользователей, которые постят "оригинальные" изображения, сгенерированные на основе работы художника (ИИ-плагиат).
7. Понижение средней планки произведений искусства: ArtStation и Pixiv засраны дженериком с артефактами, с неправильными кистями рук.
8. Индоктринация пользователей идеями ненависти. Распространение экстремистских идей через языковые модели типа GPT (нацизм и его производные, расизм, антисемитизм, ксенофобия, шовинизм). Зачастую ИИ предвзято относится к меньшинствам, например обрезает групповую фотку, чтобы убрать с нее негра и "улучшить" фото. Это решается фильтрацией данных, ибо говно на входе = говно на выходе. Один старый чатбот в свое время произвел скандал и породил мем "кибернаци", разгадка была проста: его обучали на нефильтрованных текстах из соцсетей.
9. Рост киберпреступности и кража приватных данных. Всё это обостряется вместе с совершенствованием ИИ, который может стать оружием в руках злоумышленника. Более того, корпорация которая владеет проприетарным ИИ, может собирать любые данные, полученные при использовании ИИ.
10. Понижение качества образования, из-за халтуры при написании работ с GPT. Решается через создание ИИ, заточенного на распознавание сгенерированного текста. Но по мере совершенствования моделей придется совершенствовать и меры по борьбе с ИИ-халтурой.
11. Вопросы юридической ответственности. Например, автомобиль с ИИ-автопилотом сбил пешехода. Кому предъявлять обвинение?
12. Оружие и военная техника, автономно управляемые ИИ. Крайне аморальная вещь, даже когда она полностью под контролем владельца. Стивен Хокинг в свое время добивался запрета на военный ИИ.
Пропущено 30 постов, 8 с картинками.
Более нелепой причины начала ядерной войны, нежели чем защита прав рисобак, я ещё не слышал.
Жаль, что рисобак и мазюкателей не сажают, они слишком опасны, как и актеры, музыкантишки, погромисты и прочий скам
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
- Фронтэнды -
Agnai, SillyTavern, RisuAI
Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/Tavern4Retards (Гайд на английском) | https://rentry.org/STAI-Termux (На андроид)
Базовые термины: https://2ch-ai.gitgud.site/wiki/llama/
Скрипты SillyTavern (Quick Replies): https://rentry.org/stscript
https://github.com/SillyTavern/SillyTavern | https://github.com/ntvm/SillyTavern (Форк нв-куна)
https://agnai.chat/
https://risuai.xyz/
- GPT -
Джейлы на 0314/0613: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fa5fv | https://dumb.one/gpt/prompts-scraped/ | https://rentry.co/lobstersgpt
Джейлы на 1106: https://rentry.co/anonaugusproductionsCustomJB | https://rentry.co/crustcrunchGPT | https://rentry.co/Myuu_Jippy | https://rentry.co/CoTonAugus | https://rentry.org/onichan2210
Джейлы на 0125: https://rentry.org/neo-furbo | https://rentry.org/camicle-jb
Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://rentry.co/hochi-reupload
- Claude -
Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/absolutejail | https://rentry.co/pitanonbots#prompt-presets | https://rentry.co/XML-dva-shiza | https://rentry.co/crustcrunchJB | https://rentry.co/CharacterProvider | https://rentry.co/MyuuTastic
Опус/Соннет: https://rentry.org/Anon4Anon | https://unconvincing.neocities.org/ | https://rentry.org/pancatb3ta | https://rentry.org/AiBrainPresets | https://rentry.org/CladeOpus-GigaSchizoKostyl
Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff
Префилл: https://rentry.co/aui3u
Полезное: https://rentry.org/anonika_infoblock | https://rentry.org/zapominator
- Мемо -
Мемо вручную: https://rentry.co/DrunkArcadeExample
Генератор мемо: https://rentry.co/LazyMemo
Мемо на опусе: https://rentry.co/HornyPigs
- Bing -
https://github.com/Barbariskaa/Biba
Гайд: https://rentry.co/BingZOVEdition
- Локалки -
https://openrouter.ai/
Гайд (на английском): https://rentry.co/meta_golocal_list
- Ботоводчество -
https://www.chub.ai
https://booru.plus/+pygmalion
https://des une.moe/aichared/
https://agnai.chat/editor
https://rentry.co/botmaking_tips
https://rentry.co/MothsBotMakingStuff
https://rentry.co/oaicards
Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2
- Село 2ch -
https://rentry.co/selo2ch
- Архив тредов -
https://rentry.co/2ch-aicg-archives
- GIGACHAT -
https://rentry.co/3bc7r
- Character.AI -
https://beta.character.ai/
https://rentry.co/CAI-FAQ
Боты анонов: https://rentry.co/CAI-bots
- Прочее -
Проверить ключ:
GPT
https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc
Claude
https://github.com/Definetelynotbranon/Anthropic_API_Checker
Специфические промпты в джейл для кума: https://rentry.co/jinxbreaks
Забавные промпты после кума: https://rentry.co/weirdbutfunjailbreaksandprompts
- Конкурсы -
Общая информация: https://rentry.co/2chaicgthemedevents
Текущий конкурс: >>725230 →
- Шапка -
https://rentry.co/shapkacaitreda
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
- Локальные языковые модели: >>661076 (OP) -
- Прошлый тред: >>725205 (OP) -
Пропущено 1526 постов, 159 с картинками.
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №57 /llama/
Аноним
02/05/24 Чтв 18:35:49
№
Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/
LLaMA 3 вышла! Увы, только в размерах 8B и 70B. Промты уже вшиты в новую таверну, ждём исправлений по части квантования от жоры, он в курсе проблемы и правит прямо сейчас.
Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.
Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении.
Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.
Про остальные семейства моделей читайте в вики.
Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас.
Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF/blob/main/Fimbulvetr-11B-v2.q4_K_S.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.
Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!
Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся
Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ
https://github.com/ollama/ollama Однокнопочный инструмент для полных хлебушков в псевдо стиле Apple (никаких настроек, автор знает лучше)
Ссылки на модели и гайды:
https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
https://ayumi.m8geil.de/erp4_chatlogs/ Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде
Предыдущие треды тонут здесь:
>>721275 (OP)
>>717999 (OP)
Пропущено 501 постов, 55 с картинками.
>>728812 (OP)
ПЕРЕКАТ
>>728812 (OP)
>wipe samewords
АБУ ПИДР
ПЕРЕКАТ
>>728812 (OP)
Прошлый >>708540 (OP) https://arhivach.top/thread/1008097/
Схожие тематические треды:
— Технотред >>639060 (OP)
— SD-тред (фотореализм) >>714946 (OP)
— Тред в /fur/ https://2ch.hk/fur/res/284014.html
Генерируя в коллабе на чужом блокноте будьте готовы к тому, что его автору могут отправляться все ваши промты, генерации, данные google-аккаунта, IP-адрес и фингерпринт браузера.
F.A.Q. треда: https://rentry.co/nai_faq
Устанавливаем на ПК/Облако: https://rentry.co/nai_faq#как-поставить-на-пкоблако
Полезные расширения для WebUI: https://rentry.co/sd_automatic_extensions
➤ Гайды
Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.co/nai_faq#как-писать-промпты
ControlNet для начинающих: https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion
Полная инфа по ControlNet: https://stable-diffusion-art.com/controlnet
Апскейл для начинающих: https://rentry.co/sd__upscale | https://rentry.co/SD_upscale | https://rentry.co/2ch_nai_guide#апскейл
Апскейл с помощью ControlNet (для продвинутых, требуется минимум 8GB VRAM): https://rentry.co/UpscaleByControl
Гайды по обучению лор: https://rentry.co/waavd | https://rentry.co/2chAI_hard_LoRA_guide
➤ Интерфейсы для Stable Diffusion
Stable Diffusion WebUI by AUTOMATIC1111
https://github.com/AUTOMATIC1111/stable-diffusion-webui
Классический WebUI от AUTOMATIC1111. Самое большое число пользователей и наработок.
Оптимизации для слабых ПК (6GB VRAM и менее): https://rentry.co/voldy#-running-on-4gb-and-under-
Общие советы по оптимизациям: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations
ComfyUI
https://github.com/comfyanonymous/ComfyUI
Интерфейс, заточенный на построение собственных workflow посредством организации конвееров через редактирование нод с различными действиями и указанием связей между ними.
Англоязычный гайд от автора в виде визуальный новеллы: https://comfyanonymous.github.io/ComfyUI_tutorial_vn/
Примеры готовых workflow: https://comfyanonymous.github.io/ComfyUI_examples/
Русскоязычный гайд: https://habr.com/ru/articles/729848/
WebUI Forge
https://github.com/lllyasviel/stable-diffusion-webui-forge
WebUI от автора контролнета. По интерфейсу аналогичен WebUI от автоматика, но более быстрый.
Foocus
https://github.com/lllyasviel/Fooocus
Альтернативный WebUI от автора контролнета, ориентированный на простоту использования.
Доступен в облаке гугла (колаб): https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/fooocus_colab.ipynb
➤ Каталог популярных моделей
Чекпоинты SD 1.5: https://civitai.com/collections/42742
Чекпоинты SD XL: https://civitai.com/collections/42753
Генерация аниме на EasyFluff + hll-ликорисе: https://rentry.org/5exa3
Каталог лор на стилизацию для SD 1.5: https://civitai.com/collections/42751
Лоры с форча для SD 1.5: https://gitgud.io/badhands/makesomefuckingporn
Лоры и примечания для PonyDiffusion: https://rentry.org/ponyxl_loras_n_stuff
➤ Дополнительная инфа
Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion
АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://stable-diffusion-art.com/tutorials | https://rentry.co/sdg-link | https://rentry.co/sdgoldmine
Шаблон для переката: https://rentry.co/nwhci
Пропущено 503 постов, 192 с картинками.
Шарпа многовато у тебя.
Эльфийские технологии, хулИ
SimSwap обрел покой, да здравствует roop. Или rope. Или facefusion. /deepfake/
Аноним
13/11/23 Пнд 09:31:32
№
Ответ
Форки на базе модели insightface inswapper_128: roop, facefusion, rope, плодятся как грибы после дождя, каждый делает GUI под себя, можно выбрать любой из них под ваши вкусы и потребности. Лицемерный индус всячески мешал всем дрочить, а потом и вовсе закрыл проект. Чет ору.
Любители ебаться с зависимостями и настраивать все под себя, а также параноики могут загуглить указанные форки на гитхабе. Кто не хочет тратить время на пердолинг, просто качаем сборки.
Тред не является технической поддержкой, лучше создать issue на гитхабе или спрашивать автора конкретной сборки.
Эротический контент в шапке является традиционным для данного треда, перекатчикам желательно его не менять или заменить его на что-нибудь более красивое. А вообще можете делать что хотите, я и так сюда по праздникам захожу.
Пропущено 133 постов, 10 с картинками.
Аноны привет, как ваши дела? вчера меня уволили, мой менеджер сказал "да, ты хороший музыкант, но на
Аноним
05/05/24 Вск 14:22:13
№
Ответ
А вашу жизнь перевернула нейросеть?
невыдуманные истории о которых невозможно молчать
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
- Фронтэнды -
Agnai, SillyTavern, RisuAI
Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/Tavern4Retards (Гайд на английском) | https://rentry.org/STAI-Termux (На андроид)
Базовые термины: https://2ch-ai.gitgud.site/wiki/llama/
Скрипты SillyTavern (Quick Replies): https://rentry.org/stscript
https://github.com/SillyTavern/SillyTavern | https://github.com/ntvm/SillyTavern (Форк нв-куна)
https://agnai.chat/
https://risuai.xyz/
- GPT -
Джейлы на 0314/0613: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fa5fv | https://dumb.one/gpt/prompts-scraped/ | https://rentry.co/lobstersgpt
Джейлы на 1106: https://rentry.co/anonaugusproductionsCustomJB | https://rentry.co/crustcrunchGPT | https://rentry.co/Myuu_Jippy | https://rentry.co/CoTonAugus | https://rentry.org/onichan2210
Джейлы на 0125: https://rentry.org/neo-furbo | https://rentry.org/camicle-jb
Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://rentry.co/hochi-reupload
- Claude -
Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/absolutejail | https://rentry.co/pitanonbots#prompt-presets | https://rentry.co/XML-dva-shiza | https://rentry.co/crustcrunchJB | https://rentry.co/CharacterProvider | https://rentry.co/MyuuTastic
Опус/Соннет: https://rentry.org/Anon4Anon | https://unconvincing.neocities.org/ | https://rentry.org/pancatb3ta | https://rentry.org/AiBrainPresets | https://rentry.org/CladeOpus-GigaSchizoKostyl
Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff
Префилл: https://rentry.co/aui3u
Полезное: https://rentry.org/anonika_infoblock | https://rentry.org/zapominator
- Мемо -
Мемо вручную: https://rentry.co/DrunkArcadeExample
Генератор мемо: https://rentry.co/LazyMemo
Мемо на опусе: https://rentry.co/HornyPigs
- Bing -
https://github.com/Barbariskaa/Biba
Гайд: https://rentry.co/BingZOVEdition
- Локалки -
https://openrouter.ai/
Гайд (на английском): https://rentry.co/meta_golocal_list
- Ботоводчество -
https://www.chub.ai
https://booru.plus/+pygmalion
https://des une.moe/aichared/
https://agnai.chat/editor
https://rentry.co/botmaking_tips
https://rentry.co/MothsBotMakingStuff
https://rentry.co/oaicards
Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2
- Село 2ch -
https://rentry.co/selo2ch
- Архив тредов -
https://rentry.co/2ch-aicg-archives
- GIGACHAT -
https://rentry.co/3bc7r
- Character.AI -
https://beta.character.ai/
https://rentry.co/CAI-FAQ
Боты анонов: https://rentry.co/CAI-bots
- Прочее -
Проверить ключ:
GPT
https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc
Claude
https://github.com/Definetelynotbranon/Anthropic_API_Checker
Специфические промпты в джейл для кума: https://rentry.co/jinxbreaks
Забавные промпты после кума: https://rentry.co/weirdbutfunjailbreaksandprompts
- Конкурсы -
Общая информация: https://rentry.co/2chaicgthemedevents
Текущий конкурс: >>721500 → → →
- Шапка -
https://rentry.co/shapkacaitreda
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
- Локальные языковые модели: >>724301 (OP) (OP) -
- Прошлый тред: >>722638 (OP) (OP) -
Пропущено 1909 постов, 205 с картинками.
======================================
Предыдущий тред >>714946 (OP) https://arhivac.top/?tags=13840
------------------------------------------
схожие тематические треды
- NAI-тред (аниме) >>719192 (OP)
- технотред >>639060 (OP)
========================
Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях.
Полный функционал в локальной установке (см. ниже)
Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img
Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации)
Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace)
⚠️ Стандартные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже).
🔞 Без цензуры и полный функци_анал: только ПК-версия
===========================================
🖥УСТАНОВКА НА ПК
WebUI от Automatic1111
https://teletype.in/@stablediffusion/PC_install_SD
------------------------------------------
👉 Для новичков - простой в работе WebUI Fooocus
https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download
------------------------------------------
Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов)
https://github.com/comfyanonymous/ComfyUI/releases
Примерные workflow для ComfyUI (можно загружать напрямую из картинок)
https://comfyanonymous.github.io/ComfyUI_examples/
------------------------------------------
Для тех, у кого видеокарта не тянет - ускоренная генерация на ЦПУ
https://github.com/rupeshs/fastsdcpu
===========================================
📚 РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) 👇
https://civitai.com/
------------------------------------------
📊 ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ 👇
https://teletype.in/@stablediffusion/samplers_steps
===========================================
🎨 ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ
https://teletype.in/@stablediffusion/artists_for_prompts
Пример запроса (Промпт): a tiger, wildlife photography, high quality, wildlife, soft focus, 8k, national geographic, photograph by nick nichols
------------------------------------------
♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) 👇
https://supagruen.github.io/StableDiffusion-CheatSheet/
https://www.artvy.ai/styles
------------------------------------------
💻ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ
https://www.itshneg.com/controlnt-upravlyaj-pozami-v-stable-diffusion/
==========================================
🧠 ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ 👇
https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora
https://civitai.com/models/train
Пропущено 526 постов, 147 с картинками.
Нюк это база композитинга для топ продакшенов, там только ноды. Все уместно.
Я не спорю, но в некоторые лоры столько кладут. Для файнтюна 500 хороших фото это имхо мало
Аноны, посмотрите: гуаркдодж в последней версии своего флексэйра использовал нейронку для создания Р
Аноним
# OP
24/03/24 Вск 21:49:29
№
Ответ
https://www.youtube.com/watch?v=OVotP7-qAgc
Пропущено 8 постов, 1 с картинками.
Да, как оно делалось в описании там вроде, а то я ссылку и с поиска скопировал и не посмотрел.
То есть сделал "скелет" в блендере (допустим), а затем заставил какой-то ИИ на сВОЁМ компе нарисовать анимацию? Сори за глупые вопросы, немного не понимаю концепцию...
Ну вот пример, я думаю процесс примерно такой же.
https://youtu.be/mu3JEfx3PHM?si=Xhtypl58MRpigFui&t=671
Есть N объектов эмбеддинги. Они же и элементы для ранжирования хотя а ранжировании как таковом речи с @1 идти не может.
Возьмём knn
P@1 = 1 если ближайший для взятого вектора сосед с той же меткой что и взятый, если нет 0
AP@1 = P@1 в случае 1 ведь позиции не учитываются, ведь она одна
и получается mAP@1
Усреднение суммы «правильностей» всех предсказаний
по сути аккураси втф
где просчет?
Пропущено 3 постов, 1 с картинками.
ты даун?
у чатгпт спроси бля
Наша любая ClosedOpenAI, по традиции, анонсировала революционный продукт. Первый полноценный, годнейший генератор видео. Наконец-то видео выглядят как видео, а не зум двухмерной картинки. Доступа пока ни у кого нет, так как они еще пилят под нее соевый фильтр, но вы можете чекнуть примеры по ссылке:
https://openai.com/sora
Спойлер: ЭТО ПРОСТО ОХУЕННО
В этом тредике мы ждем выхода модели в открытый доступ и пытаемся получить к ней доступ всем тредом, после того как ее официально откроют для всех желающих, ибо нам его конечно же так просто не дадут, ребята.
Пропущено 289 постов, 47 с картинками.
>без него ИИ в принципе невозможен
Ясно, шизик. Ты бы посты подписывал, а то не всегда сразу понятно.
Похую какая у тебя там нейронка. Промпты не подходят для креативной работы в целом. А инструментов у КлоузедАИ нет и не предвидится. Поэтому вся блогозапись - просто реклама. Не как что-то плохое, просто констатация факта.
Первый ИИ-клип.
Если такой тред уже существует, прошу им поделится.
Пропущено 4 постов, 2 с картинками.
. на втором правда есть цензура, но не слишком уж сильная
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №56 /llama/
Аноним
29/04/24 Пнд 01:48:17
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/
LLaMA 3 вышла! Увы, только в размерах 8B и 70B. Промты уже вшиты в новую таверну, ждём исправлений по части квантования от жоры, он в курсе проблемы и правит прямо сейчас.
Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.
Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении.
Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.
Про остальные семейства моделей читайте в вики.
Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас.
Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Sao10K/Fimbulvetr-10.7B-v1-GGUF/blob/main/Fimbulvetr-10.7B-v1.q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.
Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!
Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся
Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ
https://github.com/ollama/ollama Однокнопочный инструмент для полных хлебушков в псевдо стиле Apple (никаких настроек, автор знает лучше)
Ссылки на модели и гайды:
https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде
Предыдущие треды тонут здесь:
>>717999 (OP)
>>714898 (OP)
Пропущено 510 постов, 70 с картинками.
Тряска почти улеглась однако
>>724301 (OP)
>>724301 (OP)
> Об этом-то я в курсе
Очень сомневаюсь.
> И про курсы кринжик
Лучше самообучаться на двачах, это да.
> и про плохую лламу 3 и хорошую гпт3,5
Это факты, подтвержденные эмпирическими данными.
> Во-первых, уже гпт-4 не всегда опережала ту же мистраль на некоторых задачах.
Спасибо, кэп. Но меня интересует результат в большинстве задач, а не черри пикинг.
> Может, конечно, именно на твоих задачах гпт3.5 и правда лучше лламы 3, не спорю, всякое бывает
И в моих и в задачах из курса. Впрочем, ссать в уши ллама3 умеет лучше, все таки 15T токенов дают знать.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
- Фронтэнды -
Agnai, SillyTavern, RisuAI
Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/Tavern4Retards (Гайд на английском) | https://rentry.org/STAI-Termux (На андроид)
Базовые термины: https://2ch-ai.gitgud.site/wiki/llama/
Скрипты SillyTavern (Quick Replies): https://rentry.org/stscript
https://github.com/SillyTavern/SillyTavern | https://github.com/ntvm/SillyTavern (Форк нв-куна)
https://agnai.chat/
https://risuai.xyz/
- GPT -
Джейлы на 0314/0613: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fa5fv | https://dumb.one/gpt/prompts-scraped/ | https://rentry.co/lobstersgpt
Джейлы на 1106: https://rentry.co/anonaugusproductionsCustomJB | https://rentry.co/crustcrunchGPT | https://rentry.co/Myuu_Jippy | https://rentry.co/CoTonAugus | https://rentry.org/onichan2210
Джейлы на 0125: https://rentry.org/neo-furbo | https://rentry.org/camicle-jb
Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://rentry.co/hochi-reupload
- Claude -
Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/absolutejail | https://rentry.co/pitanonbots#prompt-presets | https://rentry.co/XML-dva-shiza | https://rentry.co/crustcrunchJB | https://rentry.co/CharacterProvider | https://rentry.co/MyuuTastic
Опус/Соннет: https://rentry.org/Anon4Anon | https://unconvincing.neocities.org/ | https://rentry.org/pancatb3ta | https://rentry.org/AiBrainPresets | https://rentry.org/CladeOpus-GigaSchizoKostyl
Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff
Префилл: https://rentry.co/aui3u
Полезное: https://rentry.org/anonika_infoblock | https://rentry.org/zapominator
- Мемо -
Мемо вручную: https://rentry.co/DrunkArcadeExample
Генератор мемо: https://rentry.co/LazyMemo
Мемо на опусе: https://rentry.co/HornyPigs
- Bing -
https://github.com/Barbariskaa/Biba
Гайд: https://rentry.co/BingZOVEdition
- Локалки -
https://openrouter.ai/
Гайд (на английском): https://rentry.co/meta_golocal_list
- Ботоводчество -
https://www.chub.ai
https://booru.plus/+pygmalion
https://des une.moe/aichared/
https://agnai.chat/editor
https://rentry.co/botmaking_tips
https://rentry.co/MothsBotMakingStuff
https://rentry.co/oaicards
Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2
- Село 2ch -
https://rentry.co/selo2ch
- Архив тредов -
https://rentry.co/2ch-aicg-archives
- GIGACHAT -
https://rentry.co/3bc7r
- Character.AI -
https://beta.character.ai/
https://rentry.co/CAI-FAQ
Боты анонов: https://rentry.co/CAI-bots
- Прочее -
Проверить ключ:
GPT
https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc
Claude
https://github.com/Definetelynotbranon/Anthropic_API_Checker
Специфические промпты в джейл для кума: https://rentry.co/jinxbreaks
Забавные промпты после кума: https://rentry.co/weirdbutfunjailbreaksandprompts
- Конкурсы -
Общая информация: https://rentry.co/2chaicgthemedevents
Текущий конкурс: >>721500 →
- Шапка -
https://rentry.co/shapkacaitreda
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
- Локальные языковые модели: >>661076 (OP) -
- Прошлый тред: >>719978 (OP) -
Пропущено 1538 постов, 197 с картинками.
Пропущено 7 постов, 2 с картинками.
>И что же нам теперь делать бухать пиво и играть в видеоигры созданные наполовину ии.
Брать свободы столько, сколько сможешь унести и жить так, как хочешь ты, а не так, как тебя бы вынуждало жить общество. Вместо ебучей говноработы ты сможешь заняться чем-нибудь для тебя более интересным и полезным. От голода в развитых странах откиснуть можно разве что умышленно, а заработать на жильё можно буквально за неделю непыльной работы, с которой справится любой дебил.
>назвал тред судьба нейросетей
>жалуется на судьбу ананимаса
>нужен был либо ебовый талант
Кстати, художественного таланта как такового недостаточно, если только не для творчества исключительно "для себя". Для чего-то большего нужны социальные навыки, организаторский талант и предприимчивость. Компьютер, а затем и интернет сами по себе уже позволили заниматься творчеством тем, кто до этого мог бы разве что бренчать на гитаре/играть на пианино и писать в стол стишки для себя.
Сделал простой скрипт для перевода английских видосов на русский язык, переводит и озвучивает локаль
Аноним
23/04/24 Втр 20:44:22
№
Ответ
пожалуйста проверьте, оцените, обосрите, похвалите, скажите что можно сделать лучше, что и так хорошо.
Пропущено 5 постов, 1 с картинками.
так разве тяночий голос не превратит нормальное прослушивание аниме в несерьезный сюр? По такой логике мужской голос выбрал, сейчас узнаем что там с женщинами
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №55 /llama/
Аноним
26/04/24 Птн 01:25:46
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/
LLaMA 3 вышла! Увы, только в размерах 8B и 70B. Промты уже вшиты в новую таверну, ждём исправлений по части квантования от жоры, наверняка он подгадил.
Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.
Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении.
Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.
Про остальные семейства моделей читайте в вики.
Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас.
Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Sao10K/Fimbulvetr-10.7B-v1-GGUF/blob/main/Fimbulvetr-10.7B-v1.q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.
Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!
Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся
Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ
https://github.com/ollama/ollama Однокнопочный инструмент для полных хлебушков в псевдо стиле Apple (никаких настроек, автор знает лучше)
Ссылки на модели и гайды:
https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде
Предыдущие треды тонут здесь:
>>714898 (OP)
>>712072 (OP)
Пропущено 510 постов, 83 с картинками.
https://2ch.hk/api/archive/search
Тут LLaMA введи, часть старых тредов в архиве двача сохранена.
https://2ch.hk/ai/arch/
Ссылка не та.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
- Фронтэнды -
Agnai, SillyTavern, RisuAI
Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/Tavern4Retards (Гайд на английском) | https://rentry.org/STAI-Termux (На андроид)
Базовые термины: https://2ch-ai.gitgud.site/wiki/llama/
Скрипты SillyTavern (Quick Replies): https://rentry.org/stscript
https://github.com/SillyTavern/SillyTavern | https://github.com/ntvm/SillyTavern (Форк нв-куна)
https://agnai.chat/
https://risuai.xyz/
- GPT -
Джейлы на 0314/0613: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fa5fv | https://dumb.one/gpt/prompts-scraped/ | https://rentry.co/lobstersgpt
Джейлы на 1106: https://rentry.co/anonaugusproductionsCustomJB | https://rentry.co/crustcrunchGPT | https://rentry.co/Myuu_Jippy | https://rentry.co/CoTonAugus | https://rentry.org/onichan2210
Джейлы на 0125: https://rentry.org/neo-furbo | https://rentry.org/camicle-jb
Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://rentry.co/hochi-reupload
- Claude -
Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/absolutejail | https://rentry.co/pitanonbots#prompt-presets | https://rentry.co/XML-dva-shiza | https://rentry.co/crustcrunchJB | https://rentry.co/CharacterProvider | https://rentry.co/MyuuTastic
Опус/Соннет: https://rentry.org/Anon4Anon | https://unconvincing.neocities.org/ | https://rentry.org/pancatb3ta | https://rentry.org/AiBrainPresets | https://rentry.org/CladeOpus-GigaSchizoKostyl
Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff
Префилл: https://rentry.co/aui3u
Полезное: https://rentry.org/anonika_infoblock | https://rentry.org/zapominator
- Мемо -
Мемо вручную: https://rentry.co/DrunkArcadeExample
Генератор мемо: https://rentry.co/LazyMemo
Мемо на опусе: https://rentry.co/HornyPigs
- Bing -
https://github.com/Barbariskaa/Biba
Гайд: https://rentry.co/BingZOVEdition
- Локалки -
https://openrouter.ai/
Гайд (на английском): https://rentry.co/meta_golocal_list
- Ботоводчество -
https://www.chub.ai
https://booru.plus/+pygmalion
https://des une.moe/aichared/
https://agnai.chat/editor
https://rentry.co/botmaking_tips
https://rentry.co/MothsBotMakingStuff
https://rentry.co/oaicards
Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2
- Село 2ch -
https://rentry.co/selo2ch
- Архив тредов -
https://rentry.co/2ch-aicg-archives
- GIGACHAT -
https://rentry.co/3bc7r
- Character.AI -
https://beta.character.ai/
https://rentry.co/CAI-FAQ
Боты анонов: https://rentry.co/CAI-bots
- Прочее -
Проверить ключ:
GPT
https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc
Claude
https://github.com/Definetelynotbranon/Anthropic_API_Checker
Специфические промпты в джейл для кума: https://rentry.co/jinxbreaks
Забавные промпты после кума: https://rentry.co/weirdbutfunjailbreaksandprompts
- Конкурсы -
Общая информация: https://rentry.co/2chaicgthemedevents
Текущий конкурс: >>718019 →
- Шапка -
https://rentry.co/shapkacaitreda
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
- Локальные языковые модели: >>661076 (OP) -
- Прошлый тред: >>717384 (OP)
Пропущено 1639 постов, 248 с картинками.
https://www.chub.ai/characters/Hana_X_Hina/asakura-family-c427bbd2b3b1/main