/ai/ - Искусственный интеллект

Stable Diffusion тред X+81 /sd/ Аноним 23/04/24 Втр 15:27:48 № 714946 Ответ

Stable Diffusion тред X+81
======================================
Предыдущий тред >>708081 (OP) https://arhivac.top/?tags=13840
------------------------------------------
схожие тематические треды
- NAI-тред (аниме) >>708540 (OP)
- технотред >>639060 (OP)
========================
Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях.
Полный функционал в локальной установке (см. ниже)

Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img
Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации)
Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace)

⚠️ Стандартные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже).

🔞 Без цензуры и полный функци_анал: только ПК-версия
===========================================
🖥УСТАНОВКА НА ПК
WebUI от Automatic1111
https://teletype.in/@stablediffusion/PC_install_SD
------------------------------------------
Forge - Почти тот же WebUI, что и выше, но более быстрый по скорости
https://github.com/lllyasviel/stable-diffusion-webui-forge
------------------------------------------
👉 Для новичков - простой в работе WebUI Fooocus
https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download
------------------------------------------
Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов)
https://github.com/comfyanonymous/ComfyUI/releases
Примерные workflow для ComfyUI (можно загружать напрямую из картинок)
https://comfyanonymous.github.io/ComfyUI_examples/
===========================================
📚 РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) 👇
https://civitai.com/
------------------------------------------
📊 ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ 👇
https://teletype.in/@stablediffusion/samplers_steps
===========================================
🎨 ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ
https://teletype.in/@stablediffusion/artists_for_prompts

Пример запроса (Промпт): a tiger, wildlife photography, high quality, wildlife, soft focus, 8k, national geographic, photograph by nick nichols
------------------------------------------
♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) 👇
https://supagruen.github.io/StableDiffusion-CheatSheet/
https://www.artvy.ai/styles
------------------------------------------
💻ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ
https://www.itshneg.com/controlnt-upravlyaj-pozami-v-stable-diffusion/
==========================================
🧠 ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ 👇
https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora
https://civitai.com/models/train

Пропущено 184 постов
184 с картинками.

В тред Скрыть

Пропущено 510 постов, 184 с картинками.

Аноним 28/04/24 Вск 12:46:36 № 720531

>>720519
> пик2
Душа.

Аноним 28/04/24 Вск 12:57:19 № 720534

>>720519
>>720524
Возможно ты слишком мнительный. Задумайся.

Аноним 28/04/24 Вск 14:15:05 № 720591

ПЕРЕКАТываемся

>>720590 (OP)
>>720590 (OP)
>>720590 (OP)

анончики а есть какая нибудь хуйня по типу няшка.ехе на рабочий стол? представил себе анимешку с вст Аноним 27/04/24 Суб 20:53:34 № 719998 Ответ

анончики а есть какая нибудь хуйня по типу няшка.ехе на рабочий стол? представил себе анимешку с встроенной нейросетью которая всегда под боком, ахуенно же. такое уже придумали?

Пропущено 1 постов
1 с картинками.

В тред Скрыть

Пропущено 5 постов, 1 с картинками.

Аноним 27/04/24 Суб 22:04:07 № 720098

>>720073
назови

Аноним 28/04/24 Вск 07:21:11 № 720367

https://youtu.be/rqfwuCrDkdc
https://youtu.be/Naw3PAUZVZ0
пока всё в зачаточном состоянии

Аноним 28/04/24 Вск 08:40:12 № 720401

>>720367
большое спасибо! хакко тупо стап воркин после запуска, заебумба. (((((((

Мужики, срочно! Мне нужна картинка Bo sinnа(типа открытки). Который поздровляет "с днём рождения". Аноним 27/04/24 Суб 13:35:09 № 719602 Ответ

Мужики, срочно! Мне нужна картинка Bo sinnа(типа открытки). Который поздровляет "с днём рождения". Помогите!

В тред Скрыть

NovelAI and WaifuDiffusion тред #141 /nai/ Аноним 18/04/24 Чтв 16:05:00 № 708540 Ответ

Генерируем тяночек!
Прошлый >>698708 (OP) https://arhivach.top/thread/1007187/

Схожие тематические треды:
— Технотред >>639060 (OP)
— SD-тред (фотореализм) >>708081 (OP)
— Тред в /fur/ https://2ch.hk/fur/res/284014.html

Генерируя в коллабе на чужом блокноте будьте готовы к тому, что его автору могут отправляться все ваши промты, генерации, данные google-аккаунта, IP-адрес и фингерпринт браузера.

F.A.Q. треда: https://rentry.co/nai_faq
Устанавливаем на ПК/Облако: https://rentry.co/nai_faq#как-поставить-на-пкоблако
Полезные расширения для WebUI: https://rentry.co/sd_automatic_extensions

➤ Гайды

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.co/nai_faq#как-писать-промпты
ControlNet для начинающих: https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion
Полная инфа по ControlNet: https://stable-diffusion-art.com/controlnet
Апскейл для начинающих: https://rentry.co/sd__upscale | https://rentry.co/SD_upscale | https://rentry.co/2ch_nai_guide#апскейл
Апскейл с помощью ControlNet (для продвинутых, требуется минимум 8GB VRAM): https://rentry.co/UpscaleByControl
Гайды по обучению лор: https://rentry.co/waavd | https://rentry.co/2chAI_hard_LoRA_guide

➤ Интерфейсы для Stable Diffusion

Stable Diffusion WebUI by AUTOMATIC1111
https://github.com/AUTOMATIC1111/stable-diffusion-webui
Классический WebUI от AUTOMATIC1111. Самое большое число пользователей и наработок.

Оптимизации для слабых ПК (6GB VRAM и менее): https://rentry.co/voldy#-running-on-4gb-and-under-
Общие советы по оптимизациям: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations

ComfyUI
https://github.com/comfyanonymous/ComfyUI
Интерфейс, заточенный на построение собственных workflow посредством организации конвееров через редактирование нод с различными действиями и указанием связей между ними.

Англоязычный гайд от автора в виде визуальный новеллы: https://comfyanonymous.github.io/ComfyUI_tutorial_vn/
Примеры готовых workflow: https://comfyanonymous.github.io/ComfyUI_examples/
Русскоязычный гайд: https://habr.com/ru/articles/729848/

WebUI Forge
https://github.com/lllyasviel/stable-diffusion-webui-forge
WebUI от автора контролнета. По интерфейсу аналогичен WebUI от автоматика, но более быстрый.

Foocus
https://github.com/lllyasviel/Fooocus
Альтернативный WebUI от автора контролнета, ориентированный на простоту использования.

Доступен в облаке гугла (колаб): https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/fooocus_colab.ipynb

➤ Каталог популярных моделей

Чекпоинты SD 1.5: https://civitai.com/collections/42742
Чекпоинты SD XL: https://civitai.com/collections/42753
Генерация аниме на EasyFluff + hll-ликорисе: https://rentry.org/5exa3

Каталог лор на стилизацию для SD 1.5: https://civitai.com/collections/42751
Лоры с форча для SD 1.5: https://gitgud.io/badhands/makesomefuckingporn
Лоры и примечания для PonyDiffusion: https://rentry.org/ponyxl_loras_n_stuff

➤ Дополнительная инфа

Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion
АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://stable-diffusion-art.com/tutorials | https://rentry.co/sdg-link | https://rentry.co/sdgoldmine

Шаблон для переката: https://rentry.co/nwhci

Пропущено 208 постов
208 с картинками.

В тред Скрыть

Пропущено 507 постов, 208 с картинками.

Аноним 29/04/24 Пнд 13:10:12 № 721555

>>721499
Советую поверить в себя.

Аноним 02/05/24 Чтв 22:26:26 № 724451

>>721390
соси и будешь услишан

Аноним 06/05/24 Пнд 19:29:00 № 728946

тоже теперь не могу попасть в /nf/

AI Chatbot General № 477 /aicg/ Аноним 25/04/24 Чтв 14:12:15 № 717384 Ответ

17138705182581.mp4 3425Кб, 960x720, 00:00:51

Пропущено 202 постов
202 с картинками.

В тред Скрыть

Пропущено 1644 постов, 202 с картинками.

Аноним 27/04/24 Суб 21:23:49 № 720042

>>719852

Аноним 27/04/24 Суб 21:42:09 № 720068

Случайно использовал для брэйнсторма чат не с голым пресетом, а с персонажем, в итоге отвечает нормально но добавляет вначале реплики в характере, типа вздох так уж и быть, давай распишу... лол

Аноним 27/04/24 Суб 22:59:02 № 720154

merkava умер?

Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №54 /llama/ Аноним 23/04/24 Втр 14:51:18 № 714898 Ответ

Альфа от контек[...].png 121Кб, 3090x1830

В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.

Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/

LLaMA 3 вышла! Увы, только в размерах 8B и 70B. В треде можно поискать ссылки на правленные промт форматы, дефолтные не подходят. Ждём исправлений.

Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.

Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении.

Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.

Про остальные семейства моделей читайте в вики.

Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас.

Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Sao10K/Fimbulvetr-10.7B-v1-GGUF/blob/main/Fimbulvetr-10.7B-v1.q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.

Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!

Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся

Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ
https://github.com/ollama/ollama Однокнопочный инструмент для полных хлебушков в псевдо стиле Apple (никаких настроек, автор знает лучше)

Ссылки на модели и гайды:
https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде

Предыдущие треды тонут здесь:
>>712072 (OP)
>>709757 (OP)

Пропущено 75 постов
75 с картинками.

В тред Скрыть

Пропущено 500 постов, 75 с картинками.

Аноним # OP 26/04/24 Птн 01:26:29 № 718000

Новый, свежий тред. Ну то есть

ПЕРЕКАТ

>>717999 (OP)

ПЕРЕКАТ

>>717999 (OP)

Аноним 26/04/24 Птн 12:22:35 № 718235

>>717980
Всем известно, что надо ставить 6 кванты, но их почему-то нет здесь. Ниудобные цифры получились бы. Ну а так, очередная статья для дроча харша + попытка протолкнуть свои кванты.

Аноним 28/04/24 Вск 16:54:39 № 720784

Кто использует платы Z170 или Z390 под две Теслы и больше, нормально работает? Что у вас за мать? Примерный конфиг компьютера?

Нейросетевой заработок Аноним 04/07/23 Втр 20:52:31 № 385611 Ответ

Добрый день. Имеется код на TensorFlow (Keras) для обучения нейронки для предсказания движения курса и собственно, его предсказание. Код взят в открытом источнике и ещё не полностью доработан. Также возникают некоторые трудности, может кто нибудь подскажет, как их можно решить, вот сам код

# Импортирование необходимых библиотек
import os.path
import pandas as pd
import numpy as np
import tensorflow as tf
from binance.client import Client

# Получение доступа к API биржи бинанс
api_key = 'Ключ'
api_secret = 'Секрет'
client = Client(api_key, api_secret)

# Сбор данных о криптовалютах и их изменении цен за определенный период времени
if os.path.exists("data.csv"):
bars = pd.read_csv("data.csv")
else:
data_file = open("data.csv", "w+")
data_file.close()
df = pd.DataFrame(client.get_historical_klines("BTCUSDT", Client.KLINE_INTERVAL_5MINUTE, "90 days ago UTC"))
df.to_csv("data.csv", index=False)
bars = pd.read_csv("data.csv")

#bars = client.get_historical_klines("BTCUSDT", Client.KLINE_INTERVAL_5MINUTE, "180 days ago UTC")

# Подготовка данных для обучения нейросети
data = pd.DataFrame(bars,
columns=['timestamp', 'open', 'high', 'low', 'close', 'volume', 'close_time', 'quote_asset_volume',
'number_of_trades', 'taker_buy_base_asset_volume', 'taker_buy_quote_asset_volume',
'ignore'])
data.drop(columns=['close_time', 'quote_asset_volume', 'number_of_trades', 'taker_buy_base_asset_volume', 'taker_buy_quote_asset_volume', 'ignore'], inplace=True)
data['timestamp'] = pd.to_datetime(data['timestamp'], unit='ms')
data.set_index('timestamp', inplace=True)
data = data.astype(float)

# Создание модели нейросети
model = tf.keras.Sequential([
tf.keras.layers.Dense(128, activation='relu', input_shape=(5,)),
tf.keras.layers.BatchNormalization(),
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(32, activation='relu'),
tf.keras.layers.Dense(1)
])

MyOpt = tf.keras.optimizers.SGD(learning_rate=0.05, momentum=0.05, nesterov=True)
# Компиляция модели
model.compile(optimizer=MyOpt,
loss='mape',
metrics='accuracy')

# Обучение модели на подготовленных данных
model.fit(data.iloc[:-100], data['close'].iloc[:-100], batch_size=15, epochs=400, validation_split=0.2)

# Проверка качества работы нейросети на тестовых данных
model.evaluate(data.iloc[-100:], data['close'].iloc[-100:])

# Использование нейросети для принятия решений о покупке или продаже криптовалют на бирже бинанс
prediction = model.predict(data.iloc[-1:].values)
if prediction > data['close'].iloc[-1]:
print('Купить')
else:
print('Продать')

Проблема заключается в процессе обучения, во первых, если выдёргивать данные из файла (Если я всё правильно написал), то процесс обучения заходит в тупик и loss улетает, поэтому выдаётся nan, почему так происходит я не понимаю, пробовал разные методы и параметры оптимизации и разные функции потерь. Есть мысль что как то неправильно берутся данные из файла, так как если расскоментить bars = client.get_historical_klines("BTCUSDT", Client.KLINE_INTERVAL_5MINUTE, "180 days ago UTC") То процесс обучения начинает хоть как то идти. Во вторых параметр метрики, в частности точность тут не подходит, я так понимаю, надо написать свой метод для определения точности. Активационную функцию выбрал для всех слоев relu, так как при при других опять же процесс обучения просто упадёт. Пробовал с разным кол-вом нейронов, выход один и тот же, максимум чего удалось добиться это loss = 1000 (Чего немного дофига)
Нижнюю часть, в частности проверка качества работы и использование нейронки можно пока выбросить.
Есть у кого идеи по размеру батчей, возможно мало эпох или ещё чего то не хватает. С переобучением не сталкивался, так что dropout и нормализацию батчей не использовал.

Пропущено 24 постов
24 с картинками.

В тред Скрыть

Пропущено 282 постов, 24 с картинками.

Аноним 27/03/24 Срд 21:29:12 № 684335

Бамп

Аноним 09/04/24 Втр 06:03:16 № 697838

>>385611 (OP)
Надеюсь ты еще тут появляешься, ОП.
Стало интересно, и я посмотрел в сторону ByBit, там тоже есть API, есть либа для питона, но вот когда получаешь инфу о свечах - параметров меньше чем у бинанса, не могу пока понять, насколько это критично.
А нет именно
quote_asset_volume
number_of_trades
'taker_buy_base_asset_volume
taker_buy_quote_asset_volume

Но есть Turnover (Unit of figure: quantity of quota coin)

Я подумал, что может быть еще стоит Open Interest так же добавить в данные для обучения.

И вообще, как идут/шли дела? На чем остановился?

Аноним 25/04/24 Чтв 23:54:45 № 717940

>>385611 (OP)
это работать не будет, не трать в пустую время

AI Chatbot General № 476 /aicg/ Аноним 23/04/24 Втр 14:08:37 № 714835 Ответ

Пропущено 223 постов
223 с картинками.

В тред Скрыть

Пропущено 1641 постов, 223 с картинками.

Аноним 25/04/24 Чтв 14:12:49 № 717386

>>717385
У меня только книжный...

Аноним 25/04/24 Чтв 14:12:54 № 717387

ПЕРЕКАТ

>>717384 (OP)
>>717384 (OP)
>>717384 (OP)

Аноним 25/04/24 Чтв 14:13:10 № 717388

>>717386
(капча: оомг)

Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №53 /llama/ Аноним 21/04/24 Вск 02:36:23 № 712072 Ответ

В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.

Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/

LLaMA 3 вышла! Увы, только в размерах 8B и 70B. В треде можно поискать ссылки на правленные промт форматы, дефолтные не подходят. Ждём исправлений.

Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.

Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении.

Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.

Про остальные семейства моделей читайте в вики.

Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас.

Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Sao10K/Fimbulvetr-10.7B-v1-GGUF/blob/main/Fimbulvetr-10.7B-v1.q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.

Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!

Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся

Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ
https://github.com/ollama/ollama Однокнопочный инструмент для полных хлебушков в псевдо стиле Apple (никаких настроек, автор знает лучше)

Ссылки на модели и гайды:
https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде

Предыдущие треды тонут здесь:
>>709757 (OP)
>>704905 (OP)

Пропущено 79 постов
79 с картинками.

В тред Скрыть

Пропущено 501 постов, 79 с картинками.

Аноним 23/04/24 Втр 14:49:39 № 714895

>>714887
>>714891
по ощущениям ллама-3 догнала проприетарщину по соевости, также стало сложнее обходить это, по настоящему стрёмно за файнтюны, не думаю что они исправят это.

Аноним # OP 23/04/24 Втр 14:52:09 № 714899

ПЕРЕКАТ
Паровоз локалок продолжает нестись, надеюсь не под откос.

>>714898 (OP)

>>714898 (OP)

Аноним 23/04/24 Втр 14:53:06 № 714902

>>714895
Исправить то можно тем же токсик дпо или контрольными векторами
Вот только модель поглупеет
Ладно, может какой то файнтюн базовой модели будет удачным

Музыкальный общий №3 /music/ Аноним 13/04/24 Суб 04:26:29 № 702361 Ответ

Я верю. Друзья!.mp4 6414Кб, 512x768, 00:02:56

Гимн Двача.mp4 16285Кб, 552x552, 00:02:43

Siren song.mp4 9385Кб, 640x360, 00:02:56

♫ Udio ♫
https://www.udio.com/
Лимиты: 1200 генераций в месяц

♫ Suno ♫
https://app.suno.ai/ генерация на сайте
https://suno.ai/discord генерация на официальном discord-сервере
https://rentry.co/suno_tips советы по использованию
Лимиты: 5 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов

♫ Локальные модели ♫
Ждём и надеемся...

🎙️ Открытый бета-тест Udio
В открытую бету вышла нейросеть Udio, которая, по словам множества пользователей, превосходит Suno V3 в генерации музыкальных композиций. Пока идёт бета-тест, доступно 1200 генераций в месяц с одного аккаунта.

Udio и Suno поддерживают множество языков для вокала (включая русский) и большое разнообразие жанров.

Ориджинал контент крайне приветствуется.

Прошлый тред: >>662527 (OP)

Пропущено 168 постов
168 с картинками.

В тред Скрыть

Пропущено 552 постов, 168 с картинками.

Аноним 26/04/24 Птн 15:13:40 № 718384

Пасскодный ОП походу отвалился, сделал перекат.
Если не нравится, то долбите тогда модера.
>>718382 (OP)
>>718382 (OP)
>>718382 (OP)
>>718382 (OP)
>>718382 (OP)
>>718382 (OP)

Аноним 26/04/24 Птн 16:40:37 № 718497

Аноним 12/05/24 Вск 18:55:00 № 736549

17153574875060.mp4 13715Кб, 600x900, 00:03:00

подскажите оригинал песни пожалуйста

Stable Diffusion тред X+80 /sd/ Аноним 18/04/24 Чтв 08:14:34 № 708081 Ответ

Stable Diffusion тред X+80
======================================
Предыдущий тред >>701338 (OP) https://arhivac.top/?tags=13840
------------------------------------------
схожие тематические треды
- NAI-тред (аниме) >>698708 (OP)
- технотред >>639060 (OP)

========================
Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях.
Полный функционал в локальной установке (см. ниже)

Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img
Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации)
Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace)

⚠️ Стандартные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже).

🔞 Без цензуры и полный функци_анал: только ПК-версия
===========================================
🖥УСТАНОВКА НА ПК
WebUI от Automatic1111
https://teletype.in/@stablediffusion/PC_install_SD
------------------------------------------
Forge - Почти тот же WebUI, что и выше, но более быстрый по скорости
https://github.com/lllyasviel/stable-diffusion-webui-forge
------------------------------------------
👉 Для новичков - простой в работе WebUI Fooocus
https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download
------------------------------------------
Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов)
https://github.com/comfyanonymous/ComfyUI/releases
Примерные workflow для ComfyUI (можно загружать напрямую из картинок)
https://comfyanonymous.github.io/ComfyUI_examples/
===========================================
📚 РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) 👇
https://civitai.com/
------------------------------------------
📊 ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ 👇
https://teletype.in/@stablediffusion/samplers_steps
===========================================
🎨 ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ
https://teletype.in/@stablediffusion/artists_for_prompts

Пример запроса (Промпт): a tiger, wildlife photography, high quality, wildlife, soft focus, 8k, national geographic, photograph by nick nichols
------------------------------------------
♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) 👇
https://supagruen.github.io/StableDiffusion-CheatSheet/
https://www.artvy.ai/styles
------------------------------------------
💻ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ
https://www.itshneg.com/controlnt-upravlyaj-pozami-v-stable-diffusion/
==========================================
🧠 ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ 👇
https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora
https://civitai.com/models/train

Пропущено 190 постов
190 с картинками.

В тред Скрыть

Пропущено 521 постов, 190 с картинками.

Аноним 23/04/24 Втр 15:15:03 № 714930

Аноним 23/04/24 Втр 15:29:24 № 714948

Идем в этот тред за SD3

>>714946 (OP)
>>714946 (OP)
>>714946 (OP)

ПЕРЕКАТ

Аноним 23/04/24 Втр 17:32:57 № 715114

>>714897
Симпатишно, только голых баб было бы неплохо через only masked инпеинт прогнать для детализации. А то они никакущие в таком мелком размере.

AI Chatbot General № 475 aicg /aicg/ Аноним 21/04/24 Вск 08:36:46 № 712163 Ответ

Пропущено 243 постов
243 с картинками.

В тред Скрыть

Пропущено 1588 постов, 243 с картинками.

Аноним 23/04/24 Втр 16:57:26 № 715057

>>713240
Такая же херня, ты смог решить?

Аноним 23/04/24 Втр 17:23:03 № 715100

>>713240
>>715057
у мя такого нет но вдруг поможет:
https://github.com/nodejs/node/issues/52582

Аноним 23/04/24 Втр 18:12:19 № 715169

>>715100
Ошибку с leaf исправил спасибо, но с сертификатом все равно ошибка хз даже, вроде все перебровал, нихуя

Сап двач, такая проблема. Последнее время регулярно использовал krea.ai по работе. Все было хорошо, Аноним 21/04/24 Вск 11:33:13 № 712261 Ответ

Сап двач, такая проблема. Последнее время регулярно использовал krea.ai по работе. Все было хорошо, но недавно перестала работать опция Quick Enhance, получается только искаженное изображение с низким разрешением. Иногда получается норм, после 50+ попыток. Кто-нибудь сталкивался с этим? Что делать? И есть ли альтернативы для krea.ai, когда ты также можешь загружать свое изображение, писать промт и т.д.

Пропущено 1 постов
1 с картинками.

В тред Скрыть

Пропущено 3 постов, 1 с картинками.

Аноним 21/04/24 Вск 13:59:57 № 712359

>>712321
А где это раздобыть? Я просто кроме krea и пары нейросеток больше ничего не знаю. Мне просто нужна нейросетка где можно обрабатывать фотографии в приемлемом качестве и с минимум ограничений.

Krea в этом плане хорошо подходила пока этот залупный баг не вылез который я хз как обойти. На всяких рэддитах при быстром поиске ничего не нашел по такой проблеме

Аноним 21/04/24 Вск 15:19:37 № 712461

>>712359
Можно стейблдифужен с быстрым семплером пробросить в фотошоп или криту. Для криты вроде даже реалтайм рисовка имеется. Возможно можно плейграунд 2.5 через комфи с модулями на рисование также сделать, но я не гуглил. У тебя вопрос стоит только в наличии видеокарты.

Аноним 21/04/24 Вск 16:39:58 № 712538

>>712461
Спасибо, попробую

Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №52 /llama/ Аноним 19/04/24 Птн 13:43:20 № 709757 Ответ

Самый ебанутый [...].png 1642Кб, 1278x959

В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.

Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/

LLaMA 3 вышла! Впрочем всем похуй, всё одно говно без размеров и с соей, размером только 8B и 70B.

Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.

Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении.

Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.

Про остальные семейства моделей читайте в вики.

Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас.

Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Sao10K/Fimbulvetr-10.7B-v1-GGUF/blob/main/Fimbulvetr-10.7B-v1.q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.

Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!

Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся

Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ

Ссылки на модели и гайды:
https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде

Предыдущие треды тонут здесь:
>>704905 (OP)
>>699623 (OP)

Пропущено 92 постов
92 с картинками.

В тред Скрыть

Пропущено 503 постов, 92 с картинками.

Аноним # OP 21/04/24 Вск 02:40:13 № 712080

ПЕРЕКАТ
Совсем ебанулись, чуть больше 2-х дней ушло.

>>712072 (OP)

>>712072 (OP)

Аноним 21/04/24 Вск 03:08:27 № 712092

>>712057
убабуба это ад зависимостей с питоном, ничего удивительного.

Аноним 21/04/24 Вск 04:50:59 № 712136

>>712053
Какой размер модельки и что за фигня с настройками? Зачем во входной последовательности end_of_text? Там же begin надо.

народ, подскажите 18+ нейросетку с которой можно в ролплей, т.е. нагенерить хороших историй, внести Аноним 19/04/24 Птн 22:51:30 № 710392 Ответ

народ, подскажите 18+ нейросетку с которой можно в ролплей, т.е. нагенерить хороших историй, внести хотя бы ГГ и спутников, получить интересные диалоги и динамичную историю, желательно с поддержкой NSFW

критерии:
1) бесплатно и безлимитно (без кредитов, премиума, энергии и т.д.)
2) генерация SFW/NSFW изображений по ходу "сюжета"
3) можно нагенерить крутых историй прямо в диалоге

пример:

www.gptgirlfriend.online / Knight Astoria
начал интересную историю и тут "ПЛОТИ ИЛИ ПНХ"

попробовал KoboldAI (рандомно тыкал, насколько освоился в настройках и моделях, английский знаю очень хорошо)
местами неплохо, но все же часто выдает околесицу и никакой "погружающей" истории не выходит. У меня оно часто путает персонажей или вообще несет полный бред, хотя старался вникнуть в модели, режимы и настройки. Поиски продолжаются

Если у кого вышло запустить кобольда в таком режиме как в ОП, прошу, объясните пошагово, какие надо выставлять модели, настройки, модули, скрипты и т.д., поскольку я в этому полный нуб

Пропущено 1 постов
1 с картинками.

В тред Скрыть

Пропущено 1 постов, 1 с картинками.

Аноним 20/04/24 Суб 01:17:32 № 710528

bump

Аноним 20/04/24 Суб 02:21:45 № 710586

>>710392 (OP)
Локально - требуется железо, знания, пердолинг >>709757 (OP)
В облаках - требуется хотябы навык следования гайдам и найти себе к ним доступ >>709270 (OP)
Про генерацию изображений по ходу спросишь в тех тредах

Аноним 20/04/24 Суб 20:48:55 № 711713

Моча ебучая я ссылку оставлял, ну идите нахуй тогда уроды

AI Chatbot General № 474 /aicg/ Аноним 19/04/24 Птн 00:05:41 № 709270 Ответ

Пропущено 223 постов
223 с картинками.

В тред Скрыть

Пропущено 1554 постов, 223 с картинками.

Аноним 21/04/24 Вск 08:37:29 № 712164

ПЕРЕКОТ

>>712163 (OP)
>>712163 (OP)
>>712163 (OP)

Аноним 21/04/24 Вск 11:20:31 № 712255

>>712125
Ебать ты умный. Заядлый дрочер походу.

Аноним 21/04/24 Вск 13:15:26 № 712326

>>712077
Я знаю, я обращался к нигерийским господинам с дев ключами, дум будет у нас.

Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №51 /llama/ Аноним 15/04/24 Пнд 17:37:37 № 704905 Ответ

В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку.

Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/

Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.

Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении.

Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.

Про остальные семейства моделей читайте в вики.

Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас.

Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Sao10K/Fimbulvetr-10.7B-v1-GGUF/blob/main/Fimbulvetr-10.7B-v1.q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.

Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!

Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся

Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ

Ссылки на модели и гайды:
https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде

Предыдущие треды тонут здесь:
>>699623 (OP)
>>695332 (OP)

Пропущено 94 постов
94 с картинками.

В тред Скрыть

Пропущено 508 постов, 94 с картинками.

Аноним 19/04/24 Птн 17:16:15 № 709957

image.png 16Кб, 991x97

Ответьте пж:
Как сделать чтобы таверна не добавляла в конец * и " при отмене генерации?

Аноним 19/04/24 Птн 18:17:44 № 710008

>>709721
В настройках поменять руками точно можно. Если хочешь, чтобы персонаж менял, то как минимум между такими символами как ", *, ``` текст будет выглядеть немного по-разному в том числе разных цветов. Возможно есть теги, которые указывают конкретный цвет и шрифт текста, попробуй посмотри в документации.

Аноним 19/04/24 Птн 18:42:34 № 710034

>>708891
Ну и нахуй она нужна тогда?

NovelAI and WaifuDiffusion тред #140 /nai/ Аноним 09/04/24 Втр 23:46:35 № 698708 Ответ

Генерируем тяночек!
Прошлый >>688723 (OP) https://arhivach.top/thread/1003449/

Схожие тематические треды:
— Технотред >>639060 (OP)
— SD-тред (фотореализм) >>694463 (OP)
— Тред в /fur/ https://2ch.hk/fur/res/284014.html

Генерируя в коллабе на чужом блокноте будьте готовы к тому, что его автору могут отправляться все ваши промты, генерации, данные google-аккаунта, IP-адрес и фингерпринт браузера.

F.A.Q. треда: https://rentry.co/nai_faq
Устанавливаем на ПК/Облако: https://rentry.co/nai_faq#как-поставить-на-пкоблако
Полезные расширения для WebUI: https://rentry.co/sd_automatic_extensions

➤ Гайды

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.co/nai_faq#как-писать-промпты
ControlNet для начинающих: https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion
Полная инфа по ControlNet: https://stable-diffusion-art.com/controlnet
Апскейл для начинающих: https://rentry.co/sd__upscale | https://rentry.co/SD_upscale | https://rentry.co/2ch_nai_guide#апскейл
Апскейл с помощью ControlNet (для продвинутых, требуется минимум 8GB VRAM): https://rentry.co/UpscaleByControl
Гайды по обучению лор: https://rentry.co/waavd | https://rentry.co/2chAI_hard_LoRA_guide

➤ Интерфейсы для Stable Diffusion

Stable Diffusion WebUI by AUTOMATIC1111
https://github.com/AUTOMATIC1111/stable-diffusion-webui
Классический WebUI от AUTOMATIC1111. Самое большое число пользователей и наработок.

Оптимизации для слабых ПК (6GB VRAM и менее): https://rentry.co/voldy#-running-on-4gb-and-under-
Общие советы по оптимизациям: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations

ComfyUI
https://github.com/comfyanonymous/ComfyUI
Интерфейс, заточенный на построение собственных workflow посредством организации конвееров через редактирование нод с различными действиями и указанием связей между ними.

Англоязычный гайд от автора в виде визуальный новеллы: https://comfyanonymous.github.io/ComfyUI_tutorial_vn/
Примеры готовых workflow: https://comfyanonymous.github.io/ComfyUI_examples/
Русскоязычный гайд: https://habr.com/ru/articles/729848/

WebUI Forge
https://github.com/lllyasviel/stable-diffusion-webui-forge
Новый WebUI от автора контролнета. Обещают огромный буст перфоманса по сравнению с WebUI от автоматика.

Foocus
https://github.com/lllyasviel/Fooocus
Альтернативный WebUI от автора контролнета, ориентированный на простоту использования.

Доступен в облаке гугла (колаб): https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/fooocus_colab.ipynb

➤ Каталог популярных моделей

Чекпоинты SD 1.5: https://civitai.com/collections/42742
Чекпоинты SD XL: https://civitai.com/collections/42753
Генерация аниме на EasyFluff + hll-ликорисе: https://rentry.org/5exa3

Каталог лор на стилизацию для SD 1.5: https://civitai.com/collections/42751
Лоры с форча для SD 1.5: https://gitgud.io/badhands/makesomefuckingporn
Лоры и примечания для PonyDiffusion: https://rentry.org/ponyxl_loras_n_stuff

➤ Дополнительная инфа

Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion
АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://stable-diffusion-art.com/tutorials | https://rentry.co/sdg-link | https://rentry.co/sdgoldmine

Шаблон для переката: https://rentry.co/nwhci

Пропущено 223 постов
223 с картинками.

В тред Скрыть

Пропущено 506 постов, 223 с картинками.

Аноним 20/04/24 Суб 11:27:33 № 710717

>>704286
Посмотрел бы Эрагона в порно-интерпретации

Аноним 22/04/24 Пнд 11:38:10 № 713525

EBB69D65-AD0E-4[...].jpeg 134Кб, 512x897

8DF51730-4016-4[...].jpeg 634Кб, 1024x1798

https://share.clickasnap.com/profile/LilyLovely/photo/01HVZY8XXCQ6VG2V6K55J99HZ3

Аноним 01/05/24 Срд 09:05:08 № 723042

Какие теги позволяют сделать узкий таз и маленькую жопу на моделях пони? Slim, slender, skinny не работают, делают худое тело, но оставляют широкую жопу и бедра. И еще вот для 1.5 был thickness slider для этих целей, а на пони нет такого?

Ананасы, помогите заплатить барыгам на Plati.Market Аноним 17/04/24 Срд 21:24:20 № 707600 Ответ

Раз в несколько месяцев я набираю себе воду из родничка подписки на ElevenLabs - сделать это можно только через Plati.Market, потому что наши карты (особенно Беларуси) зарубежные сервисы не принимают.

Раньше я делал это через любого доступного барыгу: выбирал в способах оплаты карту Казахстана и оно пропускало. Со временем кто-то пораскинул своими тремя извилинами и убрал этот способ, так что пришлось переходить на Киви - итог известен.

Я конечно понимаю, что переводы денег между Россией и Беларусью это охуеть какая сложная международная задача уровня Мстителей, но неужели не осталось больше никаких способов, кроме ЮMoney (бывший яндекс-кошелёк, который не даёт себя пополнить без скана паспорта на фоне жопы в трёх проекциях)?

В наличии есть беларуская карта МИР, которая нормально оплачивала в России, но у барыг конкретно такого варианта нету. Крипта тоже не пойдёт, её тут хуй купишь без мозгоебли и тех самых фоток с жопой (или я чего-то не знаю). Если кто-то тоже попал в такую ситуацию, то напишите пожалуйста, если остался какой-нибудь рабочий способ

В тред Скрыть

Stable Diffusion тред X+79 /sd/ Аноним 12/04/24 Птн 07:30:21 № 701338 Ответ

Stable Diffusion тред X+79
======================================
Предыдущий тред >>694463 (OP) https://arhivac.top/?tags=13840
------------------------------------------
схожие тематические треды
- NAI-тред (аниме) >>698708 (OP)
- технотред >>639060 (OP)

========================
Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях.
Полный функционал в локальной установке (см. ниже)

Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img
Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации)
Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace)

⚠️ Стандартные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже).

🔞 Без цензуры и полный функци_анал: только ПК-версия
===========================================
🖥УСТАНОВКА НА ПК
WebUI от Automatic1111
https://teletype.in/@stablediffusion/PC_install_SD
------------------------------------------
Forge - Почти тот же WebUI, что и выше, но более быстрый по скорости
https://github.com/lllyasviel/stable-diffusion-webui-forge
------------------------------------------
👉 Для новичков - простой в работе WebUI Fooocus
https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download
------------------------------------------
Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов)
https://github.com/comfyanonymous/ComfyUI/releases
Примерные workflow для ComfyUI (можно загружать напрямую из картинок)
https://comfyanonymous.github.io/ComfyUI_examples/
===========================================
📚 РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) 👇
https://civitai.com/
------------------------------------------
📊 ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ 👇
https://teletype.in/@stablediffusion/samplers_steps
===========================================
🎨 ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ
https://teletype.in/@stablediffusion/artists_for_prompts

Пример запроса (Промпт): a tiger, wildlife photography, high quality, wildlife, soft focus, 8k, national geographic, photograph by nick nichols
------------------------------------------
♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) 👇
https://supagruen.github.io/StableDiffusion-CheatSheet/
https://www.artvy.ai/styles
------------------------------------------
💻ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ
https://www.itshneg.com/controlnt-upravlyaj-pozami-v-stable-diffusion/
==========================================
🧠 ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ 👇
https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora
https://civitai.com/models/train

Пропущено 214 постов
214 с картинками.

В тред Скрыть

Пропущено 555 постов, 214 с картинками.

Аноним 21/04/24 Вск 08:28:18 № 712162

>>704970
Идея охуенная, текстуры пластмассовые

Аноним 27/04/24 Суб 01:45:27 № 719157

Попробую еще разок и забью.
Сап, нейрач. Дублирую из позапрошлого треда довольно сложный и всратый реквест для самых хардовый нейрохудожников. В прошлом треде аноны нагенерили пикчей, но, возможно, у кого-нибудь появится интерес и мы получим еще что-нибудь.

Нужно пикчу по мотивам десткого воспоминания:
Знойный летний день, высокое-высокое голубое небо, бескрайнее поле (или даже степь?), посреди которого стоит старая, помятая и ржавая машина. Ирл там был жигуль, "тройка", вроде, но можно сделать любую, главное ржавую и побитую. И рядом, не важно, возле или на самой машине (на капоте) голая тян лет 18-20-ти. Насчет тян предоставляю свободу выбора (ибо не помню ее от слова совсем, а вкусы в тяночках у меня максимально разнообразные) хоть грудастая брюнетка, хоть плоскогрудая зумерша с цветными волосами. Аниме, реализм или нечто среднее так же не важно. Если тян будет сидеть на корточках и пи́сать - это вообще шик.
Опционально (не обязательно, но было б очень круто) можно добавить граммофон аля пикрил на капоте или внутри на сидении (вообще все действо можно перенести внутрь машины, но там тян пусть просто сидит, без мочкиспускания), пачку сигарет и губную помаду, но тогда поле должно быть видно из окна автомобиля. Все это дополнительные, важные, но не обязательные детали. Молю, аноны, помогите восстановить флешбек из детства!

Аноним 27/04/24 Суб 15:01:14 № 719677

Это нормально, что нейронка не использует более 8 гигабайт вирама? Или это проблема в самой видеокарте?