Художественные нейросети

[Tzratzk]

Блин! Чего там надо качать????

https://huggingface.co/stabilityai/stab ... /tree/main

---

А, походу, там надо командовать в консоли...

[Tzratzk]

highres.fix нужен для пропработки мелких объектов. К примеру лиц на дальних планах и пр.

А вот и фигушки. Он, в первую очередь, нужен чтоб делать не сразу 1024 на 1024, потому что тогда натренированная на 512х512 модель начинает дублить объекты. А чтобы сделать сначала 512х512 (при этом ничего не сдублится, ибо родной размер), а потом не отходя от кассы проапскейлить результат до 1024х1024. И получить в итоге тот же 1024 на 1024, но не шизанутый.

И, таки да, проработка мелких деталей там тоже имеет место.



"Сказать по правде, верно то и это..."

(с) Труффальдино из Бергамо

[Дмитрий Марков]

"Блин! Чего там надо качать????"

А вот тут вопрос пока открытый (я пробовал скачать те что подходили по размерам и переименовать, ничего не вышло)... Там похоже какие-то модели "не для всех". Нужно искать тех кто уже разобрался и поставил. Есть правда альтернативный вариант, но тоже не из простых. Нужно будет у испанца поспрашивать (он в своем дискорде как раз ссылку на этот репозиторий кидал).

https://www.youtube.com/watch?v=NVyvejpzzZQ&t=2s

[Дмитрий Марков]

Вот тут что-то есть, но... там похоже какие-то особые верси SD используются. В общем будем спрашивать у испанца
https://www.cerebrium.ai/blog/improve-s ... aitemplate

[Tzratzk]

"Блин! Чего там надо качать????"

А вот тут вопрос пока открытый (я пробовал скачать те что подходили по размерам и переименовать, ничего не вышло)... Там похоже какие-то модели "не для всех". Нужно искать тех кто уже разобрался и поставил. Есть правда альтернативный вариант, но тоже не из простых. Нужно будет у испанца поспрашивать (он в своем дискорде как раз ссылку на этот репозиторий кидал).

https://www.youtube.com/watch?v=NVyvejpzzZQ&t=2s

Я оттуда копирую в консоль команды и жму ентер. Чего-то скачивается, несколько часов уже...

Following the setup instructions on launching a TensorRT NGC container.
git clone https://github.com/rajeevsrao/TensorRT.git
cd TensorRT
git checkout release/8.6
docker run --rm -it --gpus all -v $PWD:/workspace nvcr.io/nvidia/pytorch:23.06-py3 /bin/bash

Download the SDXL TensorRT files from this repo
git lfs install
git clone https://huggingface.co/stabilityai/stab ... 0-tensorrt
cd stable-diffusion-xl-1.0-tensorrt
git lfs pull
cd ..

Install libraries and requirements
python3 -m pip install --upgrade pip
python3 -m pip install --upgrade tensorrt

cd demo/Diffusion
pip3 install -r requirements.txt

Perform TensorRT optimized inference
python3 demo_txt2img_xl.py \
"Astronaut in a jungle, cold color palette, muted colors, detailed, 8k" \
--build-static-batch \
--use-cuda-graph \
--num-warmup-runs 1 \
--width 1024 \
--height 1024 \
--denoising-steps 30 \
--onnx-base-dir /workspace/stable-diffusion-xl-1.0-tensorrt/sdxl-1.0-base \
--onnx-refiner-dir /workspace/stable-diffusion-xl-1.0-tensorrt/sdxl-1.0-refiner

Downloads last month
0
Hosted inference API
Text-to-Image



https://huggingface.co/stabilityai/stab ... 0-tensorrt


Жалко только что я фиг понимаю, чего щас делаю.

[Дмитрий Марков]

Ну, расскажешь если что-то получится. Я испанцу вопрос задал - может тоже что-то ответит.

StylePile - очень крутой плагин позволяющий настраивать стили (т.е. просто выбираем художников из списка, задаем веса каждого, получаем микс... и все в этом роде).
https://www.youtube.com/watch?v=BucBhQwZTPQ&t=860s

[Tzratzk]

Под самый конец мне написало, что, мол, в строчке 1 найдена непредвиденная лексема, и на этом всё завершилось.

А вообще, вроде там написано, что это тестовая версия.

Это вообще походу версия только под специальную программу Энвидии.


---


BLABLABLA...


What is TensorRT (in 60 Seconds or Fewer)?
TensorRT is a machine learning framework that is published by Nvidia to run inference that is machine learning inference on their hardware. TensorRT is highly optimized to run on NVIDIA GPUs. It's likely the fastest way to run a model at the moment.

If you're using the NVIDIA TAO Toolkit, we have a guide on how to build and deploy a custom model.


Be sure to subscribe to our channel: https://bit.ly/rf-yt-sub
If you Want to Convert your Model to TensorRT, How Do You Do that?
In order to get to TensorRT you're usually starting by training in a framework like PyTorch or TensorFlow, and then you need to be able to move from that framework into the TensorRT framework.

The nice thing is that Roboflow, makes it easy to do all these things: https://docs.roboflow.com/inference/nvidia-jetson

Delpoy to a Jetson with Roboflow for free
Use Roboflow to manage datasets, train models in one-click, and deploy to web, mobile, or the edge. With a few images, you can train a working computer vision model in an afternoon.

Try Roboflow
Cuda Cores vs Tensor Cores
TensorRT runs on the cuda cores of your GPU. Cuda is the direct api that your machine learning deployment will use to communicate with your GPU. Tensor cores on the other hand are utilized by Google TPUs. Unless you are working at Google, we do not recommend using TPU based deployment as it has not grown in the open source ecosystem like cuda and TensorRT have.

How to Install TensorRT
Before you embark on installing TensorRT, we highly recommend that you work from a linux base, preferably Ubuntu 20.04. If you don't have an Ubuntu server with a GPU, you can spin one up on AWS p2.xlarge


https://blog.roboflow.com/what-is-tensorrt/

[Tzratzk]

А вот мужик контролнетом поворачивает модельку.

https://www.youtube.com/watch?v=3SVqZRmoWo8

[Tzratzk]

https://civitai.com/models/139250/line-illustrationa

[Дмитрий Марков]

Очень хороший стиль. У нее там еще интересные лоры есть....
https://civitai.com/models/120304/flower-field

[Дмитрий Марков]

Испанец ответил и сказал забить на эти модели. Во первых их там конвертировать надо во вторых толку ни какого (если уже стоит версия интерфейса 1.6). В общем испанец проверил, нам оно не надо и я ему верю )

P.S. Опять-же хочу отметить, что он единственный во всем обозримом мной интернете это реально сделал. Больше ни кто с этими моделями даже не заморчивался. Видно не простой пользователь... (хотя кто этих испанцев знает)

[Tzratzk]

А как этой лорой пользоваться? Что-то не врубаюсь. С какими моделями и с каким параметром?

Точнее, в случае обработки готовой картинки в Img to Img

[Дмитрий Марков]

Сначала качаешь лору, потом смортишь картинки которые к ней прилагаются. Внутри этих картинок есть вызов лоры с параметрами. Вот его и используешь со своими промтами (т.е. просто добавлешь в конце своего промта).

no humans, outdoors, flower, scenery, field, sky, white flower, day, horizon, ocean, flower field, yellow flower, blue sky, daisy, landscape, cloud, water, (illustration:1.0), masterpiece, best quality, <lora:Flower field_20230729165144:0.6>

[Tzratzk]

Это-то понятно, если с нуля. А при добавлении этой лоры в Img-to-Img не получается такой контур, а получаются какие-то густые волосы посюду.

[Дмитрий Марков]

Ну, возможно с img-to-image эти лоры не работают. Попробуй покрутить этот ползунок и посмотри что получается. По идее на 60-100 процентах лора должна заработать (хотя возможно и с искажениями). Стили, во всяком случае, таким образом работают. Если нужно что бы работало все, придется добавить контролнет. С ним изображение "не плывет" даже на значениях Denoising Strange близких к 100