Гайды29 июля

Гайд по Heurist - Второй сезон GPU майнинга

О проекте

Heurist — децентрализованная сеть которая будет использоваться для работы с AI моделями. Подход который использует Heurist позволяет объединить различных участников, без которых этот процесс невозможен. И самое главное, этот процесс полностью децентрализован и все участники будут получать вознаграждение в токенах $HUE.

Недавно Heurist получил Тир-1 дроп токенов zkSync, находясь в одной группе с проектом Sophon. Посмотрев на Twitter проекта, можно увидеть, что за ним активно наблюдают и участвуют ребята из фондов.

Всего в процессе задействовано 5 типов участников:

Потребители — это пользователи AI-моделей, которые взаимодействуют с протоколом Heurist для выполнения задач вывода, таких как генерация текста и создание изображений. Они будут платить за вычислительные ресурсы по мере использования.

Майнеры моделей — это люди которые предоставляют GPU вычислительные мощности для генерации.

Создатели моделей — загружают AI-модели в реестр моделей сети Heurist и, в ответ, получают часть платежей, сделанных пользователями.

Интеграторы приложений — создатели приложений которые используют AI-модели Heurist "под капотом". Интеграторы приложений зарабатывают часть сборов в токенах Heurist каждый раз, когда потребители совершают платеж через приложение.

Валидаторы — валидаторы поддерживают целостность и надежность сети Heurist. Они периодически проверяют правильность данных, произведенных майнерами. Если майнер обнаруживается в производстве недействительных или фальшивых данных, его залог конфискуется, причем часть присуждается валидатору, который выявил несоответствие.

Как вам уже должно быть понятно, в гайде мы расскажем как стать Майнером моделей, ведь именно в этом заключается данная фаза тестнета.

Moni Discover Score: 1263

Twitter — https://twitter.com/heurist_ai

Mirror — https://heuristai.medium.com/

Docs — https://docs.heurist.ai/

Website — https://www.heurist.ai/

Награждаемый тестнет

Теперь, когда мы разобрались каким звеном данной AI цепи мы будем, разберёмся с вопросом — зачем?

1 апреля проект запустил первый сезон награждаемого тестнета, в ходе которого было распределено 5% от общего предложения токенов.

Нам предлагается запустить одну из AI моделей на выбор и поддерживать её работу. За это мы будем получать поинты которые по окончанию тестнета будут конвертированы в токены $HUE.

⚠️ Сейчас ты можешь принять участие во втором сезоне майнинга в тестовой сети. Вот какие изменения ждут тебя во втором сезоне.

Изменения в системе наград:

- Введены базовые вознаграждения, все майнеры будут получать по 200 тыс. токенов в неделю. Это гарантирует, что майнеры будут получать вознаграждения независимо от использования сети.

- Динамические вознаграждения, дополнительно можно получить до 1 млн. токенов в неделю, в зависимости от использования сети.

Еженедельные снапшоты:

Во 2 сезоне нас ждут еженедельные снапшоты. Поинты Waifu и Llama будут конвертироваться токен $HUE каждую неделю.

Дата окончания второго сезона будет определена в зависимости от того, что наступит раньше:

- Сеть Heurist ZK Chain запущена в основной сети.

- Прошло 3 месяца после TGE.

Мультипликатор за стейкинг токенов $HUE:

Застейкав свои токены $HUE, майнер будет получать буст к накоплению поинтов.

Вступай в официальные русскоязычные ресурсы проекта:

- Канал Heurist | RU

- Чат Heurist Chat | RU

Установка на свой ПК на Windows

Тебе понадобится установить Linux в качестве подсистемы. Для установки дистрибутива по умолчанию, необходимо открыть Power Shell или Командную строку от имени администратора. Далее необходимо ввести одну команду:

wsl --install

Подробную инструкцию ты можешь найти на оф. сайте Microsoft.

После этого ты можешь продолжить установку с главы — Настраиваем сервер и скачиваем необходимые файлы.

Арендуем сервер

На этом этапе тебе необходимо определиться с типом модели которую ты будешь устанавливать и суммой которую ты готов потратить на майнинг. Это две связанные вещи.

Глобально Heurist предлагает два типа AI модели — Stable Diffusion (далее SD) и LLM.

Майнер Stable Diffusion

Награда — за установку SD майнера мы будем получать Waifu Points.

Рекомендуемое оборудование — видеокарта RTX3090 лучше всего подходит для данного типа майнера. Она сильно опережает по скорости генерации более дорогие видеокарты.

Майнер LLM

Награда — за установку LLM майнера мы будем получать Llama Points. Курс конвертации в токены $HUE отличается в зависимости от требований выбранной вами модели. LLM майнер имеет 18 различных моделей, у которых разные требования и разные награды. Вот несколько основных моделей.

Рекомендуемое оборудование — как видно из информации выше, здесь мы ограничиваемся только нашим бюджетом. Чем больше видеопамяти на борту видеокарты, тем больше круче модель мы сможем установить. Чем круче модель, тем больше награда.

openhermes-2-pro-mistral-7b — требует 24GB of VRAM (подходит: RTX 3090, RTX 4090) 0.2x reward

rate.openhermes-mixtral-8x7b-gptq — требует 40GB of VRAM (подходит: RTX A6000, A100-40GB) 1x reward

rate.openhermes-2-yi-34b-gptq — требует 40GB of VRAM (подходит: RTX A6000, A100-40GB) 1x reward rate.

Устанавливаем терминал

Для Windows и Linux:

1. Для работы с сервером нам понадобится терминал, возьмём самый простой — Putty.

2. Чтобы скачать терминал, перейди на сайт автора. Не пугайся дизайна, это официальный сайт разработчика.

3. Нажимай кнопку Download it here. Выбери подходящую тебе версию и устанавливай.

4. У тебя установилось две программы, сам терминал Putty и PuttyGen.

5. Запусти PuttyGen, убедись, что снизу выбрана опция RSA и нажимай Generate.

6. Возюкай мышкой в поле под полосой загрузки, чтобы сгенерировать свой уникальный ключ.

7. По завершению генерации в поле Key ты увидишь свой ключ, выдели и скопируй его.

Нажимай Save Private Key, но не закрывай программу. Запомни куда сохранил файл, он пригодится позже.

Приступаем к аренде сервера

Мы будем арендовать сервер на хостинге vast.ai. Рассмотрим процесс подробнее, так как он полон подводных камней.

1) Переходи на сайт и регистрируй аккаунт.

2) Переходи в меню Account.

3) Справа нажимай ADD SSH KEY, вставляй туда ключ и сохраняй.

4) Переходи в меню Templates и выбери предустановленные пакеты. Нас интересует шаблон с названием Pytorch 2.2.0 Cuda12.1 Devel. Нажимай Select.

5. Приступим к самому интересному, выбору видеокарты.

6. Переходи в меню Search, сверху выстави фильтры: 1x и наименование видеокарты которую ты ищешь.

7. В окне слева поставь 90гб дискового пространства.

8. При выборе видеокарты обращай внимание на скорость интернета, она должна быть не меньше 500 mbps.

9. Также есть параметр Duration, это срок на который ты сможешь арендовать эту карту.

10. Выбирай подходящую видео карту и нажимай Rent.

Настраиваем сервер для входа

1. После того как мы арендовали сервер, переходи в меню Instances.

2. Здесь ты увидишь список своих серверов.

3. Вернись в PuttyGen и снова скопируй ключ.

4. Теперь нажми на иконку ключа справа.

5. Вставь свой SSH ключ и нажми на ADD SSH KEY. Окно закроется и выскочит надпись SSH KEY ADDED TO INSTANCE.

Заходим на сервер

Рассмотрим на примере работы с Putty на Windows.

1. Снова возвращаемся в этом меню на Vast в разделе Instances.

2. Копируем адрес в формате root@185.150.27.254

3. Открываем Putty вставляем адрес в поле Host Name.

4. Возвращаемся в Vast и копируем номер порта.

5. Открываем Putty вставляем наш порт в поле Port.

6. Идём обратно в Putty, находим слева опции Auth, раскрываем список и внутри выбираем Credentials.

7. В поле Private Key file выбираем файл с нашим ключом.

8. Возвращаемся в меню Session и нажимаем кнопку Save. Тем самым ты сохранишь свои настройки для входа и тебе не придётся вводить данные заново.

9. Нажимаем Open, если ты всё сделал правильно, у тебя загрузится сервер.

Настраиваем сервер и скачиваем необходимые файлы

Вот мы и подошли к финальному действию, осталось установить сам майнер. Для начала, полезные ссылки:

Оф. гайд по установке — https://github.com/heurist-network/miner-release

Информация по наградам — https://docs.heurist.ai/guides/miner-guide

Статья-анонс второго сезона на медиуме — https://heuristai.medium.com/heurist-mining-season-2-from-pow-to-depin-bfd1a6fd9a77

Ссылка на версии LLM майнера — https://github.com/heurist-network/heurist-models/blob/main/models.json

Ниже будет повтор официального гайда с подсказками по работе с Linux. Просто копируй и вставляй в терминал.

Если ты используешь Putty, то обрати внимание, что копирование и вставка данных в терминал осуществляется по другому.
Вставить — нажатие правой кнопки мыши.
Скопировать из терминала — просто выдели текст в терминале мышкой или ловко клавиатурой.

— Обнови систему сервера одной командой:

sudo apt update

— Установи Miniconda одной командой:

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

— Создай и активируй кружение Conda, двумя командами:

conda create --name gpu-3-11 python=3.11

conda activate gpu-3-11

Возникла ошибка?

Если у тебя возникла ошибка вида: conda: error: argument COMMAND: invalid choice: 'activate' (choose from 'clean', 'compare', 'config', 'create', 'info', 'init', 'install', 'list', 'notices', 'package', 'remove', 'uninstall', 'rename', 'run', 'search', 'update', 'upgrade', 'build', 'content-trust', 'convert', 'debug', 'develop', 'doctor', 'index', 'inspect', 'metapackage', 'render', 'skeleton', 'env')

Решение, введи 3 команды:

conda update --name base conda

conda init

source ~/.bashrc

Установку Cuda и Pytorch пропускаем. Это ПО уже установлено на арендованный вами сервер.

Скачиваем скрипты майнера одной командой:

git clone https://github.com/heurist-network/miner-release

Переходим в скаченную папку miner-release:

cd miner-release

Устанавливаем зависимости одной командой:

pip install -r requirements.txt

Возникла ошибка?

Если у тебя возникла ошибка вида: Requirement already satisfied: requests==2.31.0 in c:\\users\\pro\\appdata\\local\\programs\\python\\python312\\lib\\site-packages (from -r requirements.txt (line 1)) (2.31.0) ERROR: Could not find a version that satisfies the requirement torch==2.1.0 (from versions: 2.2.0, 2.2.1) ERROR: No matching distribution found for torch==2.1.0

Решение (начало):

Тебе нужно изменить версию Torch в файле requirements.txt. Чтобы отредактировать файл тебе понадобится редактор, установим его одной командой:

apt install nano

Далее вводим команду и меняем версию torch на 2.2.1:

nano requirements.txt

Содержимое должно выглядеть как скрине ниже.

После внесения изменений выходим из редактора сочетанием клавиш Ctrl + X, после нажимаем Y чтобы сохранить изменения и ещё раз Enter.

Решение (конец).

Если у тебя не возникало ошибок продолжи с этого момент.

Теперь нам нужно скопировать уже имеющийся у нас файл и отредактировать его.

Копируем файл одной командой. Обрати внимание, что ты должен находится в папке miner-release:

cp .env.example .env

Чтобы отредактировать файл тебе понадобится редактор, установим его:

apt install nano

Откроем скопированный файл в редакторе:

nano .env

В открывшемся окне, сотри вторую строку и вставь кошелёк на который ты хочешь запустить майнер в первую строку, как показано на скрине ниже:

У тебя должно получиться MINER ID_0=ТВОЙ КОШЕЛЕК

Выходим из редактора сочетанием клавиш Ctrl + X, после нажимаем Y чтобы сохранить изменения и ещё раз Enter.

Генерируем и привязываем Identity wallet одной командой

python3 auth/generator.py

Сохраняем сид фразу от кошелька, которую скрипт вывел в консоль.

Выбираем и запускаем майнер

Как было описано выше, у нас есть выбор поставить SD майнер или LLM. Рассмотрим все варианты. ТЕБЕ НУЖНО ВЫБРАТЬ ОДИН ИЗ ПРЕДЛОЖЕННЫХ ВАРИАНТОВ.

1 вариант SD майнер на видеокарте RXT 3090 (Reward Rate не установлен)

Запускаем SD майнер. Копируем команду без скобок, вставляем в терминал и нажимаем кнопку TAB для автозаполнения команды актуальной версией:

<python3 sd-miner-v1> ПОСЛЕ ЭТОГО НАЖИМАЕМ TAB и нужна версия подставится сама.

Майнер запущен, можно посмотреть логи и закрыть терминал сочетанием клавиш - нажимаем вместе Ctrl + B, отпускаем и жмём кнопку D.

2 вариант LLM майнер на видеокартах RTX3090 и RTX4090(Reward Rate 0.2x)

Обновляем сервер тремя командами:

sudo apt update && sudo apt install jq

sudo apt update && sudo apt install bc

sudo apt update && sudo apt upgrade && sudo apt install software-properties-common && sudo add-apt-repository ppa:deadsnakes/ppa && sudo apt install python3-venv

Запускаем LLM майнер одной командой:

chmod +x llm-miner-starter.sh ./llm-miner-starter.sh openhermes-2-pro-mistral-7b --miner-id-index 0 --port 8000 --gpu-ids 0

Смотрим логи, если видим такую ошибку:

ValueError: The model's max seq len (4096) is larger than the maximum number of tokens that can be stored in KV cache (1536). Try increasing

Нажимаем сочетание клавиш Ctrl + C, чтобы остановить майнер и вводим одну команду.

git checkout f295e715a38038aed5412860763af00b6c96cc73

Снова запускаем майнер

chmod +x llm-miner-starter.sh ./llm-miner-starter.sh openhermes-2-pro-mistral-7b --miner-id-index 0 --port 8000 --gpu-ids 0

3 вариант LLM майнер на видеокарте RTX A6000 (Reward Rate 1x)

Обновляем сервер тремя командами:

sudo apt update && sudo apt install jq

sudo apt update && sudo apt install bc

sudo apt update && sudo apt upgrade && sudo apt install software-properties-common && sudo add-apt-repository ppa:deadsnakes/ppa && sudo apt install python3-venv

Запускаем LLM майнер одной командой:

chmod +x llm-miner-starter.sh ./llm-miner-starter.sh openhermes-mixtral-8x7b-gptq --miner-id-index 0 --port 8000 --gpu-ids 0