Гайды24 мая

Гайд по Heurist- Устанавливаем майнер!

Поделиться

О проекте

Heurist — децентрализованная сеть которая будет использоваться для работы с AI моделями. Подход который использует Heurist позволяет объединить различных участников, без которых этот процесс невозможен. И самое главное, этот процесс полностью децентрализован и все участники будут получать вознаграждение в токенах $HUE.

 

Всего ребята насчитали 5 типов участников:

Потребители — это пользователи AI-моделей, которые взаимодействуют с протоколом Heurist для выполнения задач вывода, таких как генерация текста и создание изображений. Они будут платить за вычислительные ресурсы по мере использования.

Майнеры моделей — это люди которые предоставляют GPU вычислительные мощности для генерации.

Создатели моделей — загружают AI-модели в реестр моделей сети Heurist и, в ответ, получают часть платежей, сделанных пользователями.

Интеграторы приложений — создатели приложений которые используют AI-модели Heurist "под капотом". Интеграторы приложений зарабатывают часть сборов в токенах Heurist каждый раз, когда потребители совершают платеж через приложение.

Валидаторы — валидаторы поддерживают целостность и надежность сети Heurist. Они периодически проверяют правильность данных, произведенных майнерами. Если майнер обнаруживается в производстве недействительных или фальшивых данных, его залог конфискуется, причем часть присуждается валидатору, который выявил несоответствие.

Как вам уже должно быть понятно, в гайде мы расскажем как стать Майнером моделей, ведь именно в этом заключается данная фаза тестнета.

Moni Discover Score: 838

Twitter — https://twitter.com/heurist_ai

Mirror — https://heuristai.medium.com/

Docs — https://docs.heurist.ai/

Website — https://www.heurist.ai/

   

Награждаемый тестнет

Теперь, когда мы разобрались каким звеном данной AI цепи мы будем, разберёмся с вопросом — зачем?

1 апреля проект запустил награждаемый тестнет, в ходе которого будет распределено 5% от общего предложения токенов. Тестнет будет длиться ориентировочно 3 месяца, до конца июня. Заходить сейчас не поздно, так как награды будут распределены пропорционально поинтам. На сегодняшний день запущено всего 3,300 майнеров, проект до сих пор находится под радарами большей части комьюнити.

Это начинает звучать намного интереснее, если посмотреть на Twitter подписки проекта и зная информацию, что за проектом активно наблюдают и участвуют ребята из фондов.

Нам предлагается запустить одну из AI моделей на выбор и поддерживать её работу. За это мы будем получать поинты которые по окончанию тестнета будут конвертированы в токены $HUE.

   

Установка на свой ПК на Windows

Тебе понадобится установить Linux в качестве подсистемы. Для установки дистрибутива по умолчанию, необходимо открыть Power Shell или Командную строку от имени администратора. Далее необходимо ввести одну команду:

wsl --install

Подробную инструкцию ты можешь найти на оф. сайте Microsoft.

После этого ты можешь продолжить установку с главы — Настраиваем сервер и скачиваем необходимые файлы.

   

Арендуем сервер

На этом этапе тебе необходимо определиться с типом модели которую ты будешь устанавливать и суммой которую ты готов потратить на майнинг. Это две связанные вещи.

Глобально Heurist предлагает два типа AI модели — Stable Diffusion (далее SD) и LLM.

   

Майнер Stable Diffusion

Награда — за установку SD майнера мы будем получать Waifu Points. Курс конвертации в токены $HUE пока не установлен. Он будет определён ближе к концу тестнета, когда будет выяснен спрос на данную AI модель.

Рекомендуемое оборудование — видеокарта RTX3090 лучше всего подходит для данного типа майнера. Она сильно опережает по скорости генерации более дорогие видеокарты.

Майнер LLM

Награда — за установку LLM майнера мы будем получать Llama Points. Курс конвертации в токены $HUE отличается в зависимости от требований выбранной вами модели. LLM майнер имеет 18 различных моделей, у которых разные требования и разные награды. Вот несколько основных моделей.

Рекомендуемое оборудование — как видно из информации выше, здесь мы ограничиваемся только нашим бюджетом. Чем больше видеопамяти на борту видеокарты, тем больше круче модель мы сможем установить. Чем круче модель, тем больше награда.

1) openhermes-2-pro-mistral-7b: — карты RTX 3090, RTX 4090 — 0.2x множитель наград

2) openhermes-mixtral-8x7b-gptq: — карты RTX A6000 A100-40GB — 1x множитель наград

3) openhermes-2-yi-34b-gptq — карты RTX A6000, A100-40GB) 1x множитель наград

Здесь надо отменить, что 4090 майнит в 2.5 раза быстрее, поэтому награды за майнинг занижены командой. Проекту нужны более тяжёлые модели, которые могут быть запущены только на картах RTX A6000, A100-40GB. 

  

Устанавливаем терминал

Для Windows и Linux:

1. Для работы с сервером нам понадобится терминал, возьмём самый простой — Putty.

2. Чтобы скачать терминал, перейди на сайт автора. Не пугайся дизайна, это официальный сайт разработчика.

3. Нажимай кнопку Download it here. Выбери подходящую тебе версию и устанавливай.

4. У тебя установилось две программы, сам терминал Putty и PuttyGen.

5. Запусти PuttyGen, убедись, что снизу выбрана опция RSA и нажимай Generate.

6. Возюкай мышкой в поле под полосой загрузки, чтобы сгенерировать свой уникальный ключ.

7. По завершению генерации в поле Key ты увидишь свой ключ, выдели и скопируй его.

Нажимай Save Private Key, но не закрывай программу. Запомни куда сохранил файл, он пригодится позже.

    

Приступаем к аренде сервера

Мы будем арендовать сервер на хостинге vast.ai. Рассмотрим процесс подробнее, так как он полон подводных камней.

1) Переходи на сайт и регистрируй аккаунт.

2) Переходи в меню Account.

3) Справа нажимай ADD SSH KEY, вставляй туда ключ и сохраняй.

4) Переходи в меню Templates и выбери предустановленные пакеты. Нас интересует шаблон с названием Pytorch 2.2.0 Cuda12.1 Devel. Нажимай Select.    

5. Приступим к самому интересному, выбору видеокарты.

6. Переходи в меню Search, сверху выстави фильтры: 1x и наименование видеокарты которую ты ищешь.

7. В окне слева поставь 90гб дискового пространства.

8. При выборе видеокарты обращай внимание на скорость интернета, она должна быть не меньше 500 mbps.

9. Также есть параметр Duration, это срок на который ты сможешь арендовать эту карту.

10. Выбирай подходящую видео карту и нажимай Rent.

   

Настраиваем сервер для входа

1. После того как мы арендовали сервер, переходи в меню Instances.

2. Здесь ты увидишь список своих серверов.

3. Вернись в PuttyGen и снова скопируй ключ.

4. Теперь нажми на иконку ключа справа.

5. Вставь свой SSH ключ и нажми на ADD SSH KEY. Окно закроется и выскочит надпись SSH KEY ADDED TO INSTANCE.

 

Заходим на сервер

Рассмотрим на примере работы с Putty на Windows.

1. Снова возвращаемся в этом меню на Vast в разделе Instances.

2. Копируем адрес в формате root@185.150.27.254

3. Открываем Putty вставляем адрес в поле Host Name.

4. Возвращаемся в Vast и копируем номер порта.

5. Открываем Putty вставляем наш порт в поле Port.

6. Идём обратно в Putty, находим слева опции Auth, раскрываем список и внутри выбираем Credentials.

7. В поле Private Key file выбираем файл с нашим ключом.

8. Возвращаемся в меню Session и нажимаем кнопку Save. Тем самым ты сохранишь свои настройки для входа и тебе не придётся вводить данные заново.

9. Нажимаем Open, если ты всё сделал правильно, у тебя загрузится сервер.

  

Настраиваем сервер и скачиваем необходимые файлы

Вот мы и подошли к финальному действию, осталось установить сам майнер. Для начала, полезные ссылки:

Оф. гайд по установкеhttps://github.com/heurist-network/miner-release

Информация по наградамhttps://docs.heurist.ai/guides/miner-guide

Статья-анонс на медиумеhttps://heuristai.medium.com/a-tale-of-two-points-introducing-heurist-testnet-mining-17430471ebec

Ссылка на версии LLM майнераhttps://github.com/heurist-network/heurist-models/blob/main/models.json

Ниже будет повтор официального гайда с подсказками по работе с Linux. Просто копируй и вставляй в терминал. Чтобы вставить в терминал просто нажимай правую кнопку мыши. Привычная комбинация Crtl + V здесь не работает. Приступим!

 

Обнови систему сервера одной командой:

sudo apt update

  

Установи Miniconda одной командой:

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

  

 Создай и активируй кружение Conda, двумя командами:

conda create --name gpu-3-11 python=3.11

conda activate gpu-3-11

  

Возникла ошибка?

Если у тебя возникла ошибка вида: conda: error: argument COMMAND: invalid choice: 'activate' (choose from 'clean', 'compare', 'config', 'create', 'info', 'init', 'install', 'list', 'notices', 'package', 'remove', 'uninstall', 'rename', 'run', 'search', 'update', 'upgrade', 'build', 'content-trust', 'convert', 'debug', 'develop', 'doctor', 'index', 'inspect', 'metapackage', 'render', 'skeleton', 'env')

Решение, введи 3 команды:

conda update --name base conda

conda init

source ~/.bashrc

  

Установку Cuda и Pytorch пропускаем. Это ПО уже установлено на арендованный вами сервер.

  

Скачиваем скрипты майнера одной командой:

git clone https://github.com/heurist-network/miner-release

  

Переходим в скаченную папку miner-release:

cd miner-release

  

Устанавливаем зависимости одной командой:

pip install -r requirements.txt

 

Возникла ошибка?

Если у тебя возникла ошибка вида: Requirement already satisfied: requests==2.31.0 in c:\\users\\pro\\appdata\\local\\programs\\python\\python312\\lib\\site-packages (from -r requirements.txt (line 1)) (2.31.0) ERROR: Could not find a version that satisfies the requirement torch==2.1.0 (from versions: 2.2.0, 2.2.1) ERROR: No matching distribution found for torch==2.1.0

Решение, введи 3 команды:

Тебе нужно изменить версию Torch в файле requirements.txt. Чтобы отредактировать файл тебе понадобится редактор, установим его одной командой:

apt install nano

  

Далее вводим команду и меняем версию torch на 2.2.1:

nano requirements.txt

  

Содержимое должно выглядеть как скрине ниже.

После внесения изменений выходим из редактора сочетанием клавиш Ctrl + X, после нажимаем Y чтобы сохранить изменения и ещё раз Enter.

Теперь нам нужно скопировать уже имеющийся у нас файл и отредактировать его.

 

Копируем файл одной командой. Обрати внимание, что ты должен находится в папке miner-release:

cp .env.example .env

 

Чтобы отредактировать файл тебе понадобится редактор, установим его:

apt install nano

 

Откроем скопированный файл в редакторе:

nano .env

 

В открывшемся окне, сотри вторую строку и вставь кошелёк на который ты хочешь запустить майнер в первую строку, как показано на скрине ниже:

У тебя должно получиться MINER ID_0=ТВОЙ КОШЕЛЕК

Выходим из редактора сочетанием клавиш Ctrl + X, после нажимаем Y чтобы сохранить изменения и ещё раз Enter.

 

Генерируем и привязываем Identity wallet одной командой

python3 auth/generator.py

Сохраняем сид фразу от кошелька, которую скрипт вывел в консоль.

  

Выбираем и запускаем майнер

Как было описано выше, у нас есть выбор поставить SD майнер или LLM. Рассмотрим все варианты. ТЕБЕ НУЖНО ВЫБРАТЬ ОДИН ИЗ ПРЕДЛОЖЕННЫХ ВАРИАНТОВ.

 

1 вариант SD майнер на видеокарте RXT 3090 (Reward Rate не установлен)

  

Запускаем SD майнер. Копируем команду без скобок, вставляем в терминал и нажимаем кнопку TAB для автозаполнения команды актуальной версией:

 <python3 sd-miner-v1> ПОСЛЕ ЭТОГО НАЖИМАЕМ TAB и нужна версия подставится сама.

 

Майнер запущен, можно посмотреть логи и закрыть терминал сочетанием клавиш - нажимаем вместе Ctrl + B, отпускаем и жмём кнопку D.

  

2 вариант LLM майнер на видеокартах RTX3090 и RTX4090(Reward Rate 0.2x)

  

Обновляем сервер тремя командами:

sudo apt update && sudo apt install jq

sudo apt update && sudo apt install bc

sudo apt update && sudo apt upgrade && sudo apt install software-properties-common && sudo add-apt-repository ppa:deadsnakes/ppa && sudo apt install python3-venv

 

Запускаем LLM майнер одной командой:

chmod +x llm-miner-starter.sh ./llm-miner-starter.sh openhermes-2-pro-mistral-7b --miner-id-index 0 --port 8000 --gpu-ids 0

Смотрим логи, если видим такую ошибку:

ValueError: The model's max seq len (4096) is larger than the maximum number of tokens that can be stored in KV cache (1536). Try increasing

Нажимаем сочетание клавиш Ctrl + C, чтобы остановить майнер и вводим одну команду.

git checkout f295e715a38038aed5412860763af00b6c96cc73

  

Снова запускаем майнер

chmod +x llm-miner-starter.sh ./llm-miner-starter.sh openhermes-2-pro-mistral-7b --miner-id-index 0 --port 8000 --gpu-ids 0

  

3 вариант LLM майнер на видеокарте RTX A6000 (Reward Rate 1x)

  

Обновляем сервер тремя командами:

sudo apt update && sudo apt install jq

sudo apt update && sudo apt install bc

sudo apt update && sudo apt upgrade && sudo apt install software-properties-common && sudo add-apt-repository ppa:deadsnakes/ppa && sudo apt install python3-venv

  

Запускаем LLM майнер одной командой:

chmod +x llm-miner-starter.sh ./llm-miner-starter.sh openhermes-mixtral-8x7b-gptq --miner-id-index 0 --port 8000 --gpu-ids 0

 

Обновление сервера

Рано или поздно придёт время обновить сервер, для этого останавливаем майнер командой Ctrl + C, чтобы остановить майнер и вводим 5 команд:

cd miner-release

git stash

git pull

git checkout main

pip install -r requirements.txt

  

Финал

Готово! Сервер арендован, майнер запущен.

Отслеживаем свои поинты в дашборде — https://www.heurist.ai/portal

В данный момент, есть задержка с начислением поинтов, наберись терпения друк!

Поделиться

Стань частью 25-тысячного комьюнити криптанов, фаундеров и кодеров!

Другой Стафф