Comments 5
К "советам" я бы добавил еще один:
Не душите модель цензурой, иначе ее никто не будет использовать.
Примеры у всех перед глазами.
Оффтоп: а в каком инструменте такую наглядную инфографику нарисовали?
Хочу спереть, для своих описаний процессов. :)
Александр, спасибо, очень интересная статья. А можете, пожалуйста, поделиться мыслями:
Почему вы за основу взяли именно Pythia-12B и какие еще были кандидаты?
Какой датасет вы использовали для дообучения? Или поделитесь хотя бы параметрами и принципами создания этого датасета - хочется понять, что нужно для дообучения модели, чтобы были похожие результаты.
Pythia-12B взял по нескольким причинам:
- полностью Open source с возможностью коммерческого использования;
- оптимальное число параметров с учетом доступных на тот момент ресурсов для обучения;
- поддержка из коробки данной модели в различных библиотеках как при fine tunning, так и при serving;
Смотрел еще множество разных моделей. Все сейчас не вспомню.
Они не подходили, либо по модели лицензирования, либо по числу параметров, уровню поддержки в популярных библиотеках.
Относительно датасета. Это датасет в формате Вопрос/Ответ.
Собран был частично из датасетов Dolly и Alpaca на русском языке, далее дополнен по модели Alpaca по требуемым темам и задачам.
Разработка систем генеративного ИИ на базе ML Platform: создаем конкурента ChatGPT без миллионных инвестиций