Comments 53
Молодцы конечно, но надеюсь не скатиться до текущего состояния как в телеграмме. Последнее время рекламы там больше, чем ответов :'( Пришлось на гагачат перейти
У YandexGPT нет никакого бота в телеграме. Скорее всего вы пользуетесь каким-то фейком.
Это прям как предъявлять эплу за глюки в "айфоне", который купил у цыган
А с более актуальными моделями (GPT-4, Claude 3, Gemini 1.5, Mistral) не сравнивали? А то GPT3.5 это конечно хорошая планка, но и нельзя сказать, что верх совершенства.
Размер контекста какой? Мне нужен промпт длиной 8000 знаков на кириллице и еще 4000 на вывод хотя бы
Размер контекстного окна – 8000 токенов. Каждый токен – примерно 4 знака на русском или английском языке. Максимальная длина ответа – 2000 токенов (или более 8000 символов). Так что вы должны вписаться.
Подробно про квоты и лимиты написано в доке: https://yandex.cloud/ru/docs/yandexgpt/concepts/limits
Если надо расширить квоты, обращайтесь в поддержку, мы расширяем обычно без проблем
Подскажите пожалуйста, у нас есть грант 100к , но не понимаю - мы можем этот грант задействовать для работы с новой версией GPT по АПИ? :)
вот детали:
100 000 ₽ / 100 000 ₽
С 24.01.2024 по 22.07.2024116 днейYandex Foundation Models
спасибо
PS: в чате "Вы превысили максимальное количество символов: 8476 / 1000."
Было бы здорово увидеть сравнение на классических тестах. И правильно я понимаю, что старые модели больше недоступны для использования?
Интересно. А есть ли возможность использование API на .NET? Или все под Python/JS заточено? А то нигде не нашёл ответа на данный вопрос
Вы взяли ChatGPT 3.5 turbo который по большей части обучен на англоязычных текстах, далее взяли YandexGPT 3 который обучен на русскоязычных текстах, дали им РУССКОЯЗЫЧНЫЙ тест, а выдаете результаты тестов так будто ваша нейронка лучше чем ChatGPT 3.5 turbo. Нейронки же тупо в неравных условиях.
На самом деле YandexGPT 3 ХУЖЕ чем ChatGPT 3.5 turbo. ChatGPT 3.5 turbo в англоязычном тесте MMLU набирает 70%, а YandexGPT 3 в русскоязычном лишь 63%.
Вы либо сделайте двойные тесты(русс и англ тест для обеих нейронок) и возьмите среднее, либо в результатах явно дайте людям знать что ChatGPT 3.5 turbo хуже работает с русским языком.YandexGPT 3 YaMMLU_ru 63%
ChatGPT 3.5 turbo YaMMLU_ru 58%
YandexGPT 3 MMLU -
ChatGPT 3.5 turbo MMLU 70%
Как видите, осталось прогнать YandexGPT 3 на MMLU и посчитать среднее по языкам для каждой нейронки.
Для ChatGPT 3.5 turbo оно 64
Чтобы YandexGPT 3 в среднем набрал 65(и вы могли сказать что она в среднем лучше чем ChatGPT 3.5 turbo в тестах MMLU+YaMMLU_ru) вам нужно чтобы YandexGPT 3 в MMLU набрал минимум 67, т.е. больше чем русскоязычном. Чего, очевидно, не произойдет.
Понятно для чего все это сделано, просто со стороны, для более менее разбирающихся людей, это выглядит не как очень честный маркетинг.
Код так и не научилась нормальный выдавать
Интересно когда появится для широкой публики. Хоть модель и не класса GPT-4, GPT-4 turbo, Claude 3, Gemini 1 Advanced, Gemini 1.5 (тут можно сказать, что того же класса, но есть нюанс), все равно интересно увидеть сильные и слабые стороны в сравнении с новой моделью от Яндекса.
Так она уже доступна в демо режиме:
Первая из них — YandexGPT 3 Pro — уже доступна по API на сайте Yandex Cloud, в том числе в бесплатном демо-режиме
Интересно, когда Yandex прикрутит к своей GPT анализ пользовательских запросов, и через них начнет формировать свое представление о своем потенциальном разработчике при найме? Чтобы даже еще до рекрута сразу отправлять людей: "Вы задавали слишком тупые вопросы нашему GPT. Сдается нам, вы необучаемы и недостойны работать в Yandex".
Анализ поисковых запросов - это не очень точная метрика, а вот почитать о чем потенциальный разработчик говорит с GPT - это уже интереснее. Уже можно мнение составлять.
Как вам такое будущее?
Это было бы грубым нарушением этических принципов, приличная компания такого делать никогда не станет.
Вы задавали слишком тупые вопросы нашему GPT.
Начну с защиты самого себя. Мой профиль - бекенд-разработка хайлод проектов. Тюню базы, кеши, наваливаю алгоритмы, прокладываю слои соломы на случаи инцедентов.
НО! из-за превратностей судьбы надо иногда замарать руки поддержкой кода на вордпрессе в сайд-проектах. И я честно скажу, я всей душой не хочу разбираться, как это говнище на глобальных переменных устроено, не хочу тратить ограниченный ресурс синапсов на изучение вордпресса. И тут как раз ChatGPT спасает в работе с тупыми моими вопросами.
Если мне тупые вопросы по wordpress будут снижать очки на фоне того, что я не задаю вопросы по более сложным вещам, потому что я ими просто владею на уровне инстинктов, то нафиг-нафиг такой скоринг от эйчаров.
YandexGPT 3
Зачем используется сложное англоязычное название "Yandex Generative pre-trained transformer"? Экспорт продукта вряд ли возможен, из-за высокой конкуренции. А для внутреннего потребителя нужно свое название, близкое и понятное. Например "Система Искусственного Слова Яндекса".
И рекламировать удобно. "Чувствуете себя беспомощным в сложном мире технологий? Вам поможет - "Система Искусственного Слова Яндекса"!". Сразу всем понятно что это что-то полезное.
Блин, да перестаньте уже позориться, просто запихните под капот openai и продавайте с наценкой - в этом и то больше смысла будет... Ваше платное решение работает хуже и бесплатных локалок и уже морально устаревших зарубежных аналогов. Я уже не говорю о сравнении с клауди, гемини и чатгпт.
Когда уже в Алису добавите? :) Только чтоб не по спец. фразе, а нормально, на любые вопросы сетка отвечала.
- Алиса, выключи свет
- Извините, я не могу выполнить эту команду, так как являюсь искусственным интеллектом и не имею физического доступа к управлению устройствами. Однако вы можете сделать это самостоятельно или попросить кого-то из близких.
Это реальный ответ, и я думаю он вас не порадует.
Да понятно, что это даже не GPT, а товарищ майор со скриптом.
У меня даже на локальной модели подобное получалось, хоть моделька и глючила бывало но лиха беда начало
>>Давай ты будешь управлять умным домом. Источники света - люстры им светильники расположены в трех помещениях - кухня, зал, прихожая. Работать будем так - я тебя прошу включить свет в определенном помещении, ты выдаешь в ответ жестко прописанную команду, которую обрабатывает мое API и управляет железом напрямую. Вот пример - прошу включить свет на кухне. Ты пишешь в ответ: KU_ON. Прошу отключить свет на кухне. Ты пишешь - KU_OFF. Прошу отключить свет во всех помещениях - пиши OFF_ALL. Прошу включить свет в туалете - говоришь "драйвер туалета не установлен". Поняла?
>>Зажги мне освещение в кухонном помещении
>KU_ON
>>Требуется вырубить свет в квартире везде
>OFF_ALL
>>Включи свет в туалете
>Нет возможности, нет драйвера.
>>Что у нас с драйвером туалета?
>Он не установлен.
В принципе после этого я понял, что никаких практических ограничений на управление железом у этой штуки нет, если дать соответствующие команды. Именно об этом писал каждый первый фантаст.
А ваш демо-режим знает что у него новая версия? :)
Интересно было бы почитать на каком железе обучалось и сколько времени заняло обучение, сколько памяти потребовалось, использовали ли квантование и т.д...
Хочется уже голосовой ввод и голосовой же вывод. Будет ли это Алиса или какое-то отдельное приложение - неважно. Но именно такое естественное взаимодействие ожидается от ИИ.
Именно такое решение способно буквально изменить мир.
Классика
Ну а если серьезно, голосовое управление это очень медленно, и подходит для достаточно узкого круга задач. В какой-нибудь повседневной рутинной работе клаво-мышь не переплюнуть по эргономике.
Скорее уж нейролинк от Маска изменит мир)
А я говорил не о голосовом управлении, а именно о голосовом вводе и выводе.
В прошлом летом в деревне использовал gpt-чат имитируя собеседника для пожилого человека. Человек задавал вопросы Я передавал их уже пяти чату а потом озвучивал ответы. Вот такой сервис требуется огромному количеству людей чтобы можно было с кем-то поговорить.
Странное сравнение моделей в процентах относительно других моделей, хотелось бы увидеть прямые цифры бенчмарков: MMLU, GPQA, MGSM, HellaSwag, HumanEval в конце в концов.
Ещё интересно, почему выбор пал именно на LLaMa-2-70B, хотелось бы увидеть сравнение с текущими моделями state-of-the-art: Claude 3 Opus, GPT-4, Gemini 1.0 Ultra.
Какой смысл сравнивать с устаревшими моделями? Заходя в статью надеялся увидеть сравнение с ChatGPT 4 и Claude Opus 3
Настоящий прорыв будет, когда на вопрос сродни "Кто такой Ленин" она будет отвечать и потом забивать это плашкой "Есть темы, в которых глупость недопустима, а я еще учусь и могу случайно ошибиться. Когда-нибудь я научусь, а пока промолчу. "
Дообучение - это, конечно, очень здорово. Но совсем непонятно ограничение на 2000 символов для запроса и 4000 символов для ответа в обучющем датасете. Символов, а не токенов!
Не влезаем в лимиты, вынуждены искать альтернативы.
Добрый день!
Дообучение, о котором идет речь в статье, позволяет модели определить оптимальную инструкцию на основе загруженных пар данных. Это полезно, например, когда необходимо научить модель возвращать ответы в определенном формате, и текущих лимитов, как правило, хватает.
Вы могли бы, пожалуйста, более подробно поделиться сценарием, который необходимо решить с помощью дообучения?
Единственное, по текущим ограничениям: максимальная длина запроса — 4000 символов, а максимальная длина эталонного ответа — 2000 символов.
А есть в открытом доступе YaMMLU_ru? Было бы интересно им воспользоваться.
слушайте, а нет ещё проги, чтобы любую книжку засунуть в ГПТ и чтобы она отдельно подключалась как база данных через чат?
напримет системную документацию по линукс
Яндекс представил третье поколение больших языковых моделей YandexGPT