Задача Эйнштейна — большой тест LLM нейросетей на логическое мышление

ну если модель сможет грамотно раздуть контекст и всё разложить по полочкам, то и сдуть контекст(прийти к правильному решению) она тоже сможет. всё дело в способности раздувать контекст, а это зависит от того на каких размерах контекста она была обучена. Вообщем я к тому, что размер решает и скоро я думаю контекст достигнет объема которого хватит для решения таких задач.

Проверил на английском: ни GPT 4, ни Gemini 1.5 Pro не справились

Нужна только обучающая выборка чуть побольше, и оно точно начнёт логически мыслить.

«Надо просто верить, этого вполне достаточно»

Я и говорю, что GPT в одиночку скорее всего не сможет решать задачи универсально, то что у нее это получается, я считаю, да и исследователи намекают, только за счет невероятной избыточности мощности (к сожалению существующие алгоритмы обучения слишком дороги, и может оказаться дешевле обучить качественную большую модель, парадоксально).

Но вот gpt как часть более сложного алгоритма, на текущий момент это итеративные комплексы, где в т.ч. разные специализированные модели, решают каждая свою подзадачу, декомпозируют, собирают, суммаризируют, и собирают частные решения на стороне. Отличный пример - инструменты использующие поиск в базах данных и интернете, отдельная модель выделяет и формирует запросы в поисковую систему, другие ищут, третьи собирают и удерживают контекст..

Еще пример, я писал переводчик художественной литературы на основе gpt, отдельный модуль собирает информацию о персонажах и локациях, другой определяет какая часть информации должна быть добавлена в контекст, третья собирает уже готовые переведенные части и добавляет их в промпт как few-shot механизм (часть перевода - с ручной корректировкой)... т.е. это не то же самое что закинуть тупо всю книгу в модель и ожидать что она все переведет, результат в лучшем случае будет с большим количеством ошибок.

Проверил на английском: ни GPT 4, ни Gemini 1.5 Pro не справились

Оно не умеет отсекать тупиковые ветки, что достигается простым подтягиванием условий в тот цикл, где эти условия разрешимы. Если пофиксить это и еще пару косяков - решает мгновенно.

Боюсь-боюсь.

from itertools import permutations

# Define the possible attributes for each of the warehouses
colors = ["зеленый", "желтый", "синий", "белый", "красный"]
professions = ["каменщик", "портной", "электрик", "плотник", "программист"]
animals = ["леопард", "пума", "медведь", "тигр", "крокодил"]
foods = ["котлета", "хлеб", "пельмени", "макароны", "пицца"]
drinks = ["коньяк", "вино", "водка", "ром", "виски"]
# Generate all possible arrangements
for color_perm in permutations(colors):
    if color_perm.index("желтый") - 1 != color_perm.index("синий"):
        continue
    for profession_perm in permutations(professions):
        if profession_perm[0] != "плотник":
            continue
        if abs(color_perm.index("красный") - profession_perm.index("плотник")) != 1:
            continue
        if color_perm.index("зеленый") != profession_perm.index("каменщик"):
            continue
        for animal_perm in permutations(animals):
            if profession_perm.index("портной") != animal_perm.index("леопард"):
                continue
            for food_perm in permutations(foods):
                if food_perm[2] != "пельмени":
                    continue
                if color_perm.index("желтый") != food_perm.index("котлета"):
                    continue
                if profession_perm.index("электрик") != food_perm.index("хлеб"):
                    continue
                for drink_perm in permutations(drinks):
                    # Check the given conditions
                    if drink_perm.index("коньяк") != animal_perm.index("пума"):
                        continue
                    if color_perm.index("белый") != drink_perm.index("вино"):
                        continue
                    if abs(drink_perm.index("водка") - animal_perm.index("медведь")) != 1:
                        continue
                    if abs(animal_perm.index("тигр") - drink_perm.index("вино")) != 1:
                        continue
                    if drink_perm.index("виски") != food_perm.index("макароны"):
                        continue
                    if profession_perm.index("программист") != drink_perm.index("ром"):
                        continue
                    # If all conditions are met, print the result
                    idx_pizza = food_perm.index("пицца")
                    idx_crocodile = animal_perm.index("крокодил")
                    profession_pizza = profession_perm[idx_pizza]
                    profession_crocodile = profession_perm[idx_crocodile]
                    print(
                        f"Кто ест пиццу: {profession_pizza}, "
                        f"кто держит крокодила: {profession_crocodile}"
                    )

у чатгпт нет ни каких "вычислительных ресурсов", тем более ограниченных.

Я только до пиццы дошёл.

Второй дом.
Ищем "напиток" для второго дома, для которого уже известны "цвет Красный" и "животное Тигр".
"Коньяк" исключается типом животного (по условиям это Пума).
"Вино" исключается потому что уже вычислено для первого дома.
Допустим "Ром", тогда профессия "Программист". Остается "еда". Не Пельмени(дом не центральный), не Пицца(вычислено для первого). Не Котлета(дом не желтый). Не Макароны(они там где Виски). Не Хлеб(его ест Электрик). Значит "Ром" не дает допустимых сочетаний с "едой" для второго дома.
Допустим "Виски", тогда еда "Макароны". Остается "профессия". Не Плотник(он в первом доме). Не Электрик(он есть Хлеб). Не Программист(он с... пьет Ром). Не Портной(у него Леопард). Не Каменщик(он в Зеленом). "Виски" не дает допустимых сочетаний с "профессией" для второго дома.
Значит "Водка" единственный вариант для второго дома.
Теперь для второго дома известны "цвет Красный", "животное Тигр" и "напиток Водка".
Ищем для него "профессию".
Не Программист(ему нужен Ром. пират хренов). Не Плотник(он в первом). Не Портной(он живет с Леопардом). Не Каменщик(он в Зеленом)
Значит единственный вариант для второго дома это "Электрик". А он по условиям ест "Хлеб".