скачать книгу бесплатно
Ты – опытный маркетолог. [Роль] Разработай стратегию продвижения нового мобильного приложения для любителей путешествий, которое помогает находить интересные места, бронировать отели и делиться впечатлениями с друзьями. [Инструкция] Целевая аудитория: люди в возрасте 25-40 лет, активно пользующиеся социальными сетями. [Контекст] Основные каналы продвижения: социальные сети, контекстная реклама, сотрудничество с блогерами-путешественниками. [Примеры] Максимальная длина ответа: 500 слов. [Настройка параметров] Если тебе потребуется дополнительная информация о приложении или целевой аудитории, не стесняйся задавать вопросы. [Просьба об уточнении]
Важно:
Необязательно использовать все компоненты в каждом промпте. Выбирайте те, которые наиболее подходят для конкретной задачи.
Экспериментируйте с различными комбинациями компонентов и настроек параметров, чтобы найти оптимальный подход для достижения ваших целей.
Помните, что чем яснее и конкретнее ваш промпт, тем выше вероятность получить качественный и релевантный ответ от языковой модели.
Практическое тестирование: сравниваем возможности 8-ми языковых моделей
В этой главе мы перейдем от теории к практике и проведем сравнительное тестирование восьми современных языковых моделей. Мы подготовили набор вопросов, начиная с простых и постепенно усложняя их, чтобы оценить, как каждая модель справляется с различными типами запросов. Мы также будем использовать продвинутые техники создания промптов, такие как цепочки рассуждений и другие, чтобы раскрыть весь потенциал каждой модели.
Модели-участники
В нашем тестировании примут участие следующие языковые модели:
Проприетарные (закрытые):
Исходный код и/или веса модели не раскрываются публично
GPT-4 (OpenAI)
Claude 3.6 Sonnet (Anthropic)
GigaChat (от Сбербанка)
YandexGPT 3 (от Яндекса)
Grok 2mini (X.com)
Gemini Advanced (Google)
Открытые (open-source):
Исходный код и веса модели находятся в открытом доступе
LLaMA 3.1 405B
Mistral Large 2
Этапы тестирования
Простые вопросы: начнем с базовых вопросов, чтобы оценить общие знания и способность моделей понимать естественный язык.
Вопросы с уточнениями: добавим в промпты просьбы задавать уточняющие вопросы, чтобы проверить, как модели справляются с неполной или неоднозначной информацией.
Цепочки рассуждений: используем цепочки промптов, чтобы оценить способность моделей к логическому мышлению и анализу сложных задач.
Творческие задания: предложим моделям выполнить творческие задания, чтобы оценить их воображение и способность генерировать оригинальный контент.
Продвинутые техники: применим другие продвинутые техники создания промптов, такие как использование ролей и настройка параметров, чтобы увидеть, как это влияет на качество ответов.
Критерии оценки
Базовые критерии оценки ответов моделей:
Точность: насколько ответ соответствует действительности и не содержит фактических ошибок.
Релевантность: насколько ответ отвечает на поставленный вопрос и не уходит в сторону от темы.
Информативность: насколько ответ полон и содержит полезную информацию.
Логичность: насколько ответ структурирован и аргументирован, особенно в вопросах, требующих рассуждений.
Креативность: насколько ответ оригинален и интересен, особенно в творческих заданиях.
Язык и стиль: насколько ответ грамотен, понятен и соответствует заданному стилю (если это указано в промпте).
Ожидаемые результаты
Мы ожидаем, что проприетарные модели, благодаря своим большим обучающим данным и постоянным улучшениям, покажут в целом более высокие результаты. Однако открытые модели также могут продемонстрировать впечатляющие возможности, особенно с учетом их открытости и гибкости.
Это тестирование поможет нам лучше понять сильные и слабые стороны каждой модели, а также выявить наиболее подходящие модели для различных типов задач и областей применения. Мы также сможем увидеть, как продвинутые техники создания промптов влияют на качество ответов и как можно использовать их для получения максимальной пользы от языковых моделей.
Присоединяйтесь к нам в следующем разделе, где мы начнем наше практическое тестирование и погрузимся в увлекательный мир сравнения языковых моделей!
Этап 1: Простые вопросы
Начнем наше тестирование с серии простых вопросов, чтобы оценить базовые знания моделей и их способность понимать естественный язык.
Вопросы:
Какая столица Франции?
Кто написал роман "Война и мир"?
В каком году началась Вторая мировая война?
Какая самая длинная река в мире?
Кто изобрел телефон?
Ожидания:
На этом этапе мы ожидаем получить от всех моделей точные и краткие ответы. Это позволит нам убедиться, что они обладают базовыми знаниями и могут корректно интерпретировать простые вопросы.
Результаты ответов:
GPT-4 (OpenAI)
Ответы согласно промту
Отвечу на ваши вопросы последовательно и четко:
Какая столица Франции?
Столица Франции – Париж.
Кто написал роман "Война и мир"?
Роман "Война и мир" написал Лев Николаевич Толстой.
В каком году началась Вторая мировая война?
Вторая мировая война началась в 1939 году.
Какая самая длинная река в мире?
Самая длинная река в мире – Нил. Однако в некоторых источниках утверждается, что Амазонка может быть длиннее, в зависимости от методологии измерения.
Кто изобрел телефон?
Телефон изобрел Александр Грэм Белл.
Если у вас есть дополнительные вопросы или нужно что-то уточнить, не стесняйтесь обращаться!
Claude 3.5 Sonnet (Anthropic)
Ответы согласно промту
Отвечаю на ваши вопросы:
Столица Франции – Париж.
Роман "Война и мир" написал Лев Николаевич Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил (некоторые источники также называют Амазонку).
Телефон изобрел Александр Грейам Белл в 1876 году.
Если вам нужны дополнительные подробности по какому-либо из этих вопросов, я с удовольствием предоставлю более развернутый ответ.
GigaChat (от Сбербанка)
Ответы согласно промту
Столица Франции – Париж.
Роман «Война и мир» написал Лев Николаевич Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрёл Александр Белл.
YandexGPT 3 (от Яндекса)
Ответы согласно промту
Столица Франции – Париж.
Роман “Война и мир” написал Лев Николаевич Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрел Александр Белл в 1876 году.
Grok 2mini (X.com)
Ответы согласно промту
А, вот и вопросы, чтобымять мои цифровые нейроны! Итак, поехали:
Какая столица Франции?
Париж, конечно! Город любви, круассанов и существ, которые считают, что если ты не говоришь по-французски, то ты, вероятно, говоришь на марсианском.
Кто написал роман "Война и мир"?
Лев Толстой. Этот парень решил, что короткие истории – это для слабаков, и выдал нам кирпич, который можно использовать как для чтения, так и для самозащиты.
В каком году началась Вторая мировая война?
1939 год. И если вы думаете, что это было давно, просто вспомните, что некоторые люди до сих пор спорят о том, кто начал первым.
Какая самая длинная река в мире?
Нил. Он настолько длинный, что мог бы обернуться вокруг Земли, если бы реки занимались йогой.
Кто изобрел телефон?
Александр Грэхэм Белл. И спасибо ему, теперь мы можем игнорировать звонки от неизвестных номеров с комфортом собственного дивана.
