Стартап Allie ищет специалиста по работе с Open Source языковыми моделями — part-time/full-time, remote

Кратко о проекте и команде

Allie — AI-соулмейт, позволяющий юзерам выбрать понравившегося персонажа и общаться с ним о чем угодно, в том числе в романтическом ключе. Основатели построили и продали TutGood — топ-50 образовательная компания в СНГ, по итогу 2022 стартап показал выручку $2 млн и был приобретен компанией Profi.ru

Описание и характеристики продукта, к которому мы идем

• Набор персонажей со своими личностными характеристиками (пол, психотип, back story), каждый из которых отыгрывает AI romantic partner
• С ним можно общаться на самые разные темы — от повседневных до романтических и эротических
• Ключевая составляющая — LLM-модель (сейчас Mistral 7B), запромптированная на отыгрывание персонажа, которая держит образ, запоминает предыдущий контекст беседы, учитывает данные из БД о клиенте (интересы, сексуальная ориентация и др.)
• Ключевые челленджи для команды простым языком:
  • подобрать подходящий системный промпт для создания любых персонажей, где меняются только личностные характеристики
  • научиться менять промпт по ходу диалога и/или «докидывать» в модель информацию, которую ей нужно прямо сейчас учесть
  • разработать систему отслеживания и суммирования текущего контекста диалога с помощью соответствующей модели — сделать так, чтобы модель запоминала факты из истории диалога
  • на основе собираемого контекста настроить выбор изображений из готовой библиотеки по тегам/метаописанию

Какой опыт хотим видеть у кандидата

• Настройка промптирования моделей, понимание принципов работы с промптами для достижения вышеупомянутых целей

• Файн-тюнинг Open Source LLM по части инструкций, ограничений, в идеале — лора персонажа

• Промпт-инжениринг: ручные подбор и тестирование промпта, настройка автотестирования промпта

• Развертывание Open Source LLMs (Mistral, Llama, GPT) на выделенном сервере

  P.S. Если не было непосредственного опыта в одной из этих зон, но есть понимание, куда нужно двигаться — это тоже хорошо

За какие задачи предстоит быть ответственным

• Развитие и файн-тюнинг основной модели, отвечающей за диалоги (сейчас это Mistral 7B — не исключено, что решим поменять)
• Тестирование GPT 3 / GPT 3.5 (гипотеза, что на стартовом этапе диалогов, где воронка самая широкая, их API будет дешевле и, при этом, качественнее)