AcipenserSturio / 2023-hello-llm

Hello, LLM! для 4-го курса ФПЛ (2023/2024)

В рамках предмета “Информационный поиск и извлечение данных” в НИУ ВШЭ - Нижний Новгород.

Преподаватели:

• Демидовский Александр Владимирович - лектор
• Сальников Игорь Геннадьевич -преподаватель практики
• Кащихин Андрей Николаевич -приглашённый эксперт

Студенческая исследовательская бригада:

• Жариков Егор Игоревич - ассистент
• Новикова Ирина Алексеевна - ассистент
• Блюдова Василиса Михайловна - ассистент
• Зайцева Вита Вячеславовна - ассистент

План лабораторных работ:

1. Работа №7 с нейросетевой языковой моделью
   1. Дедлайн: 13 февраля
2. Работа №8 с нейросетевой языковой моделью
   1. Дедлайн: 11 марта

История занятий

Дата	Тема лекции	Тема практики. Материалы практики.
12.01.2024	Большие модели в NLP. Лабораторная работа.	Создание форка.
16.01.2024	Датасеты в экосистеме HuggingFace.	Загрузка датасета из HuggingFace. Листинг. Подготовка датасета. Листинг. Перегрузка протоколов датасета. Листинг.
23.01.2024	Инференс языковых моделей.	Анализ PyTorch модели. Листинг. Инференс модели. Листинг.
30.01.2024	Оценка качества работы языковых моделей.	Инференс генерационной модели. Листинг. Упаковка семплов через DataLoader. Листинг. Оценка качества модели. Листинг.
05.02.2024	N/A	Факультатив не состоялся (нет кворума) Элементарные основы создания веб сервиса. Листинг.
12.02.2024	N/A	Сдача лабораторной работы №7.

Более полное содержание пройденных занятий Вы найдете в lectures-content-label.

Литература

Базовый уровень

1. HuggingFace NLP Course.

Порядок сдачи и оценивания лабораторной работы

1. Лабораторная работа допускается к очной сдаче.
2. Студент объяснил работу программы и показал её в действии.
3. Студент выполнил задание ментора по некоторой модификации кода.
4. Студент получает оценку:
   1. Соответствующую ожидаемой, если все шаги выше выполнены и ментор удовлетворён ответом студента.
   2. На балл выше ожидаемой, если все шаги выше выполнены и ментор решает поощрить студента за отличный ответ.
   3. На балл ниже ожидаемой, если лабораторная работа сдана на неделю позже срока сдачи и выполнены критерии в 4.1.
   4. На два балла ниже ожидаемой, если лабораторная работа сдана на две недели позже от срока сдачи и выполнены критерии в 4.1.

Note

Студент может улучшить оценку по лабораторной работе, если после основной сдачи выполнит задания следующего уровня сложности относительно того уровня, на котором выполнялась реализация.

Лабораторная работа допускается к очной сдаче, если она:

1. Представлена в виде пулл реквеста (Pull Request, PR) с правильно составленным названием по шаблону: Laboratory work #<NUMBER>, <SURNAME> <NAME> - <UNIVERSITY GROUP NAME>.
   1. Пример: Laboratory work #1, Kashchikhin Andrey - 21FPL1.
2. Имеет заполненный файл settings.json с ожидаемой оценкой. Допустимые значения: 4, 6, 8, 10.
3. Имеет “зелёный” статус - автоматические проверки качества и стиля кода, соответствующие заданной ожидаемой оценке, удовлетворены.
4. Имеет лейбл done, выставленный ментором. Означает, что ментор посмотрел код студента и удовлетворён качеством кода.

Ресурсы

1. Таблица успеваемости
2. Сайт с документацией
3. starting-guide-label
4. running-tests-label
5. faq-label