esokolov / ml-course-hse

Машинное обучение на ФКН ВШЭ

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Теор.дз №9, второе неравенство

ks-korovina opened this issue · comments

Есть несколько вопросов к выводу неравенства из номера 3. Во-первых, в формуле (0.6) явно потерялось деление на двойку в правой части. Во-вторых, для использования этого неравенства выпуклость $\phi$ не нужна, зато она нужна в первом неравенстве формулы (0.8) – мне кажется, что стоило бы явно написать, какое свойство/определение выпуклых функций было использовано в этом переходе, раз уж приводится решение.

  1. Двойка в 0.6 действительно потерялась.
  2. Формула 0.2 доказана функции с липшицевыми градиентами, но там стоят модули.
    Мы используем определение выпуклой функции $f(y) \geq f(x) + \langle \nabla f(x), y-x \rangle$ чтобы раскрыть модуль в формуле 0.2 и, тем самым, записать 0.6.
  3. Формула 0.8 записана из следующих соображений: под формулой 0.5 упомянается, что $\phi$ выпуклая функция, из этого следует, что экстремум будет минимумом, экстремумом является $x_0$, тогда первое неравенство в 0.8 справедливо.

Итого:

  1. надо добавить двойку в 0.6,
  2. надо дописать, что $x_0$ глобальный минимум перед 0.8.

Согласны?

Казалось бы, 0.6 – просто следствие 0.2: X <= |X|. Упомянутое опеределение я и имела в виду, и его бы я и использовала в 0.8 (так короче), но глобальный минимум тоже годится, конечно.

Да, согласен, можно просто убрать модуль. Что-то я перемудрил.
С глобальным минимумом, мне кажется, довольно простое объяснение.

Простое (и следующее из этого определения), не спорю. Закрываем.
Спасибо!