Turn into data

Структура важна не меньше полноты данных

Данные: коты $C$, гравитация $G$, удобное место $F$

Блок 2 — Как мы ошибаемся

когнитивные искажения

CogBias: To see an illusion as illusion is not yet to escape it

CogBias: Mapping abstraction to pattern

CogBias: Thatcher effect

CogBias: Hypothesis confirmation

CogBias: Expectations

CogBias:Expectaitions matter

CogBias:Expectaitions matter

КИ с числами: парадокс вращения монеты

Радиус окружности a в три раза больше радиуса b.

Окружность b катится вокруг a без проскальзывания.

Сколько оборотов совершит b?

a) 3/2	b) 3
c) 6	d) 9/2
e) 9

КИ с числами: интуиция говорит «3»

▶ Replay

КИ с числами: правильный ответ — 4

▶ Replay

КИ с числами: «пропавший» оборот

Надеюсь, теперь вы увидели «пропавший» оборот. Достаточно было наблюдать за тем, от чего вас отвлекли — этот дополнительный оборот это оборот окружности b вокруг точки A.

▶ Replay

CogBias: Logic & Consistency ≠ Assumptions

КИ с числами: монета не помнит прошлого

КИ с числами: HH vs HT

Сколько бросков нужно в среднем, чтобы первый раз получить подряд:

Почему HH требует больше бросков?

При цели HT «лишний» H recycleится как новая отправная точка. При цели HH T полностью сбрасывает прогресс.

Структура мишени определяет, насколько «дорого» ошибиться — это не случайность.

КИ профессионалов: задача для врача

Вероятность рака молочной железы у женщин после 40 лет — 1%.

Маммография: чувствительность 80%, ложноположительная ставка 9.6%.

Результат теста — положительный.

Какова вероятность, что у пациентки действительно рак?

Сформулируйте ответ, прежде чем листать дальше.

КИ профессионалов: правильный ответ — 7.8%

Парадокс Симпсона: одни данные — разные выводы

Смертность от Covid-27:

S27 лучше в каждой подгруппе, но хуже в целом. Как такое возможно?

Парадокс Симпсона: сценарий 1

Состояние C → выбор лечения T → смертность Y

Тяжёлым больным чаще назначают S27 (он дороже и ограничен). Тяжёлое состояние само по себе повышает смертность.

Вывод: нужно смотреть внутри подгрупп → S27 лучше.

Парадокс Симпсона: сценарий 2

Лечение T → состояние C → смертность Y

S27 создаёт очередь → пациенты ждут дольше → болезнь прогрессирует.

Вывод: смотреть в целом → Ch27 лучше.

Парадокс Симпсона — не парадокс, если есть причинная модель.

Тип 1 и тип 2

• Вывод типа 1 и расчёт типа 2 конкурируют (типичные задачи на вероятность и логику)
• То, что отрабатывали типом 2, со временем автоматизируется и снова приближается к автономному режиму
• Различать типы надёжнее по автономности и нагрузке на рабочую память, чем только по длительности: тип 1 не всегда «короче по секундам», зато меньше доступен сознательному контролю

Stanovich, K.E. (2011). Rationality and the Reflective Mind. Oxford UP.

When Do We Actually Use Normative Models?

Stanovich, K.E. (2011). Rationality and the Reflective Mind. Oxford UP.

Зачем вообще нужна причинность — даже для прогноза?

Казалось бы: если цель — прогноз, зачем знать механизм?

Рассмотрим данные о курении и смертности:

Doll & Hill (1954). Mortality in relation to smoking. BMJ / PMC437139

Что будет, если слепо обучить модель на таких данных?

Четыре проблемы игнорирования причинности

1. Нет объясняющей силы — модель укажет на курение как защитный фактор.

2. Неполная информация — ценные переменные («знает ли пациент о болезни») остаются незамеченными.

3. Нестабильность оценок — перегруппировка данных по времени меняет результаты кардинально.

4. Невозможность трансфера — данные Скандинавии: информирование и курение кажутся равнозначными. Перенос в Бангладеш — модель ломается.

В чём подвох?

Обратная причинность: люди, узнавшие о болезни, бросают курить.

Структура данных, а не сами данные — вот источник ошибки.

Нотация: независимость

Условная независимость: $X \perp Y \mid Z ;\Leftrightarrow; P(X,Y \mid Z{=}z) = P(X \mid Z{=}z),P(Y \mid Z{=}z) \quad \forall z$

Безусловная независимость: $X \perp Y$ — частный случай ($Z$ пусто).

Пример зависимости: $P(X{=}1)=\tfrac12$, $P(Y{=}1 \mid X{=}1)=0{,}9$, $P(Y{=}1 \mid X{=}0)=0{,}3$ → $X \not\perp Y$.

Интервенция $do(\cdot)$

Наблюдаемое условное $P(Y \mid X{=}x)$ — доля $Y$ среди тех, у кого в данных $X{=}x$ (самовыбор / механизм порождения $X$ сохранён).

Интервенционное $P(Y \mid do(X{=}x))$ — распределение $Y$, если всем принудительно задали $X{=}x$.

Если истинная структура $X \rightarrow Y$ без скрытых общих причин, совпадает: $P(Y \mid X{=}x) = P(Y \mid do(X{=}x))$.

Маргинализация: что это такое

Идея: нас интересует только $X$, но данные содержат ещё и $Y$. Чтобы «убрать» $Y$ — суммируем по всем его значениям:

$$\boxed{P(X) = \sum_{y} P(X, Y{=}y)}$$

Маргинализация в DAG: структура

Iuliia Averianova — «Условная независимость — основа байесовской сети»; Koller & Friedman, PGM (2009)

Маргинализация ≠ условие

Эффект противоположный в зависимости от структуры:

Маргинализация — «не смотреть» на $Z$. Условие — «смотреть». В каузальном анализе это принципиально разные операции.

Условная независимость: как интуиция нас обманывает

Переменные $Y$ (жёлтая), $R$ (красная), $B$ (синяя).

Вероятность = доля квадратиков в закрашенной области.

$R$ и $B$ зависимы попарно: $P(B \mid R) \neq P(B)$

Но условно независимы при $Y$:

$$P(R \cap B \mid Y) = P(R \mid Y) \cdot P(B \mid Y) = \left(\tfrac{1}{3}\right)^2$$

Добавление $Y$ полностью меняет картину.

Условная независимость: считаем по квадратикам

Всего клеток: 36

Связь R и B (без условия):

$$P® = \tfrac{13}{36}, \quad P(B \mid R) = \tfrac{4}{13} \neq P(B) = \tfrac{11}{36}$$

Зависимы — знание о $R$ меняет вероятность $B$.

Условная независимость при $Y$:

Внутри жёлтой области ($Y$) — 9 клеток.

$$P(R \mid Y) = \tfrac{3}{9} = \tfrac{1}{3}, \quad P(B \mid Y) = \tfrac{3}{9} = \tfrac{1}{3}$$

$$P(R \cap B \mid Y) = \tfrac{1}{9} = \tfrac{1}{3} \cdot \tfrac{1}{3} \checkmark$$

Условие $Y$ «объясняет» связь между $R$ и $B$ — они перестают нести информацию друг о друге.

Принцип Рейхенбаха

Асимметрия причины и следствия

Наблюдаемые эквиваленты: завод

Новый начальник смены хочет проверить связь 4 тумблеров T и 4 линий L.

Наблюдаемые эквиваленты: иллюзия стула

Ситуации AB и AC — наблюдаемые эквиваленты двух разных механизмов. Различить их можно только сравнив ненаблюдаемые состояния.

Различить механизмы: интервенция на T

Физически переключим тумблер: $do(T)$

Различить механизмы: интервенция на L

Теперь принудительно меняем линию: $do(L)$

Наблюдаемые эквиваленты: итог

Механизм	$do(T)$ меняет $L$?	$do(L)$ меняет $T$?
$T \rightarrow L$	Да	Нет
$L \rightarrow T$	Нет	Да
Общая причина	Нет	Нет

Разным механизмам соответствует одна проекция в наблюдаемых данных (Cases 1 & 2), но они различаются в контрфактических состояниях (Cases 3–6).

Причинно-следственный механизм — это полный набор всех контрфактических состояний системы.

Оператор $\text{do}()$ и интервенция

Наблюдение: $P(B \mid A=1)$ — смотрим на B, когда видим A=1

Интервенция: $P(B \mid do{A=1})$ — принудительно устанавливаем A=1

Для истинной структуры $A \rightarrow B$:

$$P(B) \neq P(B \mid do{A=1}) \quad \text{(A влияет на B)}$$

$$P(A) = P(A \mid do{B=1}) \quad \text{(B не влияет на A)}$$

Эта асимметрия и отражает причинно-следственную связь.

Контрфактические состояния: от детерминизма к вероятности

	$P(B \mid do{A})$	$P(A \mid do{B})$
$A \rightarrow B$	меняется	не меняется
$B \rightarrow A$	не меняется	меняется
Общая причина	не меняется	не меняется

Нельзя различить все три по одному набору данных — нужны как минимум две интервенции.

Что же всё-таки говорит корреляция?

Три причины скептицизма:

1. В высокоразмерных данных ложноположительные связи неизбежны
2. Одним данным соответствует несколько механизмов ($X \to Y$ и $Y \to X$ неразличимы)
3. Даже зная направление, не знаем функциональную форму ($y=5x$? $y=x^2-5x$?)

Но: это не означает бесполезности корреляции.

Корреляция (ассоциация) сужает класс допустимых причинных структур и в ряде случаев позволяет отбросить целые семейства графов — см. классы наблюдаемой эквивалентности например, коллайдер $X \to Y \leftarrow Z$ (края независимы, оба связаны с $Y$). Зато цепь с $Y$ как единственным посредником между $X$ и $Z$ ($X \to Y \to Z$ или $Z \to Y \to X$) при типичных предположениях (изолированная тройка, faithfulness) с маргинальной $X \perp Z$ несовместима — на концах цепи $X$ и $Z$ были бы зависимы.

Граф и вероятность: три связи

$$\text{Graphical Model} ;\leftrightarrow; \text{Independence Set} ;\leftrightarrow; \text{Association Set}$$

DAG делает предположения о зависимостях явными и проверяемыми по данным.

Графические модели: язык для причинности

DAG (Directed Acyclic Graph) — визуализация причинных связей.

$$\text{Графическая модель} \leftrightarrow \text{Множество независимостей} \leftrightarrow \text{Статистические ассоциации}$$

Ключевое свойство — факторизация:

$$P(X_1, \ldots, X_n) = \prod_{i=1}^{n} P(X_i \mid Pa_i)$$

Где $Pa_i$ — родители (причины) узла $X_i$.

DAG делает предположения о причинности явными и проверяемыми.

Граф и вероятность: откуда берётся факторизация

Граф и вероятность: пример

Граф и вероятность: что это даёт

обратная задача, Данные наблюдений: X, Y, Z

Данные наблюдений: X, Y, Z

Три базовых структуры: таксономия

Все возможные связи трёх переменных сводятся к двум случаям зависимости:

$$\text{(1)}\quad X_1 \perp X_3 \quad \text{и} \quad X_1 \not\perp X_3 \mid X_2$$

$$\text{(2)}\quad X_1 \perp X_3 \mid X_2 \quad \text{и} \quad X_1 \not\perp X_3$$

Цепочка: поток через посредника

$$X_1 \longrightarrow X_2 \longrightarrow X_3$$

Пример: рост → вес → давление. Убрав из анализа вес, рост и давление снова «связаны».

Развилка: общая причина (конфаундер)

$$X_1 \longleftarrow X_2 \longrightarrow X_3$$

Пример: праздничный сезон → открытки И → украшения. Убрав сезон — связь исчезает.

Коллайдер: обратная логика

$$X_1 \longrightarrow X_2 \longleftarrow X_3$$

Единственная структура, где контроль вредит — добавление коллайдера в регрессию порождает ложную связь.

Коллайдер: числовой пример (парадокс Берксона)

$A$ и $B$ — независимые причины. $AB$ — их общее следствие (коллайдер).

Отбор по следствию автоматически создаёт корреляцию между независимыми причинами.

Три базовые структуры: recap

25 возможных графов на трёх переменных

Ровно 25 сценариев для трёх изолированных переменных. Графы в одном прямоугольнике — неразличимы по наблюдаемым данным. Коллайдеры и независимые пары идентифицируемы всегда. Остальное — нужны предположения или эксперименты.

Back-door критерий: от структуры к оценке

Проблема: знания о структуре недостаточно для численной оценки эффекта.

Нужно выбрать — что включать в контроль:

Back-door критерий: формулировка

$Z$ удовлетворяет back-door критерию для $(X, Y)$, если:

1. Ни одна переменная из $Z$ не является потомком $X$
2. $Z$ блокирует все пути со стрелкой, входящей в $X$

Back-door выполнен → линейная регрессия по скорректированным данным даёт причинный эффект.

Хороший и плохой контроль: обзор

Cinelli, C., Forney, A., Pearl, J. A Crash Course in Good and Bad Controls (2022)

Плохой контроль: M-bias и потомок исхода

Cinelli, C., Forney, A., Pearl, J. A Crash Course in Good and Bad Controls (2022)

Фундаментальная проблема причинно-следственного вывода

Мы не можем одновременно наблюдать все альтернативные состояния.

$$Y_i(1) - Y_i(0) \text{ — ненаблюдаем напрямую}$$

Нужны предположения:

• Интервенции независимы друг от друга
• Идентичные объекты реагируют одинаково (SUTVA)
• Нет скрытых общих причин

Стратегии идентификации: обзор

› Выбор стратегии — это дизайн исследования и допустимые предположения, а не объём данных.

Иерархия ошибок: три уровня

Верхняя онтология — логическая ошибка: не зависит от данных и не исправляется их накоплением.

Средняя — ошибка контекста: неверно выбран гипотетический механизм.

Нижняя — ошибка данных: можно исправить протоколом сбора.

Типичные ошибки причинного мышления

Все шесть ошибок — следствие игнорирования структуры.

Что данные могут сказать сами: PC-алгоритм

Алгоритм Peter-Clark восстанавливает структуру DAG только из наблюдений — без экспериментов.

PC-алгоритм: шаги

Данные сужают пространство возможных механизмов даже без экспериментов.

Что подразумевает причинность: контрфактические состояния, оператор $do()$, предположения о структуре, интервенции как наиболее надёжный источник свидетельств

Что говорит корреляция: исключает механизмы, идентифицирует коллайдеры и независимости, при минимальных предположениях восстанавливает структуру

Нормативные фреймворки: Наблюдаемый эквивалент, условная независимость, ассиметрия и контрфактические состояния

When Do We Actually Use Normative Models?

Stanovich, K.E. (2011). Rationality and the Reflective Mind. Oxford UP.

Рекап: нормативные фреймворки

Источники

Книги и курсы

• Pearl, J. The Book of Why (2018)
• Cunningham, S. Causal Inference: The Mixtape — онлайн
• Neal, B. Introduction to Causal Inference (2020) — курс
• Koller, D. & Friedman, N. Probabilistic Graphical Models (2009)
• Peters, J., Janzing, D., Schölkopf, B. Elements of Causal Inference (2017)
• Spirtes, P. et al. Causation, Prediction, and Search (2000)
• Montgomery, D. / Box, G. & Hunter, J. — классические учебники по DOE

Иллюстрации и блоги

• Talebi, S. Causal Discovery: Learning causation from data — иллюстрации PC
• Averianova, I. / Kim, A. Условная независимость — основа байесовской сети — маргинализация и условная независимость

Статьи

• Cinelli, C., Forney, A., Pearl, J. A Crash Course in Good and Bad Controls (2022)
• Eberhardt, F., Glymour, C., Scheines, R. On the number of experiments… (2012)
• Eberhardt, F. Introduction to the Foundations of Causal Discovery (2017)
• Glymour, C., Zhang, K., Spirtes, P. Review of Causal Discovery Methods (2019)
• Vowels, M. J. et al. D’ya Like DAGs? A Survey on Structure Learning (2022)
• Heinze-Deml, C., Maathuis, M. H., Meinshausen, N. Causal Structure Learning (2018)
• Nogueira, A. R. et al. Causal Discovery in Machine Learning (2022)
• Hitchcock, C. & Rédei, M. Reichenbach’s Common Cause Principle (2020)
• Sabbaghi, A. & Rubin, D. B. Comments on the Neyman–Fisher Controversy
• Eberhardt, F. Causality: From Aristotle to Zebrafish (2019)

Спасибо

Вопросы?