Як аналітики спецслужб набувають «суперсили передбачення» за методом гри

Про це йдеться у статті The Economist. Наводимо дещо адаптований для наших читачів переказ.

Щоранку впродовж останнього року група британських посадових осіб, дипломатів, поліціянтів і шпигунів прокидалася, залогінювалася на шикарному вебсайті та намагалася вгадати, наскільки це можливо, чи вторгнеться Китай у Тайвань до певної дати. Або чи відступлять льоди Арктики на певну відстань. Або наскільки впаде рівень захворюваності на Covid-19. Усі ці складно прогнозовані речі – частина «Космічного базару», турніру з передбачення, створеного британським урядом для покращення розвідувальної аналітики.

Від запуску сайту Cosmic Bazaar у квітні 2020 року приблизно 1300 людей з 41 урядового підрозділу Британії та з кількох країн-союзників зробили понад 10000 передбачень. На сайті є близько 200 постійних «передбачувачів», які мають на основі виключно публічно доступної інформації стежити за 30–40 постійно актуальними питаннями. Cosmic Bazaar представляє гейміфікацію розвідки – використання в ній математичних принципів гри. Вибудовується рейтинг користувачів на основі єдиного та брутально простого критерію – точності їхніх передбачень.

Турніри з передбачень, подібні до Cosmic Bazaar, ґрунтуються на невеликій кількості базових ідей. Одна з них – «мудрість груп», концепція, яку вперше продемонстрував у 1907 році фахівець зі статистики Френсіс Ґелтон. Він спостеріг, що під час змагання з оцінки, наприклад, ваги бика на ярмарку, середній здогад близько 800 людей наближається до справжньої цифри з точністю до 1%.

Зараз подібна ідея називається «краудсорсинг», і її доповнено більш недавніми дослідженнями щодо того, чи роблять люди правильні оцінки та як вони їх роблять. Експерименти, які проводив Філіп Тетлок з університету штату Пенсильванія та інші дослідники, показують, що передбачення експертів часто нічим не кращі за випадковість. Однак окремі люди, яких охрестили «суперпередбачувачами», часто таки роблять правильні прогнози, значною мірою через те, як саме вони формують думки – наприклад, послідовно переглядаючи попередні передбачення у світлі нових даних, а також розуміючи типові людські упередження та враховуючи їх.

окремі люди, яких охрестили «суперпередбачувачами», все ж часто роблять правильні прогнози

Ідеї доктора Тетлока стали широко відомі торік, коли на основі його книжки Домінік Каммінгс, тодішній радник прем'єра Британії Бориса Джонсона, найняв в офіс прем'єра на Даунінґ-стріт контроверсійного «суперпередбачувача».

Широка мережа розвідувального істеблішменту США першою почала застосовувати ці принципи. За останнє десятиліття розвідка Сполучених Штатів вела понад десяток проєктів із передбачення подій, включно з «ринком прогнозів», де люди можуть ставити гроші чи очки на певний результат, а також рейтингами передбачень, подібних до Cosmic Bazaar.

Найбільш визначним турніром була програма «агрегованих обумовлених оцінок ситуацій» (Aggregative Contingent Estimation – ACE, скорочення значить також «туз»), яку провадили розвідувально-аналітичні підрозділи розвідки США з 2010 по 2015 рік. При цьому команда «суперпередбачувачів» із проєкту «Тверезий розум», яким керував доктор Тетлок, виявилася принаймні на третину точнішою за інші команди дослідників.

ACE та інші подібні програми й надихнули Британію на створення «Космічного базару». Одна з цілей останньої – виокремити групу послідовно успішних «передбачувачів», які під час кризи зможуть відповідати на складні запитання. Близько 20 топових учасників рейтингу «неймовірно точні», каже Чарлі Едвардс, тренер британських розвідувальних аналітиків.

Вони дуже переймаються своїми функціями Брієра – математичним показником точності в довготривалій перспективі, та, так само як і у випадку проєкту «Тверезий розум», з ентузіазмом діляться джерелами даних і новинами. Єдина винагорода – віртуальні бейджі та брендовані нотатники. Але ці речі разом із високими балами є «почесною відзнакою» для аналітиків, звиклих працювати з таємними службами, де успіх лишається в тіні, – каже Едвардс.

Гра у процесі

Але суть не лише в тому, щоб визначити зіркових гравців. Ідеться також про заохочення «когнітивного розмаїття»: забезпечивши можливості для розвідки, черпати талант не тільки з доволі маленького пулу британських аналітиків. При цьому анонімність Cosmic Bazaar створює рівне поле гри – молодший науковий співробітник може сміливо заперечувати прогнози посла-ветерана та його міркування, незважаючи на ранги.

Сайт заохочує дебати й дискусії. Користувачі можуть голосувати за доречні коментарі інших, а конкретні питання доповнюються семінарами, які ведуть експерти. Понад те, оскільки система не є засекреченою (на відміну від більшості подібних американських програм), то посадові особи можуть залогінюватися хоч з дому, хоч з-за кордону.

Ця програма також призначена для того, щоб виявляти сліпі плями аналізу. Посадовці кажуть, що нині така кількість уваги уряду спрямована на Covid-19, що тлійні або більш віддалені питання часто випускаються з уваги. Наприклад, у жовтні Cosmic Bazaar поставив користувачам запитання щодо Мозамбіку, й відповіді показали, що ризик діяльності джихадистів там значно більший, ніж вважалося (пізніше цей прогноз здійснився). Це змусило інших ближче придивитися до проблеми.

Станом на тепер Cosmic Bazaar є найбільшим турніром із передбачень в Європі. Однак темою зацікавилися й інші. Британія сподівається залучити до змагання європейських союзників. Адам Сігель, співзасновник фірми, яка написала комп'ютерну програму для Cosmic Bazaar, каже, що нині Чехія використовує платформу його компанії для публічних турнірів, у яких беруть участь кілька державних агенцій. До того ж він зазначає, що інша європейська країна використовує засекречену версію подібного програмного забезпечення. Регін Йозеф із консалтингової компанії Sibylink проводила подібні турніри з передбачень для уряду Нідерландів і для ОБСЄ.

Утім, досвід США з прогнозами – історія-застереження. Попри увагу, яку привернула до себе програма АСЕ, американські турніри з передбачень та «ринки прогнозів» з великими труднощами залучають гроші й не прийняті в мейнстримі. Нині американські розвідувальні служби не мають активних турнірів із передбачень – хоча в Пентагоні та кількох інших місцях подібні зберігаються.

Однією з причин цього, відповідно до недавньої статті «Оцінювання: новий підхід до геополітичного прогнозування» від дослідницької групи університету штату Пенсильванія під назвою Perry World House, є те, що такі платформи погрожують становищу поганих аналітиків, а також підривають ієрархії в часто воєнізованих структурах. «Співробітники зі стажем можуть розглядати потенційний розлад, що вносить механізм, який діє краще за багатьох традиційних аналітиків, із відчуттям наближення апокаліпсису – подібно до того, як фабричний робітник може дивитися на роботизований конвеєр».

Але більш значуще питання може полягати просто в тому, що саме уможливлення точного прогнозування обмежує його шарм. Базова вимога для математичного оцінювання – це те, що питання мають бути однозначними (щоб після всього можна було однозначно сказати, хто мав рацію, а хто помилився). Це означає, що тут немає місця для того, що психологи назвали «яснобаченням», або ж для заяв по факту, що туманне пророцтво здійснилося.

Однак ті, хто визначає політику, часто ставлять саме неоднозначні, більші та туманніші питання, відповідь на які важко оцінювати за системою рейтингу. Наприклад: «Чого хоче Росія?» Або: «Чи стане Китай більш агресивним?» Доктор Тетлок називає це «обміном строгості на значущість».

Одним зі способів підходу до цієї проблеми є застосування складної статистичної техніки, відомої як мережа Баєса, в якій застосовуються ймовірності за різних умов. Наприклад: прогнозистів можуть просити оцінити ймовірність захоплення Китаєм певного острова в Південно-Китайському морі до певної дати, якщо він ставатиме агресивнішим, а також імовірність тієї ж дії, якщо він не ставатиме агресивнішим. Велике питання, яке важко підлягає визначенню, таким чином можна розбити на кілька менших запитань, відповіді на які можна відстежувати – це відомо як «скупчення запитань Баєса». Foretell («Передбачення»), проєкт Центру з безпеки та новітніх технологій університету Джорджтауна, застосовує цю методологію для прогнозів щодо технологічної конкуренції між Китаєм та США. Поки що немає певності, чи матиме успіх цей підхід.

Наразі ж прогнозисти насолоджуються моментом на сонці. Так, у Британії думки, висловлені на Cosmic Bazaar, застосовуються в політиці, зокрема командами, які займаються Covid-19 і протидією тероризму. Тим часом у США президент Джо Байден наступного дня після інавгурації проголосив про наміри створити Національний центр із прогнозу епідемій та аналітики спалахів. У березні 2021 року його адміністрація найняла Джейсона Мейтні, колишнього керівника програм із передбачення, радником із технологій та національної безпеки.

Утім, довгострокова життєздатність прогнозування залежатиме не лише від точності передбачень, а й від можливості їх пояснювати. Недостатньо визначити, що існує 70% імовірності війни між конкретними двома країнами впродовж наступного року, а не 30% імовірності, як ви вважали. Потрібно зрозуміти, що призвело до цієї вищої оцінки. Статистична оцінка в сукупності з яскравим психологічним портретом Сі Цзіньпіна ймовірніше подіє на умовного прем'єра чи президента, ніж просто цифра з відсотками.

Аналітикам варто вибудувати довірчі стосунки з тими, хто приймає рішення. Поряд із цифрами слід викласти історію, що криється за ними.

майбутнє технології ігри