Автоматизация и бедность

 

В конце 2006 г. Митч Дэниелс, в то время губернатор штата Индиана, объявил о плане предоставить «самым нуждающимся жителям штата больше шансов на то, чтобы открыть мир, где вместо существования на пособие есть работа и достоинство». Он подписал контракт на $1,16 млрд с консорциумом, включавшим ряд компаний, в том числе IBM, на автоматизацию и приватизацию процесса отбора для программ социального обеспечения штата Индиана.

 

Людям советовали вместо посещения окружных учреждений для заполнения заявлений на получение пособия подавать заявку через новую онлайн-систему. Около 1,5 тыс. государственных служащих перевели на негосударственные должности в региональных кол-центрах. Социальные работники, ранее отвечавшие за ведение реестров нуждающихся семей в местных службах социального обеспечения, теперь обрабатывали список задач, находящихся в очереди в их системе управления потоками работ. Дела могли поступить из любого уголка штата, каждый звонок переходил следующему свободному служащему. Правительство штата утверждало, что такой переход к электронным средствам связи повышает доступность услуг для нуждающихся, пожилых людей и лиц с ограниченными возможностями и экономит деньги налогоплательщиков.

 

От гроссбухов окружных работных домов до фотографических слайдов из Государственного архива евгеники — в США долго собирали и анализировали обширную информацию о семьях бедняков и людей, принадлежащих к рабочему классу. Как и Дэниелс, современные политики и программные администраторы часто рассчитывают на автоматизацию в реформировании системы социальной помощи. Это направление иногда называют аналитикой бедности, цифровым регулированием бедности посредством сбора, совместного пользования и анализа данных. Она принимает разнообразные формы: от прогнозирования плохого обращения с детьми на основании статистических моделей до создания карт передвижения беженцев с использованием спутниковой съемки высокого разрешения. Современное возрождение аналитики бедности достигло апогея: захватывающие дух оценки с использованием потенциала больших данных и искусственный интеллект для повышения благосостояния, осуществления контроля, вынесения приговора, обслуживания бездомных и т.д.

 

Похоже, все подобные проекты вдохновляет вера в то, что бедность — это, в первую очередь, проблема системного проектирования. Информация просто не поступает туда, куда нужно, следовательно, ресурсы используются неэффективно, возможно даже контрпродуктивно. Расцвет систем автоматизированного отбора, принятия решений, основанного на алгоритмах, и прогнозная аналитика часто преподносятся как революция в общественном у правлении. Но это может быть просто переведенный в цифровую форму возврат к существовавшему в прошлом нормированию экономики, основанному на псевдонаучных представлениях.
 

 

В 1884 г. Джозефин Шо Лоуэлл (Josephine Shaw Lowell) в опубликованном труде «Государственная помощь и частная благотворительность» (Public Relief and Private Charity) призвала правительства прекратить предоставление государственной помощи семьям, оказавшихся в бедственном положении из-за затяжных последствий депрессии 1873-1879 гг. Лоуэлл, основательница Общества Организации благотворительности в Нью-Йорке, писала, что предоставление даже умеренной поддержки без предварительного изучения моральных качеств лиц, обратившихся за помощью, не улучшает ситуацию, а создает бедность, поощряя безделье и порок. Она обещала, что «частная благотворительная помощь должна и будет предоставляться в каждом случае, и не следует прибегать к государственным источникам обеспечения». Но как богатые филантропы могли взять на себя обязанности правительства по защите граждан страны от экономических потрясений? Лоуэлл предлагала простое решение: сделать благотворительность научно обоснованной.

 

Лоуэлл и другие сторонники так называемой научной благотворительности считали, что использование методов, основанных на данных и фактах, позволило бы разделить бедных на тех, кто заслуживает, и тех, кто не заслуживает помощи, и сделать социальную помощь более эффективной с точки зрения затрат и результатов. Это движение впервые стало применять методы, ныне известные как изучение условий жизни лиц, нуждающихся в материальной поддержке. Полицейские тщательно проверяли все аспекты жизни обратившихся за помощью и подтверждали их истории, опрашивая соседей, лавочников, докторов и священников. Так появилась практика составления характеристик и прогнозов, исследований моральных качеств и классификации на их основе, в результате которой появился не иссякший до сих пор поток данных о семьях бедняков и рабочего класса.

 

Современные защитники аналитики бедности считают, что качество государственных услуг улучшится, если мы будем использовать эти данные для получения «оперативной информации» о мошенничестве и бесполезных трата х Дэниелс, например, обещал, что за предусмотренные контрактом десять лет штат Индиана сэкономит $500 млн на управленческих расходах и еще $500 млн за счет выявления обстоятельств, когда отсутствуют основания для обращения за пособием, а также случаев мошенничества.

 

На самом же деле частная система кол-центров только обострила отношения между социальными работниками и нуждающимися людьми, поскольку стало трудно убедиться в том, что семьи получают все положенные им пособия. То, что вместо личного обращения приоритет стали отдавать онлайн-заявкам, стало проблемой для малоимущих семей, половина которых не имеет доступа в интернет. Бумажные документы, накопленные за десятилетия, оцифровать не смогли, и получателям пособий пришлось предоставлять всю документацию повторно. Негибкая автоматизированная система не могла различить добросовестное заблуждение, бюрократическую ошибку и попытку мошенничества со стороны заявителя. Каждый сбой, независимо от того, была ли это забытая подпись или ошибка программы, интерпретировался как потенциальное преступление.

Результатом эксперимента с автоматизированным отбором в Индиане стал 1 млн отказов в предоставлении пособий за три года, на 54% больше по сравнению с предыдущим трехлетним периодом. Под давлением разгневанных граждан, законодателей (представителей обеих партий) и перегруженных местных властей в 2009 г. Дэниелс разорвал контракт с IBM, что привело к дорогостоящему судебному разбирательству, оплачиваемому из средств налогоплательщиков, которое продлилось восемь лет.

 

 

В аналитике бедности руководствуются не только желанием сократить затраты и повысить результативность. Ее сторонники также преследуют похвальную цель: искоренить предвзятость. Все-таки скрытая расовая дискриминация в программах социального обеспечения имеет глубокие исторические корни.

 

В системе социального обеспечения детей традиционной проблемой было не исключение людей с другим цветом кожи, а непропорциональное включение их в программы, в связи с чем ситуацию в их семьях изучают чаще. Согласно данным Национального совета судей по делам несовершеннолетних и семьи, в 47 штатах детей-афроамериканцев забирают из семей с частотой, превышающей долю представителей этой расы в общей численности населения. Например, в округе Аллегейни, штат Пенсильвания, в 2016 г. 38% детей, переданных под опеку, были афроамериканцами, хотя они составляют менее 19% детского населения в округе.

 

В августе 2016 г. Департамент социального обеспечения округа Аллегейни запустил средство статистического моделирования, которое, по их мнению, может предсказать, какие дети наиболее вероятно в будущем подвергнутся насилию или будут лишены родительской заботы. Программу обследования семей округа Аллегейни (AFST) разработала международная команда под руководством экономиста Римы Вайтхинатан (Rhema Vaithianathan) из Оклендского университета технологий в Новой Зеландии. В команду вошла также Эмили Патнэм-Хорнстейн (Emily Putnam- Hornstein), директор Сети данных о детях в Университете Южной Калифорнии. Эта программа извлекает информацию, собранную в окружном архиве, куда регулярно поступают выписки из десятков государственных программ, в том числе сведения об условно освобожденных, данные тюрем, окружных служб психиатрической помощи, отделов по поддержанию уровня доходов и государственных школ. Предоставляя данные за два десятка лет, Департамент соцобеспечения надеется, что, так как мнение людей субъективно, AFST сможет помочь сотрудникам дать улучшенные рекомендации о том, какие семьи требуют тщательного изучения для обеспечения защиты детей.

 

Реформаторы из движения научной благотворительности XIX в. утверждали, что более объективное принятие решений может трансформировать государственные программы, которые, как они считали, испорчены покровительством, политиканством «партийной машины» и узостью мышления в вопросах, касающихся национальных меньшинств. Но они рассматривали вопрос о необъективности слишком узко: по их мнению, дискриминация имела эпизодический и преднамеренный характер и была связана с эгоистическими интересами. Однако сторонники научной благотворительности не сумели распознать, что системная, структурная необъективность уже заложена в их, как предполагалось, объективных научных средствах и методах.

 

Основой научной благотворительности была, с одной стороны, строгая оценка, с другой — теория превосходства белой расы. Хотя представители этого движения превозносили научную благотворительность, как базирующуюся на фактах и ценностно нейтральную, они отказывались помогать только что освобожденным от рабства афроамериканцам и поддерживали ограничение иммиграции. Сторонники научной благотворительности также проявляли исключительный энтузиазм, защищая элиты белых от угроз, скрыто существовавших, по их мнению, внутри белой расы: низкого интеллекта, преступности и необузданной сексуальности. По сути, это был эксперимент из области евгеники: попытка замедлить рост бедности за счет замедления роста численности в бедных семьях.

 

Несомненно, подобные AFST программные средства создаются исходя из стремления сдержать такого рода фанатизм. Но необъективность людей — это встроенная функция моделей предсказания риска. AFST полагается главным образом на данные, собранные только о людях, обратившихся к государственным службам за поддержкой семьи. Более обеспеченные семьи могут нанять няню для ухода за ребенком или консультироваться у врача, чтобы избавиться от зависимости. Но поскольку они платят из своего кармана или пользуются частной страховкой, данные о таких людях не собирают в архиве. Таким образом, AFST может пропустить случаи насилия или отсутствия заботы о детях в семьях представителей среднего класса. Усиленное наблюдение за бедными систематически влияет на прогнозы модели, поскольку использование государственной поддержки само по себе интерпретируется как риск для детей. Проще говоря, модель «путает» заботу о детях в бедных семьях с плохой заботой о детях.

 

К счастью, в округе Аллегейни не так много случаев, приведших или едва не приведших к смерти детей, чтобы предоставить необходимый объем данных для достоверного моделирования, поэтому команда Вайтхинатан для оценки жестокого обращения с детьми использовала в качестве замены связанную переменную. После ряда экспериментов исследователи решили использовать вместо фактов причинения вреда помещение ребенка под опеку: те случаи, когда исходя из проверенной информации о малыше начинается расследование в отношении его семьи и в результате он передается под опеку на два года. Следовательно, предсказываемый моделью результат — это решение агентства по опеке и судебной системы об изъятии ребенка из семьи, а не сам факт жестокого обращения. Несмотря на то что такое проектное решение принято по необходимости, а не по злому умыслу, благополучие детей само по себе субъективно, поэтому плохо подходит для прогнозного моделирования.

 

Кроме того, хотя AFST выявил, что существует необъективность в отношении выбираемой для проверки информации, непропорциональность системы в отношении расовой принадлежности в основном появляется не на этом этапе. Как показывают проводимые округом собственные исследования, в действительности необъективность, связанная с расовой принадлежностью, начинается не с проверки, а с «указания направления». Общество сообщает о случаях насилия и об отсутствии заботы о детях в семьях афроамериканцев и смешанных браках в три и четыре раза чаще соответственно, чем о таких же случаях в семьях белых. Когда поступают сообщения о детях, полномочия проверяющего, позволяющие действовать по усмотрению, не играют особой роли: проведенное в 2010 г. исследование показало, что сотрудники, принимающие обращения, проверяют 69% случаев, связанных с детьми афроамериканцев и детьми из смешанных браков, и 65% случаев, касающихся детей белых. По иронии, ослабление дискреционных полномочий проверяющего может привести к росту расовой несправедливости за счет исключения возможности «поставить диагноз» на том этапе, когда в результате подобной оценки можно преодолеть существующие в обществе предрассудки.

 

Преувеличение опасности ущерба — это результат склонности людей верить, что технология при принятии решений более объективна, чем мы сами. Однако экономисты и специалисты по данным с той же степенью вероятности, что и сотрудники, принимающие и проверяющие звонки, могут обладать ошибочными культурными представлениями о бедных семьях белых и бедных семьях людей с другим цветом кожи. Когда специалисты-разработчики создают подобные программы с учетом своих предположений, они скрывают важный политический выбор за прикрытым математикой фасадом технологической нейтральности.

 

 

Согласно предвзятому мнению, которое часто разделяют администраторы и специалисты по данным, работающие в государственных службах, аналитика бедности — это система для сортировки, для осуществления сложного выбора: как использовать ограниченные ресурсы для обеспечения огромных потребностей. Однако решение признать, что некоторым людям будет предоставлена возможность для удовлетворения своих основных человеческих потребностей, а другим нет, — это политический выбор. Бедность — это не природная катастрофа, а результат системной эксплуатации и ошибочной политики.

 

Наука о данных действительно может сыграть роль в вопросах, связанных с большой несправедливостью. Передовые критики системы принятия решений на основе алгоритмов предлагают сосредоточиться при разработке на открытости, ответственности и ориентированности на человека, для того чтобы использовать потенциал больших данных для обеспечения социальной справедливости. Конечно, любая цифровая система, используемая для принятия решений в демократическом обществе, должна базироваться на этих ценностях. Но аналитика бедности ограничивает свое поле деятельности в лучшем случае постепенным повышением точности и справедливости систем, общественная польза которых вызывает вопросы. Сначала необходимо пересмотреть базовые принципы. Это означает признать, что в условиях системного расизма, а также когда к бедным относятся сурово и объявляют их вне закона, лишенная ограничений аналитика приведет к усилению дискриминации и ухудшению экономического положения.

 

Следует начинать с испытания самореализуемых моделей — тех, что генерируют сам результат, который, как предполагается, они должны предсказывать. Например, если боязнь попасть в зону высокого риска по оценке AFST приводит к тому, что родители избегают обращаться в государственные службы, у этих людей может начаться стресс, который, в свою очередь, может вылиться в насилие или безразличие по отношению к детям. Необходимо также определить политические рычаги, способные остановить системы с негативными или нежелательными эффектами. Данные, собираемые такими системами, должны быть защищены, но, что более важно, их нельзя получать в принудительном порядке, чтобы семьи не чувствовали, что они обменивают одно из основных прав человека — на неприкосновенность частной жизни, безопасность или целостность семьи — на другое, такое как право на обеспечение пищей или жильем.

 

Наконец, необходимо установить ясные механизмы защиты тех, кто пострадал от системы аналитики бедности. Как указывается в «Белой книге» Всемирного экономического форума 2018 г. о дискриминации, связанной с машинным обучением, в подобных разрабатываемых и внедряемых автоматизированных системах принятия решения обязательно должны быть протоколы, предназначенные «для своевременного исправления любых результатов, имеющих дискриминационный характер» и такие, которые легко найти и применить.

 

Аналитика бедности не изменится кардинально до тех пор, пока мы не перестанем рассказывать лживые истории. Несмотря на распространенное мнение, бедность в США — это не просто отклонение от нормы. По данным исследования, проведенного социологами Марком Рэнком (Mark R. Rank) и Томасом Хиршлом (Thomas Hirschl), 51% американцев в возрасте от 20 до 64 лет в какой-то момент окажутся за чертой бедности и почти две трети обратятся в государственные программы оказания помощи по бедности, такие как Needing Families («Нуждающиеся семьи») или Medicaid. Так что вместо разработки сложных «термометров» для измерения моральных качеств нам необходимо укреплять почву под ногами. Это означает полностью финансируемые государством программы, гарантирующие достойную оплату и безопасные условия труда, поддержку в предоставлении ухода и укреплении здоровья, а также обеспечивающие защиту достоинства и самоопределения каждого. До тех пор пока этого не будет, мы занимаемся не модернизацией сортировки, а автоматизацией несправедливости.