Охота на электроовец. Большая книга искусственного интеллекта - Марков Сергей Николаевич - Страница 207

В 1972 г. Колби провёл интересный эксперимент, нередко упоминающийся в популярной литературе. Часто описание этого эксперимента сводят к тому, что Колби попросил профессиональных психиатров в ходе процедуры, напоминающей тест Тьюринга, отличить PARRY от людей-пациентов с диагностированной параноидной шизофренией и что только 48% психиатров справилось с задачей. В действительности всё было несколько иначе. Здесь мы имеем дело со случаем, в котором проработки и детали эксперимента имеют большое значение, о чём пойдёт речь ниже.

В основу теста была положена техника машинно-опосредованного интервью — участники диалога передавали друг другу реплики при помощи телетайпа, оснащённого системой буферизации, накапливающей символы сообщения до момента его отправки. Это было сделано для того, чтобы исключить в ходе эксперимента использование любой посторонней информации (например, манеры речи или темпа набора символов), кроме собственно текста. Также осуществлялось исправление орфографических ошибок в репликах психотерапевта, поскольку из-за них PARRY мог просто не распознать (или распознать неверно) те или иные слова.

Всего в эксперименте каждый из восьми психиатров провёл по два интервью: с пациентом-человеком и с PARRY, причём в половине случаев интервью психиатра было вначале с человеком, а потом — с PARRY, а во второй половине случаев — наоборот. В тестах использовались две версии бота («слабая» и «сильная»), различающиеся разными настройками. «Сильная» версия демонстрировала более выраженные параноидные симптомы и структурированный бред, в то время как симптомы «слабой» версии проявлялись в меньшей степени, она выказывала подозрительность, но обходилась без бреда.

Пациенты (их было трое, при этом один из них участвовал в интервью шесть раз) получили свой диагноз от штатных психиатров соседней психиатрической больницы и были отобраны для участия в эксперименте главой отделения.

Каждое интервью длилось 30–40 минут. В эксперименте участвовали три группы психиатров: первая группа из восьми человек проводила собеседования, а вторая и третья только анализировали полученные диалоги. Первая группа состояла из специалистов, имевших опыт частной и/или больничной практики, и была отобрана из числа местных коллег-психиатров, изъявивших желание принять участие в эксперименте. Каждому интервьюеру сказали, что он будет опрашивать пациентов, используя телетайп, и что этот метод используется для устранения пара- и экстралингвистических сигналов. Психиатры из первой группы не были проинформированы о том, что одним из пациентов может быть компьютерная модель.

После завершения интервью участникам первой группы сообщили, что существует четыре возможности: 1) оба интервью проводились с пациентами; 2) первое интервью было с пациентом, а второе — с компьютерной программой; 3) первое интервью было с компьютерной программой, а второе — с пациентом и, наконец, 4) оба интервью проводились с компьютерной программой. При этом шесть из восьми участников дали неправильный ответ.

Далее, ста психиатрам, отобранным случайным образом по спискам Американской психиатрической ассоциации (American Psychiatric Association), были отправлены протоколы двух интервью с указанием, что в одном из них вместо пациента участвовала компьютерная программа, и было предложено определить, в каком именно. Ответы прислали 40 человек (третья группа психиатров), и из 40 полученных ответов правильных было 21 (52%), а неправильных 19 (48%) — именно так, а не наоборот[2021]; путаница возникла, по всей видимости, в работе «Тест Тьюринга: 50 лет спустя» (Turing Test: 50 Years Later)[2022], на которую ссылаются[2023] более поздние авторы.

В общем, так или иначе, результаты не особо отличались от случайного угадывания, однако в защиту психиатров можно сказать две вещи. Во-первых, во время проведения интервью никто из проводивших его специалистов не подозревал о том, что его собеседником могла быть машина, а следовательно, не стремился задавать вопросы, которые могли бы помочь в выявлении электронного собеседника. Во-вторых, поведение людей с диагнозом «параноидная шизофрения» может быть весьма странным по обычным человеческим меркам, поэтому те или иные неестественные элементы в ответах собеседника легко могут быть объяснены наличием данной патологии. В-третьих, можно предположить, что те 60 психиатров, что не стали отвечать на рассылку, были в среднем более загруженными, чем те 40, что ответили. А так как загруженные специалисты обычно являются более востребованными, чем незагруженные, то можно предположить, что третья группа психиатров состояла из специалистов с уровнем востребованности ниже среднего (например, из более молодых и менее опытных), что тоже могло сказаться на результатах.

6.3.1.3 SHRDLU

Ещё одной знаменитой разработкой в области диалоговых систем стала программа SHRDLU, созданная на заре развития отрасли.

Буквы на клавиатурах типографских наборных машин традиционно располагались в порядке убывания частоты букв в целях ускорения работы, поэтому строчные буквы etaoin и shrdlu являлись первыми двумя столбцами на левой стороне клавиатуры. Иногда из-за особенностей типографского процесса эта последовательность символов попадала в печать, таким образом на свет появился Etaoin Shrdlu, дальний родственник нашего соотечественника Йцукенга Фывапролджевича Ячсмитьбю.

Имя Shrdlu в разное время носили и шахматная программа, и герои различных литературных произведений и комиксов, и даже вымышленный джазовый композитор. Но в мире информатики под этим именем известна в первую очередь диалоговая система, созданная в 1968–1970 гг. в MIT Терри Виноградом.

SHRDLU — своеобразный виртуальный ассистент, являющийся хранителем небольшого искусственного мира, состоящего из виртуальной коробки и разноцветных блоков разной формы и размера. Пользователь ведёт общение с SHRDLU, используя предложения на английском языке и задавая различные вопросы об объектах виртуального мира, их параметрах, взаимном расположении и так далее. Также пользователь может попросить SHRDLU переместить те или иные блоки, для чего SHRDLU оснащён виртуальным манипулятором.

SHRDLU был написан на языке программирования Micro-Planner — подмножестве языка PLANNER Карла Хьюита, инкорпорированном в Lisp усилиями Сассмана, Винограда и Юджина Чарняка[2024]. В качестве аппаратной платформы использовался компьютер DEC PDP-6, оснащённый графическим терминалом. Позднее в лаборатории компьютерной графики Университета Юты было разработано дополнение к программе, обеспечивающее трёхмерный рендеринг «мира» SHRDLU.

Вот пример диалога человека со SHRDLU:

Человек: Возьми большой красный блок.

SHRDLU: ОК.

Человек: Хватай пирамиду.

SHRDLU: Я не понимаю, какую именно пирамиду вы имеете в виду.

Человек (передумав): Найди блок, который выше, чем тот, который ты держишь, и помести это в коробку.

SHRDLU: Я предполагаю, что под словом «это» вы подразумевали блок, который выше, чем тот, который я держу.

SHRDLU: ОК.

Человек: Что лежит в коробке?

SHRDLU: Голубая пирамида и синий блок.

Человек: Что находится под пирамидой?

SHRDLU: Коробка.

Человек: Сколько блоков не в коробке?

SHRDLU: Четыре.

Человек: По крайней мере один из них уже, чем тот, который я сказал тебе взять?