На свете существует примерно два с половиной способа определить интеллектуальный уровень и/или объем знаний человека при помощи экзамена.

Первые полтора с успехом использовались на необъятных просторах нашей образовательной системы: экзаменатор, будучи заведомо умнее экзаменуемого, проверяет его кругозор посредством устной беседы. «Полтора» способа упомянуты мной потому, что устную беседу можно замаскировать под письменный экзамен (который суть не что иное, как записанный на бумагу устный монолог экзаменуемого). Минусов у этого способа не счесть: экзаменатор может быть глуп, предвзят, некомпетентен, субъективен; экзаменаторов требуется почти столько же, сколько экзаменуемых; для сдачи экзамена необходимо прибыть к месту его проведения. Наконец, подготовиться к такому экзамену фактически невозможно, поскольку экзаменатор всегда может (пусть даже не по злому умыслу) задать вопрос, выходящий за рамки тестируемого объема знаний. Короче, влияние человеческого фактора слишком велико, чтобы можно было говорить об объективности оценки. Я в этом, кстати, имел честь убедиться (http://mudasobwa.ru/post/show/32) на собственной шкуре.

Иной подход заключается в тестах по принципу «multiple choice». Недавно, например, российская средняя школа перешла на этот вариант на выпускных экзаменах. Если вы живете на Фарерских островах, спросите гугл про «ЕГЭ» для подробностей. Плюсов, казалось бы, масса: объективность, равные шансы экзаменуемых, не зависящие от личности экзаменаторов, заведомая сбалансированность вопросов, и так далее. И, все же, недовольных оказалось слишком много, чтобы признать переход на ЕГЭ однозначно удавшимся. Слишком многие результаты не совпадают с интегральной оценкой экзаменуемого за весь процесс обучения. Я попытался понять, в чем же тут дело. А дело, мне кажется, вот в чем.

Мало кто в наше время не слышал про загадку Эйнштейна . Суть приписываемого гениальному физику утверждения заключается в том, что мозг обычного человека способен оперировать одновременно всего лишь тремя-четырьмя сущностями. Умные люди способны удерживать в голове одновременно пять закономерностей. Если это утверждение кажется вам нелепым, попробуйте переформулировать задачу о домах — для четырех сущностей — и убедитесь в том, как легко ее решить. Сам Эйнштейн, говорят, был способен делать выводы на основе семи объектных связей.

Я, в свое время, был весьма озадачен наличием столь резкой границы между гениями и дураками. Мне казалось, эта грань должна быть размыта гораздо сильнее. Тогда я придумал свою задачу с нечеткими входными условиями, на решении которой тренировался сам — меняя исходные данные. Мне эта задача до сих пор представляется весьма наглядной иллюстрацией тезиса Эйнштейна, кроме того, с ней можно забавляться где угодно и когда угодно — поэтому приведу ее, пожалуй, целиком.

    Придумайте три любых художественных произведения, в которых количество главных героев равно двум (если их больше — не беда, выберите двух). Например: «Мастер и Маргарита» (Маргарита, Мастер), «Дон Кихот» (Дон, Дульсинея), «Анна Каренина» (Анна, Вронский). Теперь пережените их в уме так, чтобы не осталось ни одной оригинальной пары и не возникло инверсных пар (Каренина—Мастер, Маргарита—Вронский). Второе условие необходимо для того, чтобы задача не разваливалась на несколько простейших с двумя парами.
    Решили за секунду? — Естественно. Теперь добавьте еще одно произведение. Повторите переженивание.
    Сложнее в разы? — Ага.
    Пять пар перемешать в уме уже весьма непросто. Не верите? — Попробуйте.

Эта задача проще задачи о домах, поскольку связь между объектами всего одна (кто с кем), а у Эйнштейна были животные, дома, цвета, напитки и спорт. То есть, количество комбинаций факториально, а не удвоено.

Так вот, вернемся к тестам с выбором ответа. Основная проблема этих тестов — переполнение буфера. Да, да, я не тронулся умом. Отвечая на каждый вопрос, экзаменуемый вынужден загружать в буфер своей кратковременной памяти пять сущностей: вопрос и четыре ответа. Ответив же, необходимо эти пять сущностей выгрузить, перед тем, как перейти к следующему вопросу. Иначе произойдет интерференция вопросов (помните, мозг нормального человека способен оперировать лишь пятью сущностями). Средняя школа, очевидно, выгружать из кратковременной памяти бесполезную ерунду не учит — потому результаты ЕГЭ зачастую отражают не объективную картину.

Я не претендую на истину в последней инстанции, но версия представляется мне красивой.