Тот ещё Шелли (lexa) wrote,
Тот ещё Шелли
lexa

Category:

фрикономика нейросетей

Год назад написал статью "Вас атакует искусственный интеллект", про некоторые опасные тренды в развитии всяких ацких ботов. Но вскоре заметил, что в статье не хватает кое-чего важного.

Нет, все описанные там тренды - они вполне реальные. К примеру, статья кончалась обещанием, что искусственный интеллект будет изрядно отуплён человеческой политкорректностью. И этот прогноз вполне сбывается: недавно Google запретил своему интеллекту распознавать горилл. Ну или вот другой пример: беспилотный Uber раздавил гражданку в Аризоне. Было про это у меня в статье? Было.

Но один серьёзный тренд в той статье всё-таки упущен. Потому что я, как известно, поэт. А поэты всегда забывают про такую пошлую земную вещь, как деньги. Да-да, я забыл написать парочку тёплых слов про экономику искусственного интеллекта. Сейчас исправлюсь.

Как раз недавно хороший повод случился. В блоге ivanov-petrov встретилась мне такая цитата:

"К нам недавно приезжал президент KAIST, Корейского института передовых технологий — самого продвинутого вуза Южной Кореи. Он рассказывал, что европейцы не понимают, каким шоком для корейцев была победа в го программы AlfaGo над их чемпионом, потому что каждый кореец прекрасно понимает, что эта игра не счетная, она на интуицию. Для них го — важный элемент образования, там с первого класса факультатив по го, почти обязательный. Они считают, что это очень сильно влияет на развитие интеллекта. Победа машины в го настолько их потрясла, что искусственный интеллект практически сразу был объявлен приоритетом номер один в Южной Корее — и сейчас это действительно так".

Для начала я там же в комментах и пошутил: а вот была бы потеха, если бы выяснилось, что корейскому чемпиону ненавязчиво приплатили за проигрыш. Не то чтобы я против нейронных сетей. Однако же тут просится очень наглядная фрикономика, которую никто почему-то не озвучивает.

Стоимость некоторых проектов с нейронными сетями (типа AlphaGo) уже сравнима с космическими проектами NASA. Но при этом товарищам из NASA нужно очень наглядно отчитываться - долетели до Марса или не долетели. И все умники из других стран смотрят в телескопчики, слушают эфир, могут проверить. "Челенджер" вот в прямом эфире на весь мир взорвался.

А нейросетям что нужно для освоения миллиарда? Предъявить парочку проигравших чемпионов? Показать распознавание парочки лиц? Ах да, ещё парочку автомобилей, ползающих по пустому городку на автопилоте. Слушайте, ну это же детсад. Организовать фальшивый набор "достижений" загадочных нейросетей (кто их видел?) - гораздо дешевле, чем фотошопить высадку на Луну в те времена, когда не было Фотошопа.

На этом месте товарищи по палате конечно скажут мне, что некрасиво обвинять великих учёных, если у тебя нет конкретного кейса. И я честно признаюсь, что не разбираюсь в устройстве мировых ассоциаций игры в Го. Сколько человек там надо обыграть, чтобы целая страна типа Кореи сделала ИИ "приоритетом номер один" и закупила гугловскую го-программу для каждой сельской школы? Достаточно ли двух растиражированных побед AlphaGo над двумя чемпионами, или надо обработать ещё десяток чемпионов? Нет, точных цифр по цене вопроса у меня нет.

Поэтому я вам другой кейс расскажу. Уже раскрытый, так сказать. И гораздо более практичный, чем абстрактная игра в камешки (все вменяемые люди прекрасно понимают, что настольная игра с абсолютно формальным машинным интерфейсом и железными неизменными правилами - будь то шахматы или Го - не имеет никакого отношения к реальной жизни, и потому довольно глупо считать, будто какая-то из подобных игр развивает человеческий "интеллект" или "несчётную интуицию"; если вы хотите развить у детей интеллект - лучше играйте с ними в футбол).

# # #

Итак, вместо скучного квадратного поля со скучным бинарным набором камешков представьте себе молодую антивирусную компанию, которая заявляет, что она первая применила методы искусственного интеллекта для выявления вирусов. И потому теперь не нужны сигнатуры, эвристики, песочницы, блэклисты и прочие устаревшие технологии безопасности. Все вопросы теперь решает нейронная сеть глубокого бурения. Которая смотрит на полторы тысячи параметров каждого входящего файла - и безошибочно определяет, вредоносный файл или нет.

При этом компания доказывает своё нейросетевое превосходство не на словах, а на красивых выездных шоу. Где каждый желающий может лично убедиться: запускаем несколько известных антивирусов на одинаковом наборе файлов - и кто лучше всех выявляет вредоносные файлы? Ну конечно, антивирус той самой компании.

В результате такого эффектного маркетинга юный стартап огребает огромное количество наград за инновации в 2015-2017 годах, попадает в Визионеры гартнеровского "Магического Квадранта"... и набирает инвестиций примерно на миллиард доларов. Среди клиентов стартапа оказывается даже корпорация Dell, которая предустанавливает данный антивирус на все компы для своих корпоративных клиентов.

При всём при этом, практически до самого 2017 года эта компания НЕ участвует в сравнительных тестах антивирусов, которые проводятся независимыми аналитиками. У тех аналитиков, кто пытается такие тесты проводить, компания отзывает лицензию на свой антивирус. Аналитики, конечно, удивляются. И начинают копать.

И выясняют такую интересную схему. Для своих собственных шоу компания использовала особые образцы вирусов. Это такие вирусы-мутанты, код которых переколбасили специальным упаковщиком (Mpress или VMProtect), чтобы заразу не узнавали антивирусы... все, кроме одного. В коде антивируса данной компании было прописано чёткое правило - если встречается файл, обработанный упаковщиком Mpress или VMProtect, считай такой файл вредоносным.

Проще говоря, компания использовала на своих демонстрациях фальшивые вирусы, специально заточенные под собственный антивирус.

mpress2

Вот такие большие нейронные огурцы продаются в наших нейронных магазинах! Чего только не сделаешь за миллиард... Кто не верит, читайте вот эту статью на Ars Technica, там подробно изложены все трюки этой нейровирусной фрикономики. Американская антивирусная компания, о которой идёт речь, называется Cylance.

Ну а для любителей более тонких психологических игр добавлю, что в книге "Верёвка" авторства Мерси Шелли есть глава "Нейронная сеть", в которой описывается другой красивый трюк "специалистов по анализу данных".

"Он добавил, что по счастливой случайности обладает и некоторыми другими данными по этому кейсу: на прошлой работе в телекоме они предоставляли кое-какие аналитические услуги бизнесу, планирующему открытие новых заведений общественного питания. Ведь мобильники позволяют отслеживать динамику передвижения людей по городу, а также уровень их доходов, ну вы понимаете...

С этими словами очкарик развернул перед Пашей ноут с какой-то красивой картой и начал вещать о битве ресторанных сетей за горячие места в городе, пересыпая свою речь цифрами и всякими словечками типа “диаграмма Вороного”. Паша смотрел на кандидата влюбленными глазами".




Tags: футурология, хайтек
Subscribe

  • бумажный телескоп

    «Слова у нас, до важного самого, в привычку входят, ветшают как платье», писал Маяковский. А я, признаться, регулярно забываю эту простую истину.…

  • книги, которые подрывают

    Все мои прошлые статьи на «Альтерлите» были ругательные, и я решил для разнообразия написать о хороших книгах. Хотя нет, так не…

  • про мобильный календарь

    Давно собирался сделать мобильное приложение из хайку-календаря, и даже разработчики нашлись, которые готовы помочь. Но сам я до сих пор не смог…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 17 comments

  • бумажный телескоп

    «Слова у нас, до важного самого, в привычку входят, ветшают как платье», писал Маяковский. А я, признаться, регулярно забываю эту простую истину.…

  • книги, которые подрывают

    Все мои прошлые статьи на «Альтерлите» были ругательные, и я решил для разнообразия написать о хороших книгах. Хотя нет, так не…

  • про мобильный календарь

    Давно собирался сделать мобильное приложение из хайку-календаря, и даже разработчики нашлись, которые готовы помочь. Но сам я до сих пор не смог…