Category: it

Category was added automatically. Read all entries about "it".

Белоснежка и семь мифов про AI

В начале ноября на питерском кинофестивале "Мир знаний" устроили научный квартирник по разоблачению мифов об искусственном интеллекте. Жаль, видеозаписей не было, хотя само место - Цифербург на Фонтанке - очень симпатичное для съёмок: это комплекс старинных зданий, превращенный в нечто среднее между кафе, сквотом и совокингом (совокинг - это как совок, только для хипстеров).

Зато мне прислали фотку, сделанную на том квартирнике. Фотка прекрасно отражает всё то, что я думаю о "бурном развитии искусственного интеллекта" - поэтому с неё и начнём:

lexa-AI-discussion

Полностью пересказывать содержание дискуссии мне лень. Но одну забавную идею запишу. Я почти всегда забываю озвучить эту идею во время выступлений про AI. Но мне про неё всегда напоминают, задавая вопросы в конце. А само выступление без этой идеи обычно получается довольно пессимистичным. Например, я рассказываю такие мрачные вещи:

(1) Выход машинного обучения из стерильной лаборатории в большой реальный мир почти всегда сопровождается ростом ошибок на два-три порядка. А поскольку самый мощный надзор за гражданами с использованием искусственного интеллекта происходит в либеральных и демократических странах - то именно в этих странах ожидается большинство косяков.

(2) Самостоятельный AI - сказка для домохозяек. На деле, почти во всех случаях системы искусственного интеллекта требуют поддержки в виде целой армии человеческих рабов: асессоры в поиске, слухачи в голосовых помощниках и др. Про это не пишут в рекламе AI-продуктов, потому что следующая логичная мысль - а будет ли галера плыть, если рабы вдруг бросят вёсла?

(3) Работу нейронных сетей почти невозможно интерпретировать: дрессированные мышки не умеют говорить. Это значит, что вы не понимаете, как принято решение и почему возникла ошибка. Поэтому нейросети легко взламывать и обманывать, особенно с учётом того, что их разработчики почти никогда не тестируют свои поделки на "враждебное поведение". Зато они выкладывают коды своих ML-моделей в свободный доступ (даже Microsoft), а для обучения используют публичные датасеты, собранные хрен знает кем (прекрасный кейс - "отрезанные пальцы Тинькова");

(4) Самоходных роботов более ста лет изображали в фантастике, но они не появились среди нас. И на то есть веские причины. По тем же причинам беспилотные автомобили - это не про транспорт. Это скорее проект по сокращению численности населения на основе спортивного отбора. Чаще всего беспилотники будут врезаться в неподвижные объекты - и для этого тоже есть простое техническое объяснение. Так что если вы собираетесь жить в городе с беспилотниками, начинайте тренировки по бегу уже сегодня. (Некоторые попытаются скрыться в метро, но это всё равно что надеть на голову микроволновку. А вы не знали? - в метро реализуется другая техника сокращения населения, под названием "бесплатный WiFi").

(5) Искусственный интеллект, который "скоро превзойдет человеческий" - это рекламная выдумка чокнутого пиарщика из Гугла. Тот же чокнутый дедушка обещал, что в 2020 году (т.е. сейчас) в наших телах поселятся нанороботы, поправляющие наше здоровье (ничего подобного не существует даже в проекте, хотя в США уже потратили $20 миллиардов на "разработки в области нанотехнологий"). Поэтому правильный перевод всей этой сингулярности на русский язык звучит как слоган Незнайки на Луне: "Коротышки, покупайте акции Общества Гигантских Растений!".

(6) Вообще, технологические прорывы остались в прошлом. Удивительно, но это факт. Электричество и радио, автомобиль и самолёт, атомная энергия и космические станции, компьютер и Интернет, пластик и гормональные контрацептивы - ничего такого прорывного не придумано в XXI веке. Это касается и алгоритмов машинного интеллекта: они все из хрущёвских времён. Отчего же возник такой AI-бум сейчас? В основном благодаря количественному росту Интернета, то есть огромных объемов данных. Но время бесконтрольного шпионажа проходит - например, из-за законов типа GDPR. А публичные данные теперь сильно замусорены и фальшивы. В начале 2000-х около 70% контента в Интернете было оригинальным, а сейчас - лишь около 7%. Ну и какое обучение будет на этом мусоре?

(7) Все вышеописанные AI-алгоритмы, даже будучи кривыми и опасными, всё равно будут активно размножаться в нашей техногенной монокультуре (благодаря чокнутым пиарщикам). Поэтому нужны правила безопасности - но не в виде азимовских "законов робототехники", предписанных роботам (это всё равно, что предписать этический кодекс деревьям и мышам). В первую очередь правила безопасности относительно машин должны быть закреплены в правах и обязанностях людей. Например, право в любых случаях знать, общаешься ли ты с роботом или с человеком, право получить человеческий аналог любого робосервиса и право отключить любую вредоносную машину.

...ну и так далее.

И вот после того, как я вволю оттоптался на тупых роботах, мне обычно задают вопрос - неужели не ожидается совсем ничего хорошего от искусственного интеллекта? Людям хочется увидеть Белоснежку, а не только уродливых гномов. И в этот раз модератор дискуссии тоже спросил - скажите напоследок, какие могут быть позитивные открытия в этой области?

Collapse )

либеральный надзиратель

"Есть такая инфа, что бюджет Пентагона в 20 раз больше, чем бюджет Минобороны РФ. Поэтому каждый раз, когда в новостях рисуют "российского хакера", полезно представлять напротив него примерно 20 американских хакеров, которые атакуют нас прямо сейчас."

Я написал это больше года назад, и некоторые читатели задались вопросом, откуда автор взял столь прямую связь между военными расходами и количеством хакеров. Правда, в том посте был намёк на ответ (карта кибератак, статистика), но некоторым людям всё ещё неочевидно.

Недавно появился другой интересный пример корреляции с тем же военным параметром. Международный исследовательский центр Carnegie выпустил отчет под названием "Глобальное распространение слежки на основе искусственного интеллекта". Исследовано применение нескольких технологий тотального надзора, включая системы распознавания лиц и необычной активности, AI-детекторы лжи для тестирования иммигрантов на границах, полицейские системы анализа данных для "предсказания преступлений" и др.

По словам авторов отчёта, они сами удивились результатам. Ожидали, что это будет история только про Китай и какие-нибудь ближневосточные деспотии. Оказалось, что нет. Массовая слежка на основе искусственного интеллекта уже применяется в 51% "демократических" стран. А среди "авторитарных" режимов этот показатель существенно меньше (37%).

Кроме того, не только китайские, но и американские компании (IBM, Palantir, Cisco) сейчас активно продают свои системы AI-слежки в страны третьего мира. Помогают в этом бизнесе и другие "либеральные" страны - Франция, Германия, Израиль, Япония.

Ну и основное наблюдение - распространение высокотехнологичной слежки за гражданами не связано с политическим режимом, зато оно сильно коррелирует с военными расходами страны:

Military spending strongly correlates to AI surveillance spending. 40 of the world’s top 50 military spending countries also use AI surveillance technology.

Кстати, на сайте вместе с отчётом есть интерактивная карта, где можно выбрать страну и посмотреть, какие компании являются там основными поставщиками систем AI-слежки. В России, по их данным, рынок надзора делят американцы и китайцы. Список основных игроков - Cisco, Huawei, Analytical Business Solutions, NtechLab, Speech Technology Center. Правда, последние три компании из этого списка считаются как бы "российскими". Но может, мы просто не всё знаем про них? Либо у них такая несущественная доля рынка, что их просто не различают на фоне американо-китайской слежки.

Update: Уже после публикации этого поста узнал, что сегодня - 70 лет блоку НАТО. Ну да, прямо что-то в воздухе.

мочить искусственный интеллект

В Питере с 1 по 5 ноября будет проходить кинофестиваль "Мир знаний". Программа большая, там есть даже такое детское мероприятие, как "мастер-класс по программированию от Минобороны". Видимо, дети будут собирать боевых роботов и тут же тестировать на почтенной публике.

Что же касается меня, то я планирую выступить на "Научном квартирнике", где буду разоблачать мифы об искусственном интеллекте.

Так что если вы в Питере в ближайшее воскресенье - заходите.
Начинается квартирник 3 ноября в 18 часов в "Цифербурге" (Набережная Фонтанки, 20).
Насколько я понял, вход бесплатный, но нужно зарегистрироваться.


krokodil

русское обратное

Не перестаю удивляться тому, как программисты загадили русский язык своими автоматическими переводами. Уже не раз писал об этом - и про дурацкое слово "приложение" (нечто вторичное, не основная часть), и про "межсетевые экраны" (нечто хрупкое и открытое, вместо оригинального значения "защитная стена").

А сегодня услышал ещё одно такое машинное клише: "обратная разработка". Сразу представилось, как звучали бы аналогичные конструкции с другими процессами:

"В результате землетрясения здание подверглось обратному строительству"
"Мачеха смешала бобы с чечевицей и велела Золушке проделать обратное смешивание"
"Солдат должен уметь собирать и обратно собирать автомат"


Хотя, казалось бы, чего проще. Если в программировании слово engineering означает создание кода, то reverse engineering - это восстановление кода. На худой конец, просто раскодирование. Но нет, они продолжают везде лепить "обратную разработку". Ещё немного, и хакеров начнут называть "образрабами".

Конец искусственного интеллекта

Лекция получилась хорошая, аж на полтора часа. А вот запись подкачала: камера стоит не в самом лучшем месте, слайды бликуют стробоскопически.

Поэтому советую не смотреть, а просто слушать. Там и без слайдов всё понятно.

Впрочем, это мне так кажется. А вы напишите тут в комментах, понравилось или нет. Ниже я вставил запись, которая лежит на "Вконтакте". Можно смотреть то же видео на YouTube.

deadly secure #12


Что-то давненько я не брал в руки шашечку. Пора сделать очередной выпуск новостей адской безопасности. Сегодняшняя тема - как косячит искусственный интеллект, о котором так много кричали пиарщики, замаскированные под учёных и журналистов.

"Девочку с камерой видел? Прикинь, чего придумала: модельное агентство без моделей. Главный инструмент – софтина для распознавания лиц. Она просто находит в соцсетях похожих людей по фоткам, на заказ. Может подогнать тебе копию любой знаменитости. Мы с ней на конфе пару минут всего трепались. Я в шутку сказал, мол, нужно ролик сделать для одного банка, хорошо бы туда Брюса Уиллиса... И вот гляди, она его прям живого привела. Мужик грузчиком работает. Можешь себе представить, сколько бы стоила съемка с реальным Брюсом? А тут буквально копейки" ("Верёвка")

(1) Реальность, как всегда, оказалась шизовее моих прогнозов: полиция Нью-Йорка ловит преступников с помощью фоток знаменитостей. Типа, свидетель говорит: грабитель был похож на Вуди Харельсона из "Прирождённых убийц". Полиция засылает в распознавалку лицо актёра - и находит похожих людей, которых можно назначить преступниками. Профит!

(2) В Сан-Франциско запретили распознавание лиц в полиции и госструктурах. Публика мучается вопросом: а какие же косяки допускала полиция, если им запретили умную машинку? Вот и стали вылезать такие интересные истории, как с Вуди Харельсоном.

Но я думаю, данный запрет - более тонкая многоходовка. Смотрите: студент подал в суд на компанию Apple за то, что его назвали преступником на основе системы распознавания лиц (а он вообще в другом городе был в это время). Конечно же, государственные структуры не хотят постоянно судиться с гражданами за такие косяки. Поэтому власти Сан-Франциско переложили весь гемор на частный сектор. Полиция по-прежнему может использовать результаты распознавания, полученные от частных компаний (как стороннюю экспертизу, дополнительные свидетельства и др). Но в случае косяка под суд пойдёт именно частная компания, а не госструктура. И никто не будет кричать про "полицейское государство". Ловко, да?

(3) Израильская полиция арестовала и несколько часов допрашивала палестинца, потому что автоматический переводчик Фейсбука ошибся: фразу "с добрым утром" машинка перевела как "уничтожай их". Ну, это вам не Америка, конечно. Судиться палестинец не станет. Хорошо хоть не расстреляли сразу, и на том спасибо.

Кстати, все уже в курсе, что именно Израиль первым в мире ответил ракетным ударом на попытку кибер-атаки? Пора уже ввести такой научный термин, как "еврейская справедливость". Просто чтобы не говорить длинные фразы типа "превентивная ядерная бомбардировка, вызванная религиозной истерикой на основе ошибки автоматического переводчика".

(4) Помните, в прошлом выпуске deadly secure я рассказывал про сервис "умных замков", который обещал работать на основе распознавания лиц - а на самом деле распознаванием занималась армия украинских гастарбайтеров? В целом это конечно лучше, чем полностью автоматизированная "еврейская справедливость". Однако гражданам не нравится надзор. И теперь вот такая движуха в моде: требовать через суд металлические ключи взамен умных ключей..

Тем временем оказалось, что прослушкой под видом искусственного интеллекта занимаются все кому не лень. Началось с разоблачения Amazon Alexa, потом добавились Google, Samsung, Microsoft. Все они вас слушают с помощью специальной армии прослушивателей-людей.

(5) Умный автомобиль больше часа не выпускал пассажиров, потому что обновлял ПО. Здесь самое время рассказать, что в этом году «Яндекс» собирается выпустить на дороги сотню беспилотных машин. Крутизна, инновации! А всё потому, что в России юридические заморочки не мешают прогрессу. Вон глядите, в прошлой новости западные люди так переживают, что Alexа их прослушивает - могут даже засудить Amazon. А спроси у кого в России: прослушивает ли вас "Алиса", куда она отправляет записи? Да ну нафиг, никому не интересно.

Точно так же и с беспилотниками будет. На Западе публика как-то парится по поводу того, что беспилотная Tesla сбивает людей. Они там даже проводят специальные исследования - кого лучше сбить, старушку или спортсмена? А у нас вместо этих заморочек - реальный прогресс беспилотности. Потому что Россия - свободная страна. Для роботов, я имею в виду.

(6) Сходил вчера на конференцию по безопасности PHDays, чтобы наконец приобщить к теме своего младшего - Лёву. Вроде ему там понравилось: в этом году была большая детская секция с мастер-классами от Coddy School.

А сам я в это время послушал доклад компании Microsoft про машинное обучение. Они там рассказывали, что выкладывают все свои ML-модели в свободный доступ. Ну я и спросил докладчика - а ничего, что общедоступные ML-модели гораздо легче взламывать? В ответе услышал, что большинство хакеров - школота, а для взлома машинного обучения надо быть очень продвинутым. Отличный ответ для хакерской конференции, где в соседних аудиториях идут доклады про взлом искусственного интеллекта.

Кстати, это вообще тема года на конфах по безопасности. Для красоты оставлю тут ссылочку на взлом распознавалки с помощью цветного квадратика (перестаёт распознавать человека вообще). Предприимчивые дизайнеры одежды уже могут выпускать платьица с таким паттерном. "Я полагаю, что всё это следует шить", как пел Окуджава Никитин в те времена, которые назывались AI Winter.

person-detector-hacked

(7) Ну и наконец, немного персонального вклада в борьбу с роботами:

Моя лекция "Конец искусственного интеллекта"
состоится в следующий четверг 30 мая в 19:00
Место: РАНХиГС  (метро "Парк Культуры", Пречистенская набережная 11, стр. 1.)
Чтобы попасть на лекцию, нужно зарегистрироваться по ссылке (внизу страницы).

Прошлые выпуски deadly secure: 11 | 10 | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | первый.

закат искусственного интеллекта


"Главным спикером оказался писатель, журналист и футуролог Алексей Андреев." (Год литературы)

"Оказался" - это правильное слово: специально выступать я не собирался. Но раз уж спрашивают, почему бы не ответить? В итоге, слово за слово, я как-то незаметно ответил на четыре главных вопроса русской интеллигенции:

- Почему всё современное худло должно называться "фантастикой", особенно когда мы сравниваем Акунина и Толстого,
- Почему американской фантастике было трудно догнать советскую с помощью такого унылого религиозного бреда, как "Космическая Одиссея" Кларка-Кубрика,
- Почему настоящих научных фантастов так мало, и зачем надо читать Оливера Сакса вместо распиаренных футурологов типа Рея Курцвейла,
- Почему "золотой век искусственного интеллекта" находится уже в прошлом, а не в будущем, и какую потребность на самом деле реализуют фильмы о человекоподобных роботах.

В общем, разговор получился весёлый - смотрите видео. Помимо моих набросов, там ещё много интересного было - например, Артём Зубов про афрофутуризм и Джона Ури. Но публика особенно завелась на последнем вопросе про AI, что ещё раз доказывает - промыть людям мозги в наше просвещённое время так же легко, как в мрачное средневековье.

buduschee-vremya

зачистка лимонов

Когда англососы выдумывают псевдо-русские поговорки, это можно отнести к художественному творчеству. А когда они не могут правильно перевести слово "Russian", можно заподозрить политическую провокацию. Но тут на днях мы наблюдали пример совсем чистого идиотизма - когда освоить русский язык пыталась пищевая журналистика.

Журнал Forbes решил порекламировать калифорнийские лимоны - которые, понятное дело, нахрен никому не нужны в нашей Азии, где своих лимонов завались. Но продажная журналистика - упоротая машинка. Ей заказали - ну она и побежала сочинять о том, как в Азии любят чужие цитрусовые. В итоге вышла статья с заголовком "Хочешь найти богача в России? Ищи лимоны". А в тексте было сообщено, что "богатые русские включают лимоны в свой образ жизни, чтобы продемонстрировать свои большие возможности".

В России это вызвало вполне понятный ржач, многие СМИ отметились статьями. Но кажется, никто из отечественных журналистов (кроме моей умной Маши) не заметил, что байка скорее всего родилась из машинного перевода. Потому что лимонами у нас называют совсем другие лимоны. Но журнал Forbes - это вам не фунт лингвини. Видимо, эти блондины просто набрали в поиске "лимоны Россия", и добрый робот Гугла открыл перед ними удивительную корреляцию: у русских богачей имеются лимоны.

Наверняка в следующей статье Forbes собирался копнуть глубже, в сторону консервированных лимонов (как известно, русский богач хранит свой лимон в банке). Но увы, кто-то настучал им в репу раньше времени. Вчера статью исправили, включая заголовок. Оригинал всё ещё можно увидеть через Archive.org. Но и там с моим браузером происходит странное: статья видна буквально на 30 секунд, а потом вместо неё просто белый экран. Вот и гадаю теперь, кто так умело прячет рекламный идиотизм - то ли дотянулся кровавый Роскомнадзор, то ли обсмеянная индустрия пиндостанских цитрусов бросила все свои технологии на блокировку идиотской статьи.

deadly secure #10


Сегодняшняя десятка новостей безумной безопасности посвящена штучкам, без которых современный человек жить не может - хотя всего 30 лет назад все спокойно жили без них. Ну, такое уж гибкое существо - человек. Как говорила наша детсадовская воспитательница в песочнице: всё, что можно слепить из говна, можно слепить и из человека.

# Полицейским рекомендуют не смотреть на новые айфоны подозреваемых - иначе мобилка блокируется, увидав чужое лицо. Это только начало: в следующей версии Сири будет громко кричать "Убери от меня руку, мент поганый!" - и подавать электричество на корпус.

# Зарядка для айфона может грабить владельца. Мой старший сын считает, что их будут грабить проще - через фальшивые USB-розетки, которые появились в разных публичных местах Москвы. Но даже эта угроза кажется слишком навороченной. А простой советский школьник работает ещё проще, потому что банкомат позволяет грабить следующего человека в очереди.

# "Яндекс.Деньги" выпустили карты без персональных данных на лицевой стороне. Теперь обычный день телефонной поддержки клиентов Яндекса звучит так: "Вы просто переверните карту... Переверните... Надо просто перевернуть... Да переверни же, идиотка!!!"

# Наркодиллеры доставили в тюрьму гашиш с помощью дрона - но при этом сняли на камеру дрона и себя, и свой дом, и свои машины. Всё-таки селфи - заразная болезнь.

# 90-летнего старичка-убийцу выявили благодаря Фитбиту. Там же история о том, как другого старичка-разбойничка выдал кардиостимулятор. Вообще напрашивается интересная идея про ЗОЖ... но тсс, не будем об этом.

# Российский сисадмин взломал 100 000 роутеров MikroTik - и пропатчил их. Тут все советские люди конечно вспомнили детский анекдот, где фигурировала записка: "Девочка, не бойся! Телеграмма отправлена, а твои трусы выстираны. Тимур и его команда".

# Умные маски для сна существовали давно - это просто ещё один способ продать наушники. Но теперь их будут ещё успешнее продавать как устройство для одиночества в офисе. Правда, главным достоинством называют то, что устройство блокирует периферийное зрение. А надо, чтобы оно и шею блокировало, и ноги. А то ведь офисный работник может повернуться!

# Мобильное приложение Avast Mobile Security показывает пользователю, как много жизни он прожигает в смартфоне. Правильной дорогой идёте, товарищи! Следующий шаг подсказывают страшные картинки на пачках сигарет. Нужно такие же выводить на экранах мобилок в качестве несменяемых обоев: рак, слепота, импотенция, и дальше по списку.

# Для идентификации можно не сдавать ДНК самому - если сдали многие другие, вас и так найдут. Тут очень кстати вспоминается история о том, как ФБР искала серийного убийцу по одинаковым ДНК-следам, найденным на вещдоках из нескольких разных дел - а потом оказалось, что это ДНК уборщицы.

# В клинике Техаса запустили в работу роботов-медсестёр. А чтобы вы не думали, будто этот киберпанковский кошмар грозит только больничкам Пиндостана, предоставим слово профессору Коренькову, директору IT-лаборатории Института ядерных исследований. Этот ядерный старикан на голубом глазу и без закуски заявил: "Пока нам трудно доверить искусственному интеллекту руль автомобиля, штурвал самолета и скальпель хирурга, но через 10 лет практически во всех странах мира будет законодательно запрещено, чтобы человек водил автомобиль, управлял самолетом и делал операции".

В таких случаях моя жена обычно говорит: "А вот если бы ты стал профессором, ты тоже мог бы нести полную херню за те же деньги!" Она, правда, не говорит, буду ли я при этом иметь доступ к ядерным исследованиям, как вышеописанный сумасшедший.

Прошлые выпуски deadly secure: 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | первый.