Книга - Гибридная цивилизация. Москва (2020) – Горный Алтай (2022)

Гибридная цивилизация. Москва (2020) – Горный Алтай (2022)
Виталий Недельский


Эта небольшая книга посвящена размышлениям о том, как искусственный интеллект создается людьми и меняет нас, об угрозах и возможностях нового технологического уклада. Важно развивать то, что делает нас людьми – любопытство и умение мечтать, передавая новому поколению машин рутину.





Гибридная цивилизация

Москва (2020) – Горный Алтай (2022)



Виталий Недельский



© Виталий Недельский, 2022



ISBN 978-5-0056-0792-8

Создано в интеллектуальной издательской системе Ridero




ОГЛАВЛЕНИЕ


Введение. Зачем и для кого эта книга.



Глава 1. Что происходит с искусственным интеллектом сегодня?

– Примеры использования

– Медицина и Биотех (диагностика, разработка лекарств, лечение, операции, выращивание органов)

– Беспилотный транспорт

– Управление городами и производствами

– Управление войной

– Извлечение знаний и аналитика

– Ассистенты

– Юристы

– Секс

– Финансы

– Социальные сети и реклама

– ИИ-кентавры

– Затруднения

– Предвзятость ИИ алгоритмов

– Проблемы с обучением

– Этика/или как наказывать за убийство?

– Люди сами не знают, что такое разум и интеллект

– Доверие к ИИ

– Гонка ИИ

– Направления исследований

– Прогнозы фантастов и футурологов/Будущее не похоже на прошлое.

– Границы возможного/Трансформационный потенциал ИИ



Глава 2. Что происходит с людьми сегодня?

2.1 Образование

2.1.1 Новая нефть – это не данные, а таланты

2.1.2 Изменения образовательного ландшафта

2.1.3 Как можно учиться в столь быстро меняющейся реальности?

2.1.4 Почему люди глупеют?

2.2 Бизнес и экономика

2.3 Государственное управление и политика

2.4 Психика человека

2.5 Психология толпы/масс/коллективов



Глава 3. Эволюция цивилизации

3.1 Типы цивилизаций

3.2 Слияние и взаимопроникновение цивилизаций через технологии и культуру

3.3 Формирование единой общей цивилизации людей

3.4 Формирование общей цивилизации/симбиоза людей и разумных машин

3.5 Новые вызовы и новые возможности этого тысячелетия



Заключение. Что мы узнали и чего мы не узнали. Что делать?



«Истина – свобода души. Мы очень молоды в нашей молодой вселенной и часто не оправдываем ожиданий и теряем честь, пусть даже только в темных углах сознания. Мы деремся, вместо того, чтобы танцевать. Мы стараемся обогнать других, обманываем друг друга и наказываем ни в чем не повинную природу.

Но это не выражает нашей сущности, это просто то, что мы делаем в мире, который сами для себя создали, и ничто не мешает нам в любую секунду изменить то, что мы делаем, и мир, который мы создали.

Во всех действительно важных делах мы едины. В любви и вере, доверии и сочувствии, отношении с близкими и друзьями, закатах и благоговейном пении, в каждом желании, рожденном человечеством, мы едины. Человеческая раса на данном этапе ее судьбы – это ребенок, бездумно и бессмысленно дующий на одуванчик. Но ощущение чуда, испытываемое ребенком, это наше общее ощущение, и нет предела добру, которое мы можем творить, когда человеческие сердца соединяются. Наша истина, наша история и значение слова «Бог» в том, что мы едины. Мы едины. Мы едины».

Шантарам Тень Горы. Грегори Дэвид Робертс.[1 - Шантарам Тень Горы. Грегори Дэвид Робертс.]





ВВЕДЕНИЕ. ЗАЧЕМ И ДЛЯ КОГО ЭТА КНИГА


В прошлом 2019 году я написал и издал книжку под названием «БезЧеловечный бизнес или как выживать в эпоху перемен». В нее вошли материалы из моих лекций последних лет, заметки и мысли, накопленные за время занятий высокими технологиями. Там есть немало про роботов и искусственный интеллект, про долголетие и связанность людей друг с другом, про эволюцию мозга и технологий, промышленные революции и интернет вещей. Из наиболее важного для меня, я бы выделил мысли про роевый интеллект человечества и роевую цивилизацию, страхи людей перед тотальной роботизацией и возможности, которые уже сегодня позволяют продлевать жизнь вдвое по сравнению с жизнью всего лишь одну сотню лет назад. Это воистину чудо. Но еще большим чудом является, на мой взгляд, то, что мистики древности назвали бы Деревом Жизни, наш великий соотечественник Владимир Иванович Вернадский называл Ноосферой, а техно-гики начала XXI века называют приближающейся Сингулярностью. Все эти явления объединяет глубокая и сложная связанность всего мироздания, растущая сложность и спутанность, эволюционирующая Жизнь, где биология сливается с остальной материей на квантовом уровне. В той книге я коснулся эволюции нашего вида – кроманьонцев, и нашего изумительного мозга – величайшей, и пока неразгаданной тайны. Так, в сплаве эволюции и технологий, состоялся небольшой разговор о том, куда мы, как люди, идем. Откуда мы пришли и как мы выращиваем из своего мозга инструменты преобразования Земли и новые коммуникации всех со всеми. Разговор лишь начался, у него много граней и много уровней. Всех точно не коснуться и не объять. Как наше восприятие берет лишь мизерную часть спектра излучений в видимом диапазоне, захватывая немного ультразвука и инфракрасного света, так и наш разговор о настоящем и будущем будет немного спонтанным, выборочным. Выбор определяется жизненным опытом автора и прочитанными книгами, временем на размышления и разговорами с думающими друзьями, вопросами на лекциях и тревогами о грядущих рисках. Это лишь беседа, а не конечное знание, и тем более не проповедь. Проповедующие часто осуждают других. Я же говорю о том, что «других» нет вовсе. Мы все единое целое.

Когда-то уже довольно давно, в круглом 2000-м году я защитил в МГУ на философском факультете диссертацию по политологии[2 - Недельский В. О. Анализ политического развития современной России. Москва, 2000.]. Политология получилась случайно, только потому что я, выпускник инженерного космического и экономического факультетов МАИ (Московский авиационный институт) познакомился с Александром Сергеевичем Панариным, который возглавлял именно кафедру политологии. Был бы он социологом или культурологом – я бы оттуда смотрел на цивилизацию и этим срезом модулировал бы свою диссертацию.

Поступление в аспирантуру и написание кандидатской стало хорошим поводом для общения с этим незаурядным человеком, ученым, ярким оратором и писателем[3 - Панарин А. С. Искушение глобализмом. Москва. 2000 г.]. А какие тосты он генерировал на банкете по случаю моей защиты! Однако, просто обобщить разные прочитанные книжки и статьи в диссертацию мне показалось слабым, и я задумался на тему того, что же делает политические государственные системы живыми? Это же живые образования, состоящие из живых клеточек – людей, с их планами, мечтами, честолюбием и страхами. Что может показать нам куда двигаются эти системы – к смерти или к жизни? Становятся ли они более сильными и живыми, или постепенно теряют силы и соки, медленно умирая? Поскольку сроки жизни государственных систем гораздо больше, чем жизни отдельных людей, часто в течение даже десятилетий сложно понять, к чему ведет та или иная политика вождей или политических партий. Что стоит за долгосрочными стратегическими планами или тактическими ходами и самое главное – к чему на самом деле они могут привести? Бывает ли так, что решение сиюминутных тактических задач, выгодных конкретным людям или группам, приводит через шаг к гибели всего организма? Так болезнетворный микроб может убить большой организм, всего лишь добывая себе пропитание и размножаясь. Этот вопрос и размышления привели меня к мысли, что можно взять две теории – развития технических систем и теорию биологической эволюции, одна про эволюцию сложных систем, другая про развитие жизни, и попробовать спроецировать критерии развития или увеличения количества жизни на системы политические. Например, рост разнообразия и сложности, свободное протекание информации, ненасильственный выбор, созидательное разрешение конфликтов, гуманизация сознания, исторический оптимизм, развитие науки и образования – лишь некоторые критерии, указывающие на развитие системы и рост ее жизнеспособности. Они распределялись по трем блокам – политическому пространству, достойным способам изменений и блоку жизнеспособности и устойчивости политической системы.

Развитие людей, организаций и целых государств часто идет через кризисы. Несмотря на неприятные ассоциации, кризисы имеют все шансы называться воротами в лучшее будущее, при условии, что мы умеем ими пользоваться. Это умение – тоже признак зрелости. Расплакаться или всех расстрелять при появлении проблем – это детсадовский уровень сознания, личного или государственного. Проблема не исчезает и научения не происходит. Она вернется еще и еще, и будет возвращаться до тех пор, пока мы не поймем, что шишка на лбу образовывается не от неправильно стоящего косяка, а от того, что мы все время не успеваем вовремя наклонить голову. Но спасительное умения относиться к кризисам, как к возможностям понять нечто важное и измениться – вот дар Природы нам, гибким и подвижным как вода существам, способным приспосабливаться самим и менять окружающее пространство. В каждом кризисе, как к хорошо поставленном вопросе, всегда содержится зерно будущего состояния, которому надо лишь помочь прорасти. Более того, как гравитация указывает зерну направление роста, к солнцу вверх и корнями к воде вниз, так и неудобство кризиса показывает нам направление, в каком стоит думать над изменениями. Больные места становятся видны. Нездоровые отношения становятся невыносимы. Заскорузлые институты перестают отвечать требованиям времени. Все это маяки, указывающие путь. Надо лишь набраться смелости и пуститься в плавание.

Эта книга для тех, кто черпает кризисы полной ложкой. Кто переходит из одного кризиса в другой, и если они похожи, задумывается – что я пропустил? Это книга для тех, кто старается осознавать себя, как развивающееся существо, кто хочет завтра быть сильнее и счастливее, чем вчера. Становясь старше, мы теряем часть физических возможностей. Например, быстро бегать или заниматься любовью сутками. Но теряя нечто, мы получаем взамен лучшее, если захотим. Мы начинаем понимать, что именно нам нужно, и теперь не надо быстро бежать в неправильном направлении. Мы ценим отношения, и теперь любовь – это не только секс. Мы сами становимся больше, а для счастья нам нужно меньше, и это неплохо.

Технологии не являются панацеей от всех бед. Более того, может случиться так, что технологии, решая одни задачи, приносят с собой новые проблемы. Это лишь инструменты, которые кроманьонцы учатся использовать, чтобы делать свою жизнь немного лучше. Но что такое лучше? Конечно, сначала идут задачи выживания – еда, вода, тепло. Но когда это все есть, что дальше? Направлений развития может быть множество. Можно строить технократическую цивилизацию, где любое желание человека будет немедленно удовлетворяться. Как у Жванецкого, тьфу – плевательница. Возникает новая проблема – нечего желать. И еще одна – атрофия врожденных способностей за ненадобностью, поскольку ничего не надо добиваться. И как следствие – гибель. Значит ли это, что не надо совершенствовать технологии? Думаю, что не значит. Пространство возможностей лежит между полюсами дауншифтинга и постоянной борьбы за жизнь. В качестве вдохновляющей меня фразы и завершая вступление, приведу слова одного из ведущих китайских стратегов в области искусственного интеллекта Кай Фу Ли: «Искусственный интеллект появился здесь, чтобы освободить нас от рутинной работы, чтобы сделать нас людьми, чтобы помочь нам любить друг друга»[4 - https://youtu.be/ajGgd9Ld-Wc (https://youtu.be/ajGgd9Ld-Wc) How AI can save our humanity | Kai-Fu Lee]. Этими словами я закончил свою первую книгу и ими же, как мостиком, хочу начать следующую.




ЧТО ПРОИСХОДИТ С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ И ЛЮДЬМИ СЕГОДНЯ?





ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ?


Из всего возможного спектра технологий, которые бурно развиваются сегодня, я выбрал в качестве драйвера изменений в цивилизации искусственный интеллект (ИИ). Причин несколько. Одна из причин – я вместе с партнерами и коллегами развиваю компанию, которая использует искусственный интеллект в одной из наиболее проблемных зон здравоохранения – редких заболеваниях[5 - www.semantic-hub.com]. Мне бы хотелось получше разбираться в этой области. Вторая причина – человеческий интеллект привел нашу цивилизацию в эту точку времени и развития. Усиленный рычагом искусственного интеллекта, наш разум совершит рывок, выводящий нас за сегодняшние пределы. Таким образом, возможно, это одна из ключевых технологий новой промышленной революции. Некоторые сравнивают его с открытием электричества по масштабу воздействия. Но и электричество еще в полной мере себя не показало, например, его восшествие на престол в транспорте вместе ДВС (двигателя внутреннего сгорания) еще только предстоит в ближайшие 25 лет. Сергей Шумский в своей книге[6 - Сергей Шумский «Воспитание машин. Новая история разума. Альпина НонФикшен. 2021.] (Шумский, 2021) пишет, что «ИИ является замыкающей технологией, открывающей возможность перехода к новому технологическому укладу». Третья причина – философско-эволюционная. Я вижу, как объединяется человечество путем глобализации экономики и политики, как интернет соединяет наши умы и чувства, как транспорт сделал земной шар маленьким. Думаю, что ИИ послужит клеем, который соединит людей не просто нитями коммуникаций и обмена лайками, а на гораздо более глубоком уровне нейронных связей, где накапливается знание и память. Процесс соединения людей в человечество – единое существо, а не разрозненных и враждующих между собой людей, подразумевает создание общего разума, общего сердца, общей системы принятия решений, общего целеполагания и поиска ответов на такие вызовы, которые могут уничтожить наш молодой и слабый вид, живущий на маленькой кислородной планете около желтого карлика в дальнем рукаве Галактики Млечный Путь. Речь не идет о слиянии всех со всеми и потере индивидуальности каждого из нас. Речь не идет о создании «Матрицы», в которой мозги и нервные системы людей запитывают нечто более могущественное. Ближайшими и неточными аналогиями, которые приходит в голову являются клетки дерева и само дерево, пчелы и пчелиный рой, горожане и город, граждане и государство, люди и человечество. Я думаю, что постоянно развивающиеся различные ИИ, решающие все более сложные рутинные задачи, на основе обучения, будут образовывать с людьми симбиотические связи – сначала профессиональные, затем личные, а потом и общественные. Речь идет о следующем витке антропогенеза, вслед за открытием огня, благодаря которому термически обработанная пища стала легче и безопаснее перевариваться, а уменьшение нагрузки на пищеварительную систему позволило расти и развиваться мозгу за счет высвобождение энергии и времени. За огнем я бы поставил различные механические инструменты – топор, плуг, рычаг и блок из обработанных металлов, что дало мощный прирост возможностей людей. Благодаря такого рода инструментам мы смогли строить города и добывать себе пищу новым способом, гораздо более продуктивным. Человеческие племена выросли с нескольких десятков людей до сотен миллионов. А это уже совсем другой коленкор. Огнем мы помогли своим внутренним органам. Железными инструментами мы помогли своим мышцам. А с помощью ИИ мы помогаем своему разуму. Наш же разум помогает нам понимать и осваивать окружающий нас мир. Как пишет Рэй Курцвейл в завершающей фразе книги «Эволюция разума» – «Но при любом варианте развития событий разбудить Вселенную и разумно распорядиться ее судьбой с помощью нашего человеческого разума в его небиологической форме – это наше предназначение»[7 - Рэй Курцвейл. Эволюция разума. Как развитие искусственного интеллекта изменит будущее цивилизации. Бомбора. Москва. 2020.].

И вот сегодня началось массовое применение новых интеллектуальных и когнитивных инструментов. С помощью ИИ мы снова можем помочь своим внутренним органам – через медицину нового поколения, о чем поговорим ниже. Далее, через создание новых инструментов – роботов и другого интеллектуального оборудования помогать нашим рукам. И еще дальше – через создание новых способов добывать и накапливать знание, ключевой ресурс цивилизации, мы поможем развивать нашу разумность. И я бы добавил еще одно – важное. Освобождение человека от выживания, от отупляющей рутины, дает ему возможность развивать в себе человеческое, даже так – лучше понять свое человеческое. Что отличает нас от роботов и от ИИ? Что мы делаем лучше сейчас и будет делать лучше в будущем? В этом давайте разберемся.




ИИ КЕНТАВРЫ


Одно из наиболее значимых событий в области ИИ для меня в прошлом году была статья Сергея Карелова в Medium, где он ведет колонку[8 - https://medium.com/@sergey_57776/кто-сильнее-в-сложных-играх-человек-или-ии-533832319cdd]. Я не знал про это. Когда в 1996—97 году Гарри Каспаров впервые в истории человечества начал соревноваться с компьютером с позиции чемпиона мира, то случилась интересная история. Сначала он выиграл, потом было три ничьих, а потом проиграл. Играл он с машиной (ИИ) Deep Blue IBM.








Когда проиграл, разумеется, как горячий кавказский парень, сразу потребовал матч-реванш. Но инженеры IBM уже складывали оборудование в коробки и отказались, им было достаточно полученного пиар-эффекта «#ПобеданадчемпиономМира». И тогда Гарри придумал новый чемпионат, который немедленно и объявил. Пусть через год приходят команды шахматистов и шахматных программ. Никаких ограничений. Единственное – правила игры остаются шахматными. И вот собрался этот странный чемпионат, поиграли и получили на первый взгляд неожиданный результат. Победила не команда, укомплектованная сильнейшими гроссмейстерами, усиленная самыми лучшими на тот момент шахматными ИИ, да на самых мощных компах. Нет. Победила команда из двух шахматистов-любителей с тремя разными средней руки шахматными программулинами. А почему? А потому что они поняли, как правильно играть командой. Они задавали вопрос насчет следующего хода. Если мнение игроков-людей и игроков-программ совпадало – отлично, ход готов! Если нет, они задавали уточняющий вопрос. И так могли делать несколько раз, пока снова не достигали консенсуса. Как сказал Гарри Каспаров в своей книге «Deep Thinking»[9 - Garry Kasparov. Deep Thinking: Where Machine Intelligence Ends and Human Creativity Begins. UK, 2017. https://goo.gl/OwuOcW (https://www.youtube.com/redirect?v=zhkTHkIZJEc&event=video_description&redir_token=GTBA3n0XZpKdDTqvWoF_PP8ZjjF8MTU3ODIyODUyOEAxNTc4MTQyMTI4&q=https%3A%2F%2Fgoo.gl%2FOwuOcW)] и в последующем интервью Talks to the Google[10 - https://youtu.be/zhkTHkIZJEc (https://youtu.be/zhkTHkIZJEc)] – есть три составляющие: люди, компьютеры и интерфейс, и последний наиболее важен[11 - https://youtu.be/NP8xt8o4_5Q (https://youtu.be/NP8xt8o4_5Q)].








То есть, получилось как в футболе – хорошо сыгранная и дисциплинированная команда из среднего класса игроков обычно побеждает команду со звездой в своем составе. Связана такая особенность с тем, что интеллект не одномерен. Можно придумать много «линеек» разных типов, которыми можно было бы измерить различные виды интеллекта. Интеллект специализируется на тех задачах, под которые он был создан – охота ли это или спасение от хищников, запоминание схронов пищи, решение математических задач или сочинение музыки. «Например, гроссмейстеры сильны в построении долгосрочной стратегии в шахматах, но не в состоянии обозреть наперед миллионы возможных ходов, в то время как обратное верно для шахматных AI. И поскольку люди и AI сильны в разных измерениях интеллекта, объединившись в шахматных кентавров, они могут побеждать и людей, и суперкомпьютеров»[12 - Сергей Карелов. Как стать кентавром. Медиум. 12 марта 2018.].

Вспоминается в связи с этим еще одна история, блестяще описанная в книжке Майкла Льюиса «Человек, который изменил все», и в одноименном фильме, где Бред Питт играет менеджера небогатой бейсбольной команды Окленд Атлетикс. Он впервые в истории бейсбола начал использовать статистику того, как играют игроки. Как они подают, как ловят мяч, как быстро бегут. Обычно селекционеры выбирают игроков за их богатырскую стать и красивую внешность. Эффектная игра также очень хорошо сказывается на стоимости игрока и его зарплате. Но если смотреть на статистику, то найдутся внешне неказистые ребята с хорошими результатами в каждом отдельном способе играть. На них меньше обращают внимание, они теряются на фоне звезд, они стоят дешевле. У Окленд Атлетикс не было больших бюджетов и деваться было некуда. Понадобился лайфхак, при котором команда могла отбирать недорогих игроков, которых другие команды отвергали из-за их небогатого внешнего вида. Вскоре команда достигла отличных результатов за небольшие деньги и начала рвать лидеров чемпионата. Посмотрите фильм, Бред Питт хорош. И хотя главное, на чем он сыграл – это недооцененность игроков со средними внешними данными (или наоборот, переоценённость красавчиков, хотя с другой стороны – это же шоу-бизнес), но для меня важная аналогия – это взаимодополняемость игроков, каждый из которых хорош в чем-то своем, и их взаимодействие, сыгранность, которая позволяла этому каждому раскрыть свой талант. По большому счету – это модель нашего будущего, всех людей. Раскрыть свой талант как можно раньше, развить его как можно дальше, и встроиться с ним в команду, где этот талант позволит достичь выдающегося общего результата. Это связано в том числе с разделением труда, которое так славно описывает Петр Щедровицкий в своих лекциях[13 - П. Г. Щедровицкий. https://shchedrovitskiy.com/publikacii/ (https://shchedrovitskiy.com/publikacii/), https://www.youtube.com/watch?v=cDJSeZxNwss (https://www.youtube.com/watch?v=cDJSeZxNwss)], а также с ранним определением способностей, описанным Борисом Акуниным[14 - Б. Акунин. Трезориум. 2017.] в Трезориуме. Таким образом, важно отметить, что хорошо бы иметь гениальные мозги, еще лучше иметь продвинутую технику с крутым ИИ на борту. Но самым главным может оказаться процесс их координации, создание «сыгранности» для решения конкретных классов задач. А вот это уже творческая задача, а даже вполне может быть, одна из профессий будущего. Этакие продюсеры кентавров. Надо подумать, как лучше их назвать и какие требования могут быть к таким людям. Как минимум и одновременно – хорошее знание психологии, социологии и алгоритмов ИИ. Если немного точнее, надо хорошо разбираться в сильных и слабых сторонах людей вообще и конкретных участниках команды в частности. А также в сильных и слабых сторонах различных ИИ.




Сильные и слабые стороны людей


Даже маленькие дети имеют такое «встроенное» умение различать лица, и в частности, узнавать лицо своей мамы. Также у детей присутствует способность мыслить аналогиями, интуиция, умение ощущать угрозу или, наоборот, нежность – по выражению лица, по интонациям голоса, по позе тела и жестам. Детям присуще любопытство, толкающее их на постоянное исследование окружающего пространства. Они испытывают радость от узнавания нового, поскольку с раннего возраста от появления новых нейронных связей в мозгу вырабатывается дофамин. У нас с вами тоже вырабатывается, просто с годами этот фонтан может немного ослабеть. Но если вы испытываете дефицит радости – вот вам неиссякаемый источник, фактически внутри вас, надо только узнавать новое – новые места в путешествиях, новых людей, новые книги и фильмы, новые знания, новые языки, новые физические навыки типа танцев и т. п.

Что еще является сильной стороной людей? Способность к сочувствию и сопереживанию к другим. Это наше эволюционное наследие стадных животных, когда коллективом выжить легче, чем поодиночке, поэтому выгоднее заботиться о своих. Но такие инстинкты легко понимаются, когда относятся к заботе о детях или членах своей семьи. У людей же способность к состраданию и сочувствию может развиться очень широко и охватить собой любых людей, любых животных, любое живое существо и даже саму планету. Движение экологов тому пример. Также трудно не упомянуть крупные религии с проповедью любви – к Богу, но и к ближним своим и вообще ко всему живому, созданному Богом.

Следствием многих миллионов лет жизни в стаях и племенах также являются развитые навыки социализации – определение своего места в коллективе, социальное взаимодействие, коммуникации. Русский эволюционный биолог и популяризатор науки Александр Марков написал на эту тему хорошую книжку «Эволюция человека»[15 - А. Марков. Эволюция человека. Книга 1. Обезьяны, кости и гены. АСТ. 2011.] про то, сколько всего полезного досталось нам в наследство от наших предков-приматов. Многое из того, что мы считали бы наследием культуры и цивилизации, ученые могут найти в поведении обезьян и что с небольшими вариациями перекочевало в нашу жизнь. Очень любопытно и трудно отрицать. И это наша сильная сторона – способность кооперироваться в группах и коллективах. Сегодня развитие науки и технологий, развитие культуры и общества – это исключительно групповые процессы, в которых по-прежнему велика роль лидеров и выдающихся людей, но не будем забывать, что они стоят на плечах других людей и все свои результаты достигают не в одиночку.

А феномен мышления и разумность? Похоже на то, что мышление возникает не внутри нашего мозга, а «между» людьми, в диалоге, споре, рефлексии[16 - https://shchedrovitskiy.com/soderzhanie-lekciy-chto-takoe-myshlenie/ (https://shchedrovitskiy.com/soderzhanie-lekciy-chto-takoe-myshlenie/)]. Также и разумность, приземлившаяся на наш вид в целом, не делает разумным отдельных индивидов, если они в детстве не имели счастья общаться с другим взрослым человеком. Это известный эффект Маугли. Только в определенном возрасте в мозгу ребенка инсталлируется особое умение разговаривать и общаться, думать на языке. При этом ученые—нейробиологи, специалисты по мозгу, выделяют в префронтальной коре особые зоны, которые активируются при использовании языка. Физическое строение нашего тела и структура нашего мозга во многом определила структуру и сложность нашего языка. Именно поэтому базовые ячейки любого языка примерно одинаковые. Дети интуитивно впитывают в себя язык от взрослых, не задумываясь о тех полочках внутри своей головы, на которые раскладывается грамматика, синтаксис и семантика любого языка. А эти полочки устроены одинаково. Вполне возможно, если бы мы были мыслящими муравьями, то наш язык был бы устроен совсем по-другому. Вообще говоря, у муравьев, как и у пчел и других роевых насекомых, есть довольно сложные языки запахов и жестов (танец пчел, язык запахов муравьев), с помощью которых они объясняют друг другу, где лежит добыча и откуда исходит опасность. Строение человеческой гортани определило основной инструмент коммуникации через голос. Может быть поэтому, когда в мессенджеры встроили возможность передавать голосовые сообщения, мы так на них подсели? Кажется, это даже удобнее. И этим определяется будущий успех голосовых ассистентов, умных помощников в доме, транспорте и работе.

А в чем слабости людей? В относительно маленькой оперативной памяти, которую мы многократно усилили за счет письменности. Конечно, были ребята, которые читали Веды наизусть. Но, сдается мне, что они больше ничем другим не занимались, а только непрерывно освежали выученные тексты. Я тоже как-то зазубрил полный конспект математического анализа за второй курс. Наизусть. В армию не хотелось. Ничего не понимал, но мог в любую сторону с любого места начать писать формулы. Сдал, и через три дня все благополучно забыл.

Письменный язык людям сильно помог, начала накапливаться (и переписываться) история, появились религиозные тексты для объединения людей в более крупные политические и социальные общности, и постепенно в книгах и записях начали накапливаться научные знания.

Физически люди не очень сильные создания. Плоть и кости не самые крепкие материалы на планете. Много не поднимешь и не унесешь. Все это хрупкое и нежное, легко поранить и убить. И даже бригаду землекопов не сравнить с экскаватором. Правда, чтобы сделать экскаватор, должна была сначала появиться математика, затем металлургия и машиностроение.

Срок жизни людей совсем небольшой. Конечно, он вырос вдвое за последние сто лет, и даст бог вырастет еще вдвое в следующий век. Это позволит накапливать мудрость в каждом из нас и передавать ее дальше. Но в целом, все равно, любая книжка имеет шансы прожить тысячелетия при правильном хранении. А в цифровом виде практически бесконечное время, сравнимое с жизнью Вселенной.

Люди эмоциональные существа. С одной стороны, это здорово – сопереживания, мотивация, любовь. С другой стороны, сколько глупостей и ошибок сделано на эмоциях? Где живут базовые эмоции? В лимбической системе древнего мозга, доставшегося нам в наследство от динозавров. Он отвечает за базовые физиологические вещи, типа бей, беги, замри. В миндалинах мозга живет страх[17 - http://strah-trevozhnost-fobiya.ru/0/mozg.php (http://strah-trevozhnost-fobiya.ru/0/mozg.php)], спасительный во многих ситуациях. Как говорят летчики – не боится только идиот. Там же производится и агрессия, обратная сторона страха. «Страх – это беспокойство, раздраженность, гнев, возмущение, негодование, обида, злость, ссора, огорчение, бешенство, ярость, неистовство, возбуждение, напряжение, тревога, нервозность, раздражительность, эмоциональная нестабильность, озабоченность, беспокойство, пугливость, испуг, ужас, паника»[18 - https://pikabu.ru/story/vash_mozg__yeto_mozgksenofoba_i_strakha_5576499 (https://pikabu.ru/story/vash_mozg__yeto_mozgksenofoba_i_strakha_5576499)].

Стыд и вина – височные доли мозга, это открыли, делая МРТ мозга[19 - https://theoryandpractice.ru/posts/9677-karta-mozga (https://theoryandpractice.ru/posts/9677-karta-mozga)], а радость охватывает всю префронтальную кору. Эмоции дают нам ощущения того, что мы живем. Эмоции помогают нам ориентироваться в мире, отвечая за обучение того, что для нас хорошо, а что плохо. Страх помогает нам спасаться от опасности, а гнев – мобилизоваться. Эмоции управляются гормонами, и у кого ломаются машинки по выработке гормонов, становятся больными людьми – бесчувственными сухими чурбанами или наоборот, перевозбужденными невротиками и истериками. Так уж мы устроены. Неплохо бы научиться понимать свои эмоции и управлять ими, хотя бы для того, чтобы другие люди через наши эмоции не управляли нами. Это же похоже на клавиатуру, играя на которой умелый манипулятор заставляет нас чувствовать то, что ему нужно – стыд, вину, страх… и подскажет дальше, что нужно делать. Этим пользуются мошенники и узурпаторы, часто мы манипулируем друг другом в быту и семье, на работе и в бизнесе. Можно сказать, что эмоции в своем негативном смысле – пелена перед нашими глазами, скрывающая истинное состояние дел. Одну и ту же ситуацию мы увидим кардинально по-разному, будучи в гневе или в радости. Мы вообще увидим разное. В этом смысле зависимость от эмоций – это слабость. С другой стороны, эмоции любви дают нам столько радости и красок жизни, что ради этого мы готовы все отдать. Эмоции ведут нас на Эверест, под огонь противника, заставляют самоотверженно строить новое или открывать законы природы. Эмоции сделали нас людьми и было бы глупо отказываться от них. Можно постепенно снижать невежественность, поскольку понимание источников эмоций позволяет людям регулировать свои чувства, уменьшая количество негатива в своей жизни, оберегая себя и своих близких от фатальных ошибок, которые уже невозможно исправить. Частично от этих ошибок нас могут подстраховать технологии. Например, мы используем музыку для поднятия настроения, успокоительные пилюли при перевозбуждении, или круиз-контроль для помощи в вождении машины.

Новые методы сканирования мозга дают нам понимание, какими сложными способами возникают наши состояния и как сильно взаимосвязаны различные системы нашего организма. Сейчас становится понятно, как негативные мысли и эмоции разрушают в первую очередь наше собственное здоровье, хотя об этом давно известно адептам древних учений вроде йоги и даосизма.

В общем, всякая штука может быть полезной или вредной. Эмоции не вредны сами по себе, они наша часть, без которой мы не будем людьми. Даже негативные эмоции нужны, ведь они указывают на проблему. Другое дело, что проблемы не всем хочется решать, а пребывание в негативе может для кого-то стать вполне комфортным способом жить и добывать себе пропитание. Все мы встречались с такими людьми, как правило, «ушибленными» в детстве или несущими наследственный генетический груз. Это не означает, что эмоции плохи. В свете нашего разговора о происходящем симбиозе людей и технологий, каждый вносит в этот союз свою особенность. Для людей это эмоциональная жизнь, эмоциональные оценки, это радость и грусть, гнев и страх, любовь и страсть. Люди придают поступкам и решениям ценность и вес, делают ставки, отделяют хорошее от плохого.

Разумеется, я не перечислил абсолютно все сильные и слабые стороны людей, а лишь те, что пришли мне в голову на январских каникулах. Надо оставить место, чтобы вы сами добавили что-то из того, что делает нас людьми по сравнению с машинами, наши сильные и слабые стороны. И потом, знаете как бывает – наши достоинства часто являются продолжением наших недостатков. Сила может крыться в слабости. Небольшие зубы и когти заставили нас делать ножи и копья. Относительно маленькие размеры помогли нам организоваться в группы и охотиться как единое распределенное существо. Мы умеем превращать наши слабости в сильные стороны – вот удача! Так что, возможно, в свете наиболее оптимального симбиоза, имеет смысл говорить не о слабых и сильных сторонах людей и ИИ, которые могли бы гармонично дополнить друг друга, а о создании новых возможностей из различных свойств участников нашего странного союза. Странного, потому что ИИ берутся тоже из нас, как дети или книги. Как открытые законы природы, они вроде бы существовали и до нас, но только с их познанием и приручением, они становятся частью нашего мира.

Более того, из одних и тех же свойств, но в разной пропорции и сочетаниях можно создавать совершенно разные творения! Это как живые картины из различных красок, с использованием разных инструментов – кистей, пульверизаторов или даже роботов. Художник же не является рабом своей кисти? Или зависимым от кисти? Он зависим от своего таланта, и то, если решил проявить его и посвятить ему часть своей жизни. Число возможностей вырастает бесконечно, как факториал числа элементов. Как мощность нашего мозга и его сложность определяется не сколько сотней миллиардов отдельных нейронов, сколько числом связей между ними (примерно 50 тысяч соединений каждого нейрона с другими).

Уже сегодня наша планета становится постепенно тесной. Конечно, еще есть неисследованный океан, тайны материи, и мозга. Женщины не понимают мужчин и наоборот. Но окружающий нас мир настолько велик, что очень глупо беспокоиться о рамках. Фактически, наши рамки только в нашей голове. Снятие этих рамок и ограничений, помощь в нахождении людям новых возможностей в бесконечном океане соединений с умными машинами и ИИ – вот еще одна интересная специальность или область исследований. Кто-то пойдет широко и опишет весь видимый сегодня ландшафт, как это сделали, например, авторы «Атласа новых профессий»[20 - http://atlas100.ru/ (http://atlas100.ru/)]. Кто-то занимается образованием, меняя его с обслуживания уходящего индустриального уклада, на формирование приходящего нового мира четвертой и пятой промышленных революций[21 - https://youtu.be/E-QBQRxGaiE (https://youtu.be/E-QBQRxGaiE)]. Образованию я хочу посвятить отдельную главу, как важнейшей технологии влияния на будущее.




«Оглупление» людей


Мир на наших глазах становится все более сложным. За этим даже трудно уследить невооруженным взглядом, но аналитика нам в помощь. Вот, например, как за 10 лет расщепилась одна из специальностей:








Можно сказать, что в правой колонке нужные навыки, но зачастую для конкретных проектных задач ищут вот этот функционал. Зачем покупать всю кухню, если нужна кофеварка?

Людей стало больше, и они оснащены индивидуальными устройствами для закачки вирусной информации прямо в мозг. Очень сложно не подготовленному специально человеку, не обладающему и не развивающему навыки критического мышления, отличить правду от сфабрикованной лжи. А ведь есть еще масса когнитивных искажений, часть из которых описана в нестареющем бестселлере Канемана «Думай медленно… решай быстро»[22 - Даниэль Канеман. Думай медленно… решай быстро. АСТ, 2019.]. Ученый получил Нобелевскую премию за исследования того, как именно люди принимают решения и какую роль в этом играет древняя часть мозга, связанная с выживанием и эмоциями, а какую – новая кора (неокортекс), связанная с размышлениями и рефлексией. Со своими научными партнерами он неутомимо в течение нескольких десятков лет придумывал разные тесты, чтобы понять механизмы принятия решений людьми и какие факторы на это влияют. Какая роль интуиции и какая рассудка? Как люди воспринимают цифры и как цифры влияют на восприятие, будучи поставленные рядом друг с другом? Как на решения влияет внутреннее эмоциональное состояние? Как можно «запрограммировать» очень многих людей на принятие нужных решений, нежно подталкивая их к правильному выходу? Эти открытия легли в основу поведенческой экономики, а такая экономика манипулирует нами и накачивает капитализацию компаний, продающих различные и часто ненужные нам товары и услуги. Хотя, в момент покупки на Озоне или Алибабе, нам кажется, что очень нужных.

И вот совсем недавно, эти же закономерности и технологии легли в основу политических компаний. Незаметные манипуляции с извилинами избирателей обеспечивают склонение чаши весов в ту или иную сторону. Ну а что такого? Возможно, это все же лучше, чем просто заставлять кричать Хайль Гитлер? Аккуратно, деликатно, путем различных вирусных информационных волн, с вовлечением в наши лайки наших же дофаминовых рецепторов, обеспечим выручку ритейлерам и голоса политикам!

Проблема неспособности людей отличить бред от правды нарастает пропорционально количеству времени, проведенному в социальных сетях и количеству мусорной информации, которую мы загружаем в наш мозг, чтобы тут же ее забыть. Забыть-то забыли, а осадок остался! И этот осадок может плохо пахнуть.

Уже общим местом является говорить об общем негативном настрое новостей из телевизора и новостных лент. Откройте наугад в любой момент времени ленту или включите по радио новостной выпуск. Я иногда развлекаюсь, вычисляя процент негативных. В среднем из 10 новостей 8 или 9 будут про аварии, убийства, катастрофы, кражи или коррупцию, развод звезд и прочий негатив. Какое это имеет отношение к нашей жизни? Люди радостно хлопают при посадке самолета, радуясь, что они долетели живыми, потому что они раз в неделю слышат новость о том, что где-то разбился самолет. Но они не слышат о примерно сотне тысяч рейсов за этот же срок, которые долетели благополучно и вовремя, как швейцарские часики. Также они не слышат о десятках тысяч умерших от сердечно-сосудистых проблем, за это же время, из которых многие курили полжизни, кушали от пуза жирное и соленое, психовали и жили в постоянном стрессе, недосыпе и трудоголизме. Умерших не своей смертью, сильно раньше того, что им положено было природой. Но такие новости были бы не интересными. Поэтому новости являются тем, что мы о них знаем – редакторы новостей думают, что другие новости людям не интересны – про хорошие добрые истории, про рождение новых людей и новых идей, про спасение бездомной собаки или разоблачение гомеопатических мошенников, а люди думают, что других новостей и нет. Поэтому молодые люди совсем перестают смотреть телевизор, уходя в социальные сети, дарящие иллюзию выбора и интерактива. Но там другая проблема – надо понимать алгоритмы фейсбука или вк, которые составляют вам ленту. Надо тестировать их и принимать осознанные решения – кого читать и смотреть, и что особенно важно – кого не читать и не смотреть, чтобы не закакать себе мозг.

Юваль Харари пишет, что человечество испокон веков живет среди фикций. Точнее, мифов и выдумок, массовая вера в которые поддерживает их существование и порядок. Например, экономика существует из-за веры в деньги и акционерные общества. Политика и государства существуют из-за веры людей во власть. Границы работают, потому что мы верим в них. Ну а церковь – вера в чистом, первозданном и идеальном виде[23 - Юваль Ной Харари. Сапиенсы. Краткая история человечества. 2017.]. Для нас, коллективных существ, вера в созданные нами мифы тем важнее, чем более великие дела мы собираемся делать. Мифы становятся тем сильнее, чем больше людей они должны вовлечь в свою орбиту. Мифы становятся формообразующей силой, объединяющей разных людей с разных мест вокруг одних и тех же идей, помогающие или заставляющие людей идти в одном направлении или делать одинаковые вещи. То есть, вера в фикцию – это не наша слабость, а наша сила? Источник великих империй или великих войн? И то и другое. Без мифотворчества мы бы не могли строить гробницы для фараонов и отправить людей на Луну. Это правда. И нам нужны новые, более могущественные мифы, чтобы окончательно победить рак и высадиться на Марсе. Но эту почти безотчетную веру используют для того, чтобы использовать нас и в мелких корыстных целях. А это уже нехорошо.

Вот что замечено. «Оказалось, что готовность поверить любой теории заговора или проникнуться „ошибочным убеждением“ зависит не от персональных качеств и информированности людей, а от доминирования у людей безысходного чувства невозможности контролировать важнейшие аспекты своей жизни. Иными словами, это зависит от ощущения людей: насколько они в состоянии влиять на социальные обстоятельства своей жизни; насколько маргинализована их социальная группа; насколько они бессильны в плане наличия „полномочий“ (возможностей) что-либо в этой жизни изменить»[24 - https://medium.com/@sergey_57776/земля-превращается-в-мир-идиотов-d552245bef69 (https://medium.com/@sergey_57776/%D0%B7%D0%B5%D0%BC%D0%BB%D1%8F-%D0%BF%D1%80%D0%B5%D0%B2%D1%80%D0%B0%D1%89%D0%B0%D0%B5%D1%82%D1%81%D1%8F-%D0%B2-%D0%BC%D0%B8%D1%80-%D0%B8%D0%B4%D0%B8%D0%BE%D1%82%D0%BE%D0%B2-d552245bef69)]. Другими словами, чем меньше вы контролируете свою жизнь, тем больше вы верите всякой лжи. Чем больше мусора в вашей голове – тем меньше вы способны что-то сознательно делать. Замкнутый круг и петля обратной связи. Но это не значит, что выхода нет и что разорвать ее невозможно. Сделать это относительно нетрудно. Из простых вещей – цифровой детокс, кардинальное уменьшение времени жизни на такие вещи, как селфи, лайки, бездумное пролистывание ленты. Высвободившееся время тратим на книги, прогулки с любованием природой, и еду с ощущением вкуса еды. У меня лично, каждый раз, когда приходит пора завтракать, начинается личная битва с YouTube. В другое время смотреть его некогда, а некоторые интервью мне послушать важно. И вот я механически засовываю ложку в рот и слушаю. Обычно не замечаю, как поел. Но так ведь можно и жизнь свою, всю целиком, не заметить, слушая как говорят другие люди с экрана. Иногда в этой неравной битве я одерживаю победу. И тогда я ощущаю вкус еды, течение времени, свое тело. Я слышу свои мысли. И понимаю, что я живу. Я не съем при этом лишнее, потому что вовремя пойму, что насытился. Стратегически, так правильнее. Быть с самим собой, быть на своей стороне, инвестировать в свою жизнь. Да, при этом я чего-то неизбежно упущу, кого-то не услышу и не увижу. Встроенная в нас жадность будет говорить мне, что хорошо там, где нас нет. Что прямо сейчас я упускаю какие-то неведомые возможности и мне надо на эту тему начать переживать и испытывать стресс. А с другой стороны – я нахожусь в лучшем месте на Земле, и делаю лучшее дело из всех возможных. Осознание этого наполняет меня счастьем и удовлетворенностью. Радостью, а не стрессом. Вот в эту самую секунду происходит выбор того, в каком состоянии быть и какая жизнь происходит со мной – полная стресса и неудовлетворенности, в вечной погоне за собственной тенью или счастье. Этот выбор лежит не на стороне технологий, а на стороне того, где находится мое внимание, где нахожусь я сам. Технологии будут послушными слугами и инструментами, позволяющими моему вниманию достигнуть нужного, в тот момент, когда я решаю, что это мне нужно. И будут послушно стоять в сторонке, не заполняя мою жизнь шумом и мусором, отгораживающим меня от моего счастья.

Вот пример из сегодняшнего фейсбука – фотография из космоса о горящих лесах Австралии:








Ужас, правда. Весь континент в огне. Плюс фото обгоревших кенгуру и коал.













Жалко ужасно. А вот объяснение создателя этого изображения[25 - https://cutt.ly/8riwTER (https://cutt.ly/8riwTER)] говорит о том, что он брал фото пожаров с сайта NASA за месяц с 5 декабря 2019 года по 5 января 2020 года (я пишу это 6 января 2020) и скомпилировал, или по-русски, наложил изображения друг на друга в 3-Д модель. И пояснил, что это не значит, что они еще горят. Как мы понимаем, когда все выгорает, то пожар стихает сам. А пожарники пускают огонь навстречу. Или тушат что-то. Но интернет заполнился воплями. Хотя проблема пожаров, разумеется есть, и в Австралии сегодня, и на Урале (не только) в России – каждое лето. И понятно, что когда месяц стоит +40, влажность не более 10%, то все готово заполыхать. Суть же этого примера во-первых, в том, что из визуализации за месяц сделали моментальную якобы фото, и люди не удосужившись проверить, начинают автоматически делать репост со словами – ужас, ужас. То есть они выступают бесплатными агентами вирусной информационной инфекции. А второе, все познается в сравнении. В новостях сказано о 28 погибших за прошедших месяц от пожаров. Это, конечно, очень печально. Как вы думаете, сколько людей погибло за этот же месяц от автомобилей? Скончалось от болезней? От старости? Набираю в Google слова «смертность в Австралии» и попадаю на сайт по демографии, который для Австралии пишет, что для населения около 26 млн человек средняя смертность в день составляет 427 человек или около 20 чел в час. То есть для месячной выборки это будет около 12 800 человек, а 28 человек составит 0.2%. То есть близко к статистической погрешности. Это не означает, что каждая преждевременная смерть не является трагедией, особенно для родных и близких. Но это точно означает, что основная новость в новостных лентах отнюдь не является самой смертельной и ужасной, как ее пытаются представить.





Конец ознакомительного фрагмента. Получить полную версию книги.


Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию (https://www.litres.ru/pages/biblio_book/?art=67171765) на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.



notes


Примечания





1


Шантарам Тень Горы. Грегори Дэвид Робертс.




2


Недельский В. О. Анализ политического развития современной России. Москва, 2000.




3


Панарин А. С. Искушение глобализмом. Москва. 2000 г.




4


https://youtu.be/ajGgd9Ld-Wc (https://youtu.be/ajGgd9Ld-Wc) How AI can save our humanity | Kai-Fu Lee




5


www.semantic-hub.com




6


Сергей Шумский «Воспитание машин. Новая история разума. Альпина НонФикшен. 2021.




7


Рэй Курцвейл. Эволюция разума. Как развитие искусственного интеллекта изменит будущее цивилизации. Бомбора. Москва. 2020.




8


https://medium.com/@sergey_57776/кто-сильнее-в-сложных-играх-человек-или-ии-533832319cdd




9


Garry Kasparov. Deep Thinking: Where Machine Intelligence Ends and Human Creativity Begins. UK, 2017. https://goo.gl/OwuOcW (https://www.youtube.com/redirect?v=zhkTHkIZJEc&event=video_description&redir_token=GTBA3n0XZpKdDTqvWoF_PP8ZjjF8MTU3ODIyODUyOEAxNTc4MTQyMTI4&q=https%3A%2F%2Fgoo.gl%2FOwuOcW)




10


https://youtu.be/zhkTHkIZJEc (https://youtu.be/zhkTHkIZJEc)




11


https://youtu.be/NP8xt8o4_5Q (https://youtu.be/NP8xt8o4_5Q)




12


Сергей Карелов. Как стать кентавром. Медиум. 12 марта 2018.




13


П. Г. Щедровицкий. https://shchedrovitskiy.com/publikacii/ (https://shchedrovitskiy.com/publikacii/), https://www.youtube.com/watch?v=cDJSeZxNwss (https://www.youtube.com/watch?v=cDJSeZxNwss)




14


Б. Акунин. Трезориум. 2017.




15


А. Марков. Эволюция человека. Книга 1. Обезьяны, кости и гены. АСТ. 2011.




16


https://shchedrovitskiy.com/soderzhanie-lekciy-chto-takoe-myshlenie/ (https://shchedrovitskiy.com/soderzhanie-lekciy-chto-takoe-myshlenie/)




17


http://strah-trevozhnost-fobiya.ru/0/mozg.php (http://strah-trevozhnost-fobiya.ru/0/mozg.php)




18


https://pikabu.ru/story/vash_mozg__yeto_mozgksenofoba_i_strakha_5576499 (https://pikabu.ru/story/vash_mozg__yeto_mozgksenofoba_i_strakha_5576499)




19


https://theoryandpractice.ru/posts/9677-karta-mozga (https://theoryandpractice.ru/posts/9677-karta-mozga)




20


http://atlas100.ru/ (http://atlas100.ru/)




21


https://youtu.be/E-QBQRxGaiE (https://youtu.be/E-QBQRxGaiE)




22


Даниэль Канеман. Думай медленно… решай быстро. АСТ, 2019.




23


Юваль Ной Харари. Сапиенсы. Краткая история человечества. 2017.




24


https://medium.com/@sergey_57776/земля-превращается-в-мир-идиотов-d552245bef69 (https://medium.com/@sergey_57776/%D0%B7%D0%B5%D0%BC%D0%BB%D1%8F-%D0%BF%D1%80%D0%B5%D0%B2%D1%80%D0%B0%D1%89%D0%B0%D0%B5%D1%82%D1%81%D1%8F-%D0%B2-%D0%BC%D0%B8%D1%80-%D0%B8%D0%B4%D0%B8%D0%BE%D1%82%D0%BE%D0%B2-d552245bef69)




25


https://cutt.ly/8riwTER (https://cutt.ly/8riwTER)