Свръхинтелект. Посоки, опасности, стратегии – Ник Бострьом

Какво ще стане, когато машините надминат хората по интелект? Дали това ще e нашето спасение, или напротив – ще доведе до унищожението ни?
На човечеството му предстои да се изправи пред огромно предизвикателство – срещата със създаден от него, но съкрушително превъзхождащ го изкуствен интелект, който авторът нарича свръхинтелект. Силен и аргументиран опонент на ентусиазираните призиви за бързо развитие на изкуствения интелект, Бострьом обръща специално внимание на рисковете от тази перспектива и възможните превантивни мерки.
Доминиращото си положение на планетата Земя човекът дължи на разширения набор от способности на своя мозък, които са му позволили да натрупва култура и знания и да ги предава на следващите поколения. Аналогично обаче сравнителните преимущества на свръхинтелекта могат да му позволят да завземе властта над човешката цивилизация и природата. Авторът привежда убедителен конкретен сценарий как един такъв свръхинтелект с лекота би могъл да хакне нашата цивилизация и чрез социална манипулация да използва хората като пионки в своята игра и дори да създаде собствени самовъзпроизвеждащи се на молекулярно ниво системи.
Ние обаче имаме едно предимство: първият ход е наш. Възможно ли е така да конструираме изкуствен интелект, че да оцелеем след очакваното му взривно развитие? Бъдещето на човечеството е в нашите ръце.

 

В мозъка ви се намира нещото, с което четете. Това нещо, човешкият мозък, притежава някои способности, от които мозъците на другите животни са лишени. На тези отличителни способности ние дължим господстващото си положение на планетата. Други животни имат по-здрави мускули и по-остри нокти, но ние притежаваме по-умни мозъци. Благодарение на нашето скромно преимущество в областта на общия интелект сме развили език, технология и сложна социална организация. това преимущество с времето се увеличава, тъй като всяко поколение доразвива постиженията на предходните.
Ако някой ден изградим машинни мозъци, които превъзхождат човешките по обща интелигентност, тогава този нов свръхинтелект може да стане много мощен. и както съдбата на горилите днес зависи повече от нас, хората, отколкото от самите горили, така и съдбата на нашия вид ще зависи от действията на машинния свръхинтелект.
Наистина разполагаме с едно преимущество: неговото създаване зависи от нас. По принцип можем да изградим такъв тип свръхинтелект, който да защитава човешките ценности. Със сигурност имаме безспорни основания да го направим. На практика проблемът за контрола – проблемът как да контролираме това, което свръхинтелектът ще извършва – изглежда твърде труден. Освен това по всичко личи, че ще имаме само един шанс. стигне ли се до съществуването на враждебно настроен свръхинтелект, той няма да допусне да го заменим или да въздействаме върху предпочитанията му. Съдбата ни ще бъде решена.
В тази книга се опитвам да анализирам предизвикателството, пред което ни поставя перспективата за възникване на свръхинтелект, и най-добрия възможен отговор от наша страна. твърде възможно е това да се окаже най-важното и най-страховитото предизвикателство, което е стояло пред човечеството. и независимо дали ще се справим, или няма да успеем, това вероятно ще е последното предизвикателство, пред което някога ще се изправим.
Тази книга няма за цел да доказва, че сме на прага на голям пробив в областта на изкуствения интелект или че може с точност да се предскаже кога ще бъде направена тази крачка. Вероятно това ще се случи през настоящия век, но не знаем със сигурност. В първите две глави се разглеждат възможните пътища и се коментира накратко развитието на нещата във времето. по-голямата част от книгата обаче е за събитията, които ще последват. Анализира се кинетиката на експлозивната поява на изкуствен разум, формите и способностите на свръхинтелекта и стратегическите възможности за избор пред свръхинтелигентен агент, придобил решаващо преимущество. след това изместваме фокуса към проблема за контрола и въпроса какво можем да направим, за да създадем началните условия за постигане на благоприятен резултат, гарантиращ оцеляването ни. В края на книгата разглеждаме по-обхватно пълната картина, очертана от нашите проучвания. предлагат се известни насоки какво трябва да направим, за да увеличим шансовете си да избегнем екзистенциална катастрофа по-късно.
Писането на тази книга не беше лесно. Надявам се, че разчистеният от нея път ще позволи на други изследователи да достигнат до нови предели по-бързо и по-удобно, със свежи сили и готови да се включат в работата за разширяване на нашето разбиране. (А ако прокараният път е малко неравен и криволичещ, надявам се критиците, когато оценяват резултата, да не подценяват първоначалната трудност на терена!)
Книгата не беше лесна за писане; опитах се да я направя лесна за четене, но според мен без особен успех. Докато пишех, си представях читателя и като едно мое по-ранно „аз“ и се опитах да създам книга, която навремето щях да прочета с удоволствие. Може да се окаже, че тази аудитория е твърде ограничена. Въпреки това смятам, че съдържанието и ще е достъпно за много хора, ако вложат мисъл в четенето и устоят на изкушението да дават автоматично погрешно тълкуване на всяка нова идея, като я приравняват към най-близкото до нея клише от своя културен запас. Читателите, които нямат технически познания, не бива да се обезсърчават от математиката и специализираната терминология, които се срещат на места, защото винаги могат да схванат основната мисъл от допълнителните обяснения.
Много от идеите в тази книга вероятно са погрешни. Възможно е да има и съображения от критично значение, които съм пропуснал да взема предвид и които обезсилват някои (или всички) мои заключения. Постарал съм се да маркирам нюансите и степените на несигурност навсякъде в текста, задръствайки го с неприятна мътилка от „вероятно“, „може би“, „изглежда“, „по всяка вероятност“ и „почти сигурно“. Всяко от тези определения е поставено на мястото му внимателно и обмислено. Тези конкретни прояви на епистемологично смирение обаче не са достатъчни; те трябва да бъдат системно подсилени от допускането за несигурност и погрешност. Това не е лъжлива скромност: защото макар и да смятам, че моята книга вероятно е твърде погрешна и подвеждаща, мисля, че алтернативните възгледи, представени в литературата, са значително по-лоши – включително и онзи по подразбиране, или „нулевата хипотеза“, според която можем засега спокойно или основателно да игнорираме перспективата за свръхинтелект.

Създаването на машини, които да са равни на човека по обща интелигентност – т.е. да притежават здрав разум и ефективна способност да се учат, да съобразяват и планират, за да реагират на необходимостта от решаване на сложни задачи с обработка на информация в разнообразни естествени и абстрактни области, – се очаква още от 40-те години на миналия век, когато са изобретени компютрите. По онова време появата им се е очаквала след период от около 20 години. Оттогава очакваната дата се отлага от година на година; и днес много от футуролозите, които обмислят възможността за възникване на изкуствен общ интелект, смятат, че от възникването на умните машини ни делят две десетилетия.
Две десетилетия е идеалният срок за прогностиците на радикалната промяна: достатъчно близък, за да привлича внимание и основателен интерес, но достатъчно далечен, за да се предполага, че дотогава ще бъдат извършени редица пробиви, които понастоящем само смътно можем да си представяме. сравнете това с други, по-кратки времеви мащаби: повечето технологии, които ще имат голямо въздействие върху света след 5 или 10 години, вече се използват в някаква степен, докато технологиите, които ще преобразят света след по-малко от 15 години, съществуват вероятно в зачатъчен вид в някоя лаборатория. Освен това двайсет години съответстват приблизително на обичайната продължителност на остатъка от кариерата на дадения прогностик, което снижава риска за репутацията му, произтичащ от някое смело предвиждане.
Въпреки това от факта, че някои хора в миналото са избързали с прогнозите си за изкуствения интелект, не следва, че ИИ е невъзможен или че никога няма да бъде разработен. Главната причина прогресът да върви по-бавно от очакваното е, че техническите трудности, свързани с конструирането на интелигентни машини, се оказват по-големи, отколкото са предвиждали пионерите в тази област. Неясно остава обаче колко точно големи са тези трудности и колко далече сме от тяхното преодоляване в момента. понякога се оказва, че проблем, който в началото е изглеждал безнадеждно сложен, има изненадващо просто решение (макар че вероятно по-често се случва обратното).

“Нямаме основания да смятаме, че Homo sapiens е достигнал върха на когнитивните възможности, възможен за биологична система. Ние далеч не сме най-умният биологичен вид, възможен в природата. По-добре е да разглеждаме себе си като най-глупавия възможен биологичен вид, способен да построи технологична цивилизация – ниша, която сме заели, защото сме се появили първи, а не защото сме най-приспособените за нея в какъвто и да е смисъл.”

“Световноизвестният авторитет в компютърните науки Доналд Кнут остроумно отбелязва, че ИИ досега се справя успешно практически с всичко, което изисква „мислене“, но се проваля в повечето неща, които хората и животните вършат, „без да мислят“ – това, кой знае защо, е много по-трудно! Анализът на визуални сцени, разпозна­ването на обекти или контролът върху поведението на робот при взаимодействието му с естествената среда се оказват проблематични. Въпреки всичко е отбелязан значителен прогрес, който продължава и сега, подпомаган от постоянното развитие на хардуера.”

Математикът Ъ. Дж. Гуд, който е работил като главен статистик в екипа от дешифровчици на Алън Тюринг през Втората световна война, е вероятно първият, който излага основните аспекти на този сценарий. В един негов често цитиран пасаж от 1965 г. се казва:
“Нека дефинираме свръхинтелигентната машина като машина, която далеч превъзхожда във всички интелектуални дейности всеки човек, дори най-умния. Тъй като една от тези интелектуални дейности е проектирането на машини, свръхинтелигентната машина би могла да проектира още по-добри машини; това без съмнение би довело до „взрив на интелекта“, а човешкият интелект ще остане много по-назад. Следователно първата свръхинтелигентна машина е последното изобретение, което човекът ще създаде, ако приемем, че машината ще е достатъчно послушна, за да ни каже как да я контролираме.”

Можем да предположим и че бавният и колеблив човешки прогрес по много от „вечните проблеми“ на философията се дължи на непригодността на човешката мозъчна кора за философска работа. От тази гледна точка нашите най-прочути философи са като кучета, които ходят на задните си крайници – те едва се докосват до минималния праг на ефективност, необходим изобщо за тази дейност.

За някои читатели вероятно не е очевидно защо възможността за изпълняване на 10⁸⁵ изчислителни операции е толкова важно нещо. По-ясно ще е, ако я поставим в определен контекст. Бихме могли например да сравним това число с направената по-рано оценка (Каре 3, Глава 2), че вероятно ще са необходими 10³¹-10⁴⁴ операции, за да се симулират всички невронни операции, които са били извършени през цялата история на земния живот. Като друг вариант, нека си представим компютри с инсталирани пълни емулации на човешки мозъци, които живеят благополучно и щастливо, взаимодействайки един с друг във виртуална среда. Изчислителните изисквания за поддържане на една емулация са средно 10¹⁸ оп./сек. В такъв случай за поддържането на емулация в продължение на 100 субективни години ще са нужни около 10²⁷ оп./сек. Това би означавало, че дори при много консервативни предположения за ефективността на компютрониума, с такъв ресурс биха могли да емулират поне 10⁵⁸ човешки живота.
С други думи, ако приемем, че в наблюдаемата вселена няма извънземни цивилизации, тогава на карта са поставени най-малко 10 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 човешки живота (макар че истинският им брой вероятно е по-голям). Ако си представим цялото щастие, изпитано през един такъв живот, като една-единствена радостна сълза, тогава щастието на тези души би могло да изпълва и дори препълва земните океани всяка секунда в продължение на милиарди, милиарди хилядолетия. Важно е да направим така, че това да бъдат наистина сълзи от радост.

“Бихме могли да отложим работата по многогодишни проблеми, като делегираме тази задача на нашите, надяваме се, по-компетентни потомци, за да можем да се съсредоточим върху по-належащ проблем: увеличаване на шансовете изобщо да имаме потомци.”
Ник Бостром

Съдържание

НЕЗАВЪРШЕНА ПРИКАЗКА ЗА ВРАБЧЕТА
ПРЕДГОВОР
Глава 1. РАЗВИТИЕ В МИНАЛОТО И НАСТОЯЩИ ВЪЗМОЖНОСТИ
Глава 2. ПЪТИЩА КЪМ СВРЪХИНТЕЛЕКТА
Глава 3. ФОРМИ НА СВРЪХИНТЕЛЕКТ
Глава 4. КИНЕТИКА НА ВЗРИВНОТО РАЗВИТИЕ НА ИНТЕЛЕКТ
Глава 5. РЕШАВАЩО СТРАТЕГИЧЕСКО ПРЕИМУЩЕСТВО
Глава 6. КОГНИТИВНИ СВРЪХСПОСОБНОСТИ
Глава 7. ВОЛЯТА НА СВРЪХИНТЕЛЕКТА
Глава 8. ГИБЕЛТА ЛИ Е ЛОГИЧНИЯТ ИЗХОД?
Глава 9. ПРОБЛЕМЪТ ЗА КОНТРОЛА
Глава 10. ОРАКУЛИ, ДЖИНОВЕ, СУВЕРЕНИ, ИНСТРУМЕНТИ
Глава 11. МНОГОПОЛЯРНИ СЦЕНАРИИ
Глава 12. ПРИДОБИВАНЕ НА ЦЕННОСТИ
Глава 13. ИЗБОР НА КРИТЕРИИ ЗА ИЗБОР
Глава 14. СТРАТЕГИЧЕСКИ ИЗГЛЕД
Глава 15. КРИТИЧНИЯ МОМЕНТ
ПОСЛЕСЛОВ

За автора

 

 

Ник Бострьом (роден на 10 март 1973 г.) е шведски философ, професор в Оксфорд, директор на Стратегическия център за изследване на изкуствения интелект и на Института за бъдещето на човечеството.
Роден през 1973 г. в Хелзингборг, Швеция, той не харесва училище от най-ранна детска възраст и прекарва последната си година от гимназията, учейки у дома. Стреми се да се обучава в широк кръг дисциплини, включително антропология, изкуство, литература и наука.
Получава бакалавърска степен по философия, математика, логика и изкуствен интелект от университета в Гьотеборг и две магистърски степени по философия и физика, както и по изчислителна неврология от Стокхолмския университет и Кралския колеж в Лондон. През 2000 г. е награден с докторска степен по философия от Лондонското училище по икономика. Заемал е преподавателски длъжности в университета в Йейл (2000-2002 г.) и е бил постдокторант в Британската академия в Оксфордския университет (2002-2005).
Носител на наградата Юджийн Р. Ганън, включен два пъти в списъка на Foreign Policy с най-добрите 100 глобални мислители и включен в списъка на световните мислители на списание Prospect (най-младият човек в топ 15 от всички области и най-високо класираният аналитичен философ), Ник Бостром се позиционира като световен лидер в областта на изкуствения интелект (ИИ).
Негов различни писания са преведени на над 24 езика, а книгата му „Суперинтелект“ е бестселър на New York Times. Книгата предизвиква дебати и коментари от хора като Илон Мъск и Стивън Хокингс