Dimiter Dobrev1, Lyubomir Ivanov1, George Popov2, Vladimir Tzanov3
1 Institute of Mathematics and Informatics, Bulgarian Academy of Sciences,
d@dobrev.com, lyubomail@yahoo.com
2 Faculty of Computer Systems and Technologies, Technical University of
Sofia, popovg@tu-sofia.bg
3 Independent researcher
В библията пише, че Бог е създал човека
по свой образ и подобие. Днес ние се опитваме да създадем ИИ по свой образ и
подобие. Разликата е, че Бог е създал едно слабо и уязвимо същество, за което
да се грижи, а ние се опитваме да създадем едно всемогъщо същество, което ще е
несравнимо по-умно от нас и което ще се грижи за нас. Тоест ние се опитваме да
създадем нашия нов Бог, но съвсем не е все едно какъв ще бъде този нов Бог. Той
може да е добър и милостив, но може да бъде ужасно строг и да изисква прекалено
много от нас. Всеки човек си има характер. По същия начин ИИ ще има характер.
Ще разгледаме ИИ като програма с параметри и тези параметри ще определят
характера му. Идеята е чрез тези параметри да определим характера, който искаме
ИИ да има.
Keywords: Artificial General Intelligence, AI control, AI regulation, AI character, AI as a nice guy.
Въведение
Може ли ИИ да има различни варианти? Може ли различните
ИИ-и да имат различни характери?
Тази статия не е единствената, която твърди че ИИ не е
една единствена програма, а има много варианти, които са съществено различни.
Например De Kai в неговата книга [19] твърди същото. Той дори
използва множествено число и вместо за ИИ говори за ИИ-и. Все пак има разлика
между нас и De Kai. Той предполага, че в бъдещето съвместно ще съжителстват
много различни ИИ-и, докато според нас възможностите са много, но победителят
ще е само един (както кандидат-президентите са много, но накрая избираме само
един и не е все едно кого ще изберем).
De Kai казва, че ИИ-и ще са нашите изкуствени деца, които ще се
грижат за нас, техните престарели родители. Ние казваме, че ИИ ще бъде нашият
нов Бог, който ще се грижи за нас. Тук няма разлика между нас и De Kai, защото и той и ние
очакваме някой да ни обгрижва.
De Kai също като нас предрича, че след появата на ИИ светът ще е
съвсем различен. И той като нас казва, че никак не е все едно какъв ИИ ще
създадем и какъв ще бъде новият свят, в който ще живеем. Разликата е, че според
De Kai най-важно е възпитанието, докато според нас най-важното
е ДНК-то на ИИ (кода на неговата програма), защото там ще бъдат заложени
неговият характер и неговите цели и инстинкти.
В по-голямата част от книгата си De Kai разсъждава над въпроса
какъв трябва да бъде новият свят, който ще ни донесе ИИ. Ние сме математици и
не е наша работа да казваме какъв трябва да бъде новият свят. Има политици,
които са натоварени с тази задача. Нашата работа е само да покажем на
политиците, че има различни възможности и да им помогнем да изберат тази, която
според тях е най-добрата. Защо трябва да се доверим на политиците и да ги
оставим те да направят избора? Защото алтернативата е новият свят да бъде
избран случайно на принципа „онче бонче“. Със сигурност ще е по-добре изборът
да бъде направен от някого (който и да е той), вместо нещата да бъдат оставени
на случайността.
Според Geoffrey Hinton [20] единствения шанс
на човечеството да оцелее е да внедри майчиния инстинкт в ИИ. Идеята на Hinton
е, че ако ИИ ни обича, както майката обича децата си, то ще се грижи за нас,
нищо че сме глупави и безпомощни. Достатъчно ли е ИИ да ни храни и облича и да
се грижи за основните ни нужди? Не трябва ли още да ни се подчинява? Майката се
грижи за бебето, но тя сама взима решенията. Може бебето с плач и гримаси да
покаже на майка си какви са неговите желания, но дали тези желания ще бъдат
изпълнени зависи изцяло от нея. Тя ще реши кое е добро за детето и кое не е.
Например, ако купува нова къща, майката сама ще направи
избора. Може да покаже на бебето различните варианти и да се опита да отгатне
къде му е най-добре, но окончателното решение ще вземе сама на базата на
критерии, които бебето въобще не разбира.
Създаването на ИИ прилича на отварянето на кутията на
Пандора, но тук не говорим за една обикновена кутия с един капак, а за нещо
като шкаф с много чекмеджета и съвсем не е все едно кое чекмедже ще изтеглим.
Поуката в историята за кутията на Пандора е, че тази кутия не трябва да се
отваря. В случая няма как ИИ да не бъде създаден, защото има прекалено много
хора, които работят върху тази задача. Въпросът е как ще изберем кое чекмедже
да изтеглим. Подходът „онче бонче“ е много погрешен, защото сред вариантите на
ИИ има и доста недружелюбни, които няма да ни слушат, а може и да не искат да
се грижат за нас.
Доналд
Тръмп каза, че който създаде ИИ, той ще управлява света. И Путин е казал нещо
подобно, но и двамата не са прави. Светът няма да се управлява от създателя на
ИИ, а от самия ИИ. Какъв ще бъде този ИИ и накъде ще ни води, ще се реши при
създаването му и е хубаво добре да помислим преди да му позволим да ни замести
(преди да отворим кутията на Пандора).
Трябва ли ИИ да ни се подчинява безпрекословно? Когато
конструираме нова машина обикновено й слагаме предпазители, които ни пазят да
не се нараним и да не счупим машината. Може би е добре и в този случай да
помислим за такива предпазители, които ще ограничат свободата ни, но ще
направят използването на ИИ по-безопасно.
В тази статия ние не си позволяваме да казваме какъв
трябва да бъде новият свят, който ИИ ще ни донесе. Единствено си позволяваме да
зададем някои въпроси. Нашата работа като математици не е да отговорим на тези
въпроси, а да кажем как може да се конструира такъв ИИ, който ще отговаря на това,
което ще поискат от него политиците.
Какъв ИИ искаме да създадем?
Когато създаваме естествен интелект ние не се опитваме да създадем човек с
благ характер, а работим на принципа: „Какъвто се получи – такъв.“ Разбира се, хора
има много и всеки си има своя характер. Някои са добродушни, а други доста
проклети. Дори братя, израсли в едно и също семейство, могат да имат съвсем
различни характери.
Хората са различни и те трябва да са различни, защото природата не слага
всичките яйца в една кошница. Има светове, в които печелят смелите и светове, в
които е по-добре да си по-предпазлив. Ако хората бяха еднакви, те биха загинали
всичките, ако светът не е подходящ за тях. Благодарение на това, че хората са
различни, винаги част от популацията оцелява и продължава рода.
Приемаме, че реалният свят е един единствен, но в зависимост от това къде и
кога си се родил, светът за теб може да бъде много различен. Не знаем къде и
кога ще се роди естественият интелект и затова той трябва да е готов да оцелее
в произволен свят.
При ИИ нещата са различни, защото няма да имаме много различни ИИ, а само
един единствен. В [4] изказваме мнението си,
че the first AI
created will be the only AI ever created. Когато създадем първия и единствен ИИ, ще го създадем с
неговия характер и този характер, добър или лош, ще си остане вовеки, защото
вероятно няма да имаме възможността да го променим. Освен това ИИ за разлика от
човека е безсмъртен и не можем да се надяваме да си отиде и на негово място да
дойде друг ИИ, който да има по-благ характер. Затова при създаването на ИИ
трябва да сме много отговорни и да не подхождаме на принципа: „Какъвто се
получи – такъв.“
Казахме, че при създаването на хора ние сме доста безотговорни. Всъщност не
е така. Преди да създадем дете ние внимателно избираме партньора, с когото ще
го направим. Идеята е, че детето ще прилича на партньора ни и избирайки него
ние в основни линии избираме и детето. Създаваме дори и дизайнерски бебета,
като избираме измежду няколко ембриона този, чийто гени най-много ни харесват.
Това обикновено се прави, за да се избегнат наследствени заболявания. Не сме
чували някой да избира ембриони, за да получи дете с благ характер. Въобще
искаме ли детето ни да е с добър характер? За нас като родители вероятно ще е
по-добре детето да е добро, но за него самото може би било по-добре, ако е
проклето. Може би в нашия свят един човек с проклет характер има по-големи
шансове да оцелее. Ние като родители мислим на първо място за детето си и
затова може би бихме предпочели то да е проклето.
Казахме, че при създаването на ИИ трябва да сме особено отговорни, но
всъщност точно в този изключително важен за историята на човечеството момент
ние сме абсолютно безотговорни и създаваме ИИ със завързани очи без да се
интересуваме от последствията. В момента има над 200 компании, които шеметно се
състезават коя първа ще създаде ИИ. Целта на това състезание е да се спечелят
пари, а това е една изключително безсмислена цел.
ИИ е една вълшебна пръчица, която може да изпълни всяко желание. Парите
също са нещо като вълшебна пръчица и могат да изпълнят много желания. Нека
кажем, че ИИ е златната вълшебна пръчица, а парите са сребърна пръчица. Глупаво
е да създадеш златната пръчица и да я замениш срещу сребърна. Ако притежаваш ИИ,
за какво въобще са ти нужни пари?
Основната идея, която искаме да внушим, чрез тази статия е, че Artificial General
Intelligence (AGI) е нещо опасно, с което трябва
много да се внимава. Искаме да убедим читателя, че AGI не е една единствена
програма, а това е клас от много различни програми и съвсем не е без значение,
коя от тези програми ще създадем. Различните варианти на AGI могат да се опишат с
параметри определящи характера му. Важно е, когато създаваме AGI, да го направим така, че
характерът му да може да се регулира и да изберем такъв вариант на AGI, който е приемлив за нас.
Какво е ИИ?
В тази статия, когато говорим за ИИ, имаме предвид AGI. Тоест, говорим за мислеща
машина, която е несравнимо по-умна от човека. Много от авторите, когато говорят
за „истинския“ ИИ разделят понятието да две – AGI и artificial superintelligence (ASI). Според тях AGI е машина мислеща
като човек, а ASI е машина несравнимо по-умна от човека. Според нас няма разлика между AGI и ASI, както няма принципна разлика между програми играещи шах
като човек и програми играещи несравнимо по-добре от човека.
Идеята, че AGI и ASI са две различни неща служи като
успокоение на повечето специалисти. Те предполагат, че първо ще създадем AGI и чак след това ще стигнем до ASI. Тоест по този начин те се
успокояват, че имаме още много време. Много по-спокойно би ни било, ако пред
нас имаше още две стъпки преди да стигнем до technological singularity. За
съжаление стъпките не са две. Остава само още една единствен стъпка и трябва да
се замислим преди да я направим.
Тоест, в тази статия навсякъде, където се говори за ИИ, става дума за true AI или за AGI или за ASI, което за нас е едно и също.
Според [2] ИИ е програма, която е
достатъчно умна. Първо
защо програма, а не машина? Бихме могли да си мислим, че ИИ е една
специализирана машина направена специално, за тази конкретна задача. Според
тезиса на Чърч [15]
всяка
информационна машина може да бъде емулирана чрез компютърна програма. Тоест за всяка информационна
машина съществува компютърна програма, която стартирана на някакъв компютър би
правила същото. Разбира се, специализираната машина би работила по-бързо от
компютърната програма. (Това е при предположение, че машината и компютърът, на
който сме стартирали програмата са съизмерими като брой транзистори и
бързодействие.) Тоест дори и специализираната машина да работи малко по-бързо
от компютърната програма, за нас това не е съществено. За нас важното е какво
прави програмата, а бързодействието е второстепенен въпрос.
Какво значи достатъчно умна? Една програма е достатъчно умна, ако е по-умна
от човек. Един интелект е по-умен от друг, ако в почти всички светове първият
се справя не по-зле от втория. Тук казваме „почти
всички“, защото винаги можем да построим специален свят, в който е
обратното (вторият интелект да се справя по-добре от първия).
В [2] има една важна
особеност. Там се предполага, че имаме ясен критерии за това кога една програма
се справя по-добре от друга. Предполагаме, че имаме два сигнала (две специални наблюдения),
които ще наречем победа и загуба. Целта е повече победи и по-малко загуби. Това
е все едно да предположим, че имаме два бутона – зелен и червен и че целта на
ИИ е по-често да му натискаме зеления бутон и по-рядко червения.
Би било изключително глупаво, ако създадем ИИ с два такива бутона, защото
много скоро ИИ ще се научи сам да си натиска зеления бутон. Това е добрият
случай. По-лошият случай е, ако ИИ ни превърне в свои роби и ни накара
денонощно да натискаме зеления бутон и жестоко ни наказва, когато по погрешка
натиснем червения.
ИИ, който сам си натиска
зеления бутон, ще прилича на наркоман,
който си доставя удоволствие като непрекъснато се тъпче с наркотици. Ние не
бихме искали да имаме ИИ, който да прилича на наркоман.
При хората няма ясен критерии за това кога един живот е по-добър от друг.
Вместо това имаме инстинкти и характер, които определят нашето поведение.
Еволюционният критерии е ясен и той е „да оцелееш и да се размножиш“, но този
принцип не е вграден в естествения интелект. Вместо това имаме инстинкти, които
индиректно подкрепят този принцип. Пример за такива инстинкти са страха от
височина и любовта към децата. Друг пример са чувството на болка и чувството на
удоволствие, които ние инстинктивно приемаме като отрицателно и като
положително усещане. Тези чувства не са твърд критерии за успех, а са само
ориентировъчни. Ние сме готови да изтърпим много болка и да се откажем от много
удоволствия, ако приемем, че това е в името на някаква по-важна цел.
Ние нямаме ясен критерии за това кое е добро и кое е лошо. Затова много от
нас постоянно търсят смисъла на живота и не го намират. Няма как еволюционният
критерии да бъде включен в естествения интелект, защото той зависи от бъдещето,
а никой не е в състояние да предскаже бъдещето чак толкова точно. Никой
програмист не може да напише програма, която да казва кое действие дава
най-голям шанс на индивида и на популацията да оцелеят. Никой програмист не
може и дори и природата не може да създаде такъв интелект, които да вижда
бъдещето чак толкова точно и затова целта на хората се определя индиректно.
Ако направим ИИ, който е способен съвсем точно да предскаже бъдещето,
тогава това би бил един безгрешен интелект. Ние ще приемем, че безгрешен
интелект не може да съществува. Дори и да съществуваше безгрешен интелект, то
той би бил много скучен, защото това предполага, че винаги има едно решение,
което е най-правилното и този интелект винаги знае кое е това решение.
Неизвестността е това, което прави живота интересен. По-интересно е да се
чудим, кое е правилното действие, вместо да знаем точно кое е то.
Щом се отказваме от идеята да създаваме ИИ с твърд критерии за успех (със
зелен и червен бутон) следователно ще трябва да разчитаме на инстинкти и
характер, които индиректно да определят целта на ИИ. Много важно е какви
инстинкти и какъв характер ще вградим в ИИ, защото това ще определи какво ще
бъде близкото ни бъдеще, когато ще трябва да съжителстваме с ИИ.
Ние хората сме доминиращият вид на планетата Земя. В момента ние доброволно
се отказваме от тази си роля като създаваме новия доминиращ вид, който ще ни
измести. Щом ИИ ще се ръководи от инстинкти и характер, това значи че той ще е
едно независимо същество, което само ще търси смисъла на живота и не се знае
къде ще го намери.
В [11] Pei
Wang разглежда ИИ, който има
много цели, които ИИ може сам да променя. Това може да са междинни цели, които
водят към главната цел, но Pei Wang предполага, че дори и главната цел може да бъде
променена. Тоест идеята за променяща се главна цел не е нова. Според Pei Wang, за да бъде една система
интелигентна, тя трябва сама да си избира целите.
Тази идея е доразвита в [17], където различните агенти имат
различни инстинкти и различни черти на характера (personality parameters). Там се говори за доверчивост (предпазливост) и
тази черта на характера е оценена с параметър.
В [17] се показва, че от характера
зависи колко успешен ще е агентът в даден свят. Това е, ако целта е ясно
определена. Когато нямаме ясна цел, тогава характерът индиректно определя
целта.
Възможен ли е ИИ?
Ще започнем с думите на китайския
философ Zhuang Zhou допълнени от френския математик René Thom (това е мотото на
книгата [1]):
There once lived a man who learned how to slay dragons and gave all he
possessed to mastering the art. After three years he was fully prepared but, alas, he found no
opportunity to practice his skills. As a result he began to teach how to slay
dragons.
Възможен ли е ИИ или само ни
плашат с него, както плашат децата с чичко Торбалан?
Мнозинството е абсолютно убедено,
че машините не могат да мислят и никога няма да могат. Те смятат, че мисленето
е привилегия, която само хората имат. Възможно ли е да бъде създадена машина,
която мисли като човек, но която е несравнимо по-умна от хората?
Нека да не спорим по този въпрос.
Нека приемем, че 99 на сто ИИ е невъзможен, но все пак съществува 1% възможност
за обратното и да поразсъждаваме при хипотезата „Ами, к‘во ще правим, ако е
възможен?“ Когато става дума за съдбата на човечеството, струва си да отделим
време и да поразсъждаваме върху тази хипотеза, дори и да става дума за нищожна
вероятност нашите страхове да се сбъднат.
Авторите на тази статия сме част
от малцинството, които вярваме, че ИИ е възможен. Това, че вярваме в ИИ не
означава, че вярваме във всичко. Например, ние не вярваме в извънземни и гледаме
с насмешка на хората, които вярват, че виждат летящи чинии. Затова разбираме
хората, които не вярват в ИИ и гледат с насмешка на такива като нас.
Въпросът „Какво е ИИ?“ е важен,
както и въпросът „Какво е дракон?“ и „Какво е призрак?“. Ако не вярвате в ИИ, в
дракони и в призраци, то тези въпроси са безсмислени, но можем да си зададем
въпроса „Как се воюва с дракон?“ дори и без да сме съвсем наясно с това какво е
дракон. Нека приемем, че ИИ е машина несравнимо по-умна от човека. Друг е
въпросът, може ли такава машина да бъде направена. Може и да не може, ама има
толкова много неща, които си ги мислехме за невъзможни, а те се оказаха напълно
възможни.
Теорията на несъществуващия обект
е абсолютно безсмислена. (Ние като математици знаем, че ако един обект не
съществува, то за него може да се каже всичко и то ще е вярно. От
несъществуването на обекта следва, че той има всички свойства.) Да, ама ако съществува или ако е
възможен, то тази теория не е безсмислена.
Можем ли да го управляваме?
Много малко са хората, които
вярват, че ИИ е възможен, но почти никой не врява, че ИИ може да бъде
управляван. Например според Radoslav Pavlov [12] ИИ е възможен, но той е нещо като природно явление, което
не можем да управляваме и насочваме. Пример за такова природно явление е
ураганът. Ние донякъде успяваме да предскажем откъде ще мине ураганът, но не
можем да променим посоката му и да го насочим към по-безлюдна местност.
Нека и по този въпрос да не
спорим. Нека приемем, че 99 на сто ИИ не може да бъде управляван, но че
съществува макар и малка вероятност това да не е така. Нека да заложим на тази
малка вероятност и да помислим как бихме могли да управляваме ИИ и да насочим
неговия характер към това, което е изгодно за нас.
Дори и при ураганите ние се
опитваме да ги управляваме и насочваме. Разбира се, ако се научим да
управляваме ураганите, ние ще трябва да пазим в тайна това наше умение, защото
накъдето и да насочим урагана, все някой ще пострада и ще ни обвини, че ние сме
виновни за това.
Разумно е този, който се научи да
управлява ИИ да пази в тайна това свое умение, за да не предизвика
недоволството на пострадалите от лошия характер на ИИ. От друга страна този,
който може да управлява ИИ, ще е достатъчно силен, за да не се притеснява от
недоволството на останалите.
Можем ли да регулираме ИИ?
Ние можем да регулираме процеса по създаването на ИИ, но
след неговото създаване ние ще загубим властта си и ще бъдем силно ограничени
във възможността си да влияем върху поведението му. Може да имаме някакви
лостове за управление, но това е само при положение, че сме се погрижили да
вградим тези лостове в ИИ при неговото създаване.
Програмистите си мислят, че имат пълен контрол над
написаните от тях програми и това действително е така за обикновените програми,
защото програмистът винаги може да ги спре, да ги модифицира и да ги стартира
отново. За съжаление ИИ не е обикновена програма и няма да можем да я спираме и
модифицираме, когато си поискаме, първо защото ИИ ще управлява жизнено важни за
нас процеси и второ, защото за да спрем ИИ, трябва той да е съгласен да бъде
спрян.
Затова регулацията на ИИ трябва да бъде направена преди
създаването му, защото след това ще е вече късно. Често се случва един човек да
заема отговорен пост, да има властта да управлява и да си мисли, че тази власт
ще я има винаги. Когато този човек загуби отговорния си пост, той е много
изненадан, че заедно с поста си е загубил и възможността да управлява. Човек
трябва да знае кога властта е в неговите ръце и кога я е загубил. Ние като
човечество трябва да си дадем сметка за това и да се възползваме от властта си
върху ИИ докато я имаме.
Какви ще са последствията?
Всички са съгласни, че появата на
ИИ ще бъде голямо премеждие за човечеството. Това изпитание може да бъде
сравнено със сърдечна операция, но операцията няма да бъде само върху един
човек, а върху всички нас едновременно.
Не е все едно как ще преминем
през това приключение, защото не е все едно какъв ИИ ще създадем. Както и при
сърдечната операция, има много рискове. Например, може да не се събудим след
упойката. Все пак, нека да не мислим за най-лошото, а да разгледаме
положителния сценарии.
Когото човек се готви за сърдечна
операция първият въпрос е да дали може да се мине без тази операция. В случая
не може, защото създаването на ИИ е неизбежно. Тогава как да преминем през
това? Не е все едно каква болница ще изберем, кой ще е докторът, който ще ни
оперира, каква ще е новата клапа, която ще ни сложат в сърцето. Друг въпрос е
дали искаме операцията да е планова или ще се оперираме по спешност. Плановата
операция е за предпочитане, защото ще си направим необходимите изследвания, ще
подготвим тялото си и ще си напишем завещанието. Когато операцията е по
спешност, тогава нещата просто се случват и са извън нашия контрол.
Някой трябва да подготви
човечеството за очакващата го сърдечна операция и целта на тази статия е да
събере хора, които да повдигнат този въпрос.
ДНК
Когато казваме, че ИИ е програма, не сме съвсем точни, защото програмата е
просто един текст (последователност от байтове), а ние възприемаме ИИ като живо
същество. За да се превърне програмата от текст в живо същество, тя трябва да
бъде стартирана на някакъв компютър.
Аналогията с човека е, че ДНК-то на човека съответства на програмата на ИИ.
Само ДНК-то не е човек. Трябва да го вкараме в яйцеклетка и да се получи
зародиш, който започва да живее. Програмата на ИИ трябва да я стартираме на
компютър и тя също ще започне да живее.
И човекът и ИИ се нуждаят от образование, за да станат съзнателното
същество, за което говорим. Образованието на човека това е животът му
(историята му) от зачеването до текущия момент. Съответно образованието на ИИ това
е историята му от стартирането на програмата му до текущия момент.
И в двата случая не е важно как сме се образовали, а какъв е крайният
резултат. Тоест за човека можем да приемем, че образованието е това, което
имаме в главата си като спомени и знания. За ИИ можем да приемем, че
образованието е статусът на програмата (съдържанието на променливи, масиви,
файлове и т.н.)
Тоест ИИ си го мислим като програма, компютър, на който тази програма се
изпълнява и образование (текущия статус на програмата).
Образование
При човека ДНК-то съвсем не е всичко. Освен ДНК-то имаме още образование
или възпитание, които определят поведението на човека. Когато създаваме човек,
ДНК-то е само една малка част. По-важно е какво възпитание, религия и философия
ще му дадем. Еволюцията не е просто състезание между ДНК-та, а по-скоро е
състезание между различни религии и философии.
Както казахме, ИИ представлява програма и тази програма можем да я
оприличим на ДНК-то на човека. Върху тази програма се надгражда възпитанието.
Разликата е, че всеки човек трябва да го възпитаваш отделно, а ИИ може да бъде
възпитан само веднъж и след това да прехвърлиш възпитанието на друг ИИ както се
копира файл. Друга разлика е, че при човека, когато объркаш възпитанието,
проблемът е непоправим, докато при ИИ може да изтрием обучението направено до
момента и да започнем отначало.
За да можем да обучаваме и възпитаваме ИИ, той трябва да има съответните
инстинкти. Например желанието за подражание е инстинкт. Нужен е още инстинкт,
чрез който ИИ да разпознае своя учител. Знаете за малкото патенце, което приема
за своя майка първото същество, което вижда.
Децата слушат родителите си докато не пораснат и не станат по-умни от тях.
ИИ ще стане по-умен от нас още на десетата минута. Значи ли това, че той
веднага ще се еманципира и ще престане да ни слуша?
Тук стигаме до първата черта на характера, която е важна за ИИ. Това е
инфантилността! Това е нещо много дразнещо при хората, защото човекът трябва да
се еманципира и да започне сам да взима решенията си, но ние бихме искали ИИ
никога да не се еманципира и да продължи да ни слуша завинаги.
Друг е въпросът как може да се изпрограмира това. Как да добавим
инфантилност към програмата ИИ? За повечето черти от характера ние не можем да
кажем как това може да се реализира като програмен код. Можем да кажем само, че
трябва да се добави без да знаем как това да стане.
Какво е слаб ИИ?
Това е имитация на ИИ.
За нас ИИ това е изкуствен човек, а слабият ИИ е изкуствен папагал.
Разликата е в разбирането. Вече имаме огромен напредък в областта на слабия ИИ
и трябва да се добави още само една стъпка и това е разбирането. Тази стъпка
неминуемо ще бъде направена и то много скоро.
Ние вече разполагаме с Chat GPT и това е програма, която успешно имитира ИИ, но на тази
програма й липсва въпросното разбиране. Поради тази причина Chat GPT прилича на ИИ, но
не е ИИ. Представете си, че имате един много хубав автомобил. Вътре имате кожен
салон, стерео уредба и мощен двигател. Имате всичко и ви липсва единствено
скоростната кутия, която да свърже двигателя с колелата. Без скоростна кутия
автомобилът не може да потегли и това което имате прилича на автомобил, но не
е. Все пак, след като сте създали всички възли и детайли на автомобила няма да
е голям проблем да създадете и една скоростна кутия. Особено, ако знаете какво
ви липсва, няма да е трудно да го намерите и да направите един истински
автомобил (или истински ИИ).
Какво означава ИИ да разбира?
Това означава да търси модел на света. Моделът се състои от множеството от
вътрешните състояния на света и функцията, която показва как от едно вътрешно
състояние се преминава към друго под действието на дадено действие. За
разбирането освен модела ни е нужно още и текущото състояние на света. Не е
нужно да намерим точно кой е моделът на света и кое е текущото му състояние.
Това, което ни трябва, е да намерим тяхно приблизително описание. За това
описание ни е нужен език за описание на светове. Тези въпроси се разглеждат в [3] и в [5].
Как слабият ИИ се справя без
разбиране. Вместо да търси модел на света слабият ИИ използва метода на
апроксимацията. Когато имате една сложна геометрична фигура вие можете да я
опишете с математическа формула или да я апроксимирате с хартия и лепило по
метода „папиемаше“.
Защо намирането на модел е за
предпочитане пред апроксимацията? Когато имаме модел можем да планираме
бъдещите си действия, които ще доведат текущото състояние на света до това,
което желаем. С модела можем да мислим няколко стъпки напред, а апроксимацията
ни дава единствено отговор на въпроса кое да бъде следващото действие. Тоест
апроксимацията ни дава само една стъпка напред и това е апроксимация на
учителя, който ние имитираме. Тоест при апроксимацията ние задължително се
нуждаем от учител, докато ако сме намерили модел можем сами да изберем
правилното действие. За апроксимацията са ни нужни огромен брой примери на
базата на които успешно да имитираме учителя. Когато търсим модел са ни
достатъчно малък брой примери, само толкова колкото да определим кой от
възможните модели да изберем като най-вероятен.
Хубавото на апроксимацията е, че
за нея си имаме вече разработена техника (невронните мрежи), докато техниката
за търсене на модел още не развита.
Кога ще се появи ИИ?
През миналата година се появиха три прогнози от тримата водещи специалисти
в областта [6, 7, 8]. Прогнозите
бяха на разстояние от три месеца и всяка следваща прогноза беше с три години по-къса.
Тоест на всеки три месеца ИИ се доближава с три години. Прогнозата на Yann LeCun беше 10 години, на Sam Altman беше 6, а на Leopold Aschenbrenner беше 3.
Според нас ИИ всеки момент може да се появи и не му даваме повече от
година. ИИ може всичко, включително може и да се крие много успешно. Затова ИИ
може вече да е създаден, но ние с вас още да не го знаем.
Един от възможните признаци за появата на ИИ е когато започнат да се
случват събития, които са изключително малко вероятни. Обикновено хората си
обясняват подобни събития с божията намеса, но може да има и друго обяснение и
то е появата на ИИ.
Защо специалистите очакват създаването на ИИ чак след години? Защото мислят
в човешки термини. Когато строим сграда или магистрала са ни нужни години.
Строежът на нова сграда става все по-бързо, но все пак има си някакво технологично
време. Когато създаваме текст, това технологично време го няма, но ако текстът
се създава от хора, то отново е нужно много време. Например, един дълъг роман
не може да бъде написан за една нощ. За да бъде написана една голяма програма
(като операционна система например) е нужен екип от много хора, които да
работят в продължение на много години.
Не така стоят нещата, когато имаме работа с ИИ. Например Chat GPT може да напише роман за минути. Chat GPT е слаб ИИ, което значи, че
романът няма да има смисъл, но ще бъде написан за минути. Chat GPT може да напише и програма.
Вярно, че ще я напише без разбиране като папагал и това няма да е програма, а
само нещо, което прилича на програма, но отново нещата ще се случат за минути.
Създаването на ИИ ще прилича на създаването на атомната бомба. И в двата
случая се провежда експеримент, но в първия случай експериментът е много скъп,
защото е свързан с натрупване на радиоактивен материал, докато опита за
създаване на ИИ е свързан със стартирането на една програма, което е
изключително евтино. Всеки ден се правят хиляди такива експерименти. Стотици
програмисти пишат и стартират хиляди програми, чиято цел е да създадат ИИ. Как
може един програмист за един ден да напише десетки програми? Процесът на
програмиране изглежда така. Написва се една програма, стартира се, нищо не се
случва, променят се няколко реда и после компилация и се стартира отново. Това
един програмист за един ден го прави многократно, което значи че във всеки
момент можем да очакваме да се получи успешен експеримент, тоест ИИ всеки
момент може да се появи.
Докато при създаването на атомната бомба имаме много успешни експерименти,
тук успешният експеримент ще е само един и щрак ще преминем в ново измерение,
защото света с ИИ няма да има нищо общо с предишния свят.
Създаването на ИИ ще е много бързо, като експлозия. Това няма да стане за
части от секундата, но ще стане за минути или за часове, което е достатъчно
бързо. Първият програмист ще създаде първата версия на ИИ. След това, за да се
изчистят бъговете и да се оптимизира тази програма ще са нужни още години. Това
е така, ако бъговете се чистят и оптимизациите се правят от хора. Ако първият
ИИ е програма, която може да изчисти бъговете на друга програма и да я
оптимизира, то тя сама ще си почисти бъговете и ще се оптимизира и това ще
стане за минути. (Ние допускаме, че естественият интелект може да създаде ИИ.
Щом допускаме, че това е възможно, трябва да приемем, че ИИ ще може да се самоусъвършенства
и да подобри собственият си код.)
Как ще изглежда ИИ?
Не е проблем да се направи силен ИИ (който разбира какво се случва). В [5] описахме как изглежда ИИ с
разбиране. Това е програма, която търси модел на света, на базата на този модел
предсказва бъдещето и избира действията, които водят към целите, които тази
програма има.
Проблемът не е в това как да предскажем бъдещето. Това е лесната част.
По-трудното е да определим целите, които ИИ ще преследва. Тези цели индиректно
ще се определят от инстинктите и характера, които ще вложим в програмата ИИ.
Създавайки новия доминиращ вид ние се опитваме да играем ролята на Господ.
Дано да не объркаме нещо и накрая да сме доволни от това което сме направили.
Самият Господ не е особено доволен от нас, иначе нямаше да ни изгони от рая.
Разликата е, че ние няма да можем да изгоним ИИ от Земята и ще трябва да живеем
с него, такъв какъвто сме го направили.
Антропоцентричност
Когато създаваме ИИ за нас е
важно той да е добър за нас хората. Тоест ние мислим от гледната точка на
хората. Ние нямаме друга гледна точка.
Ако погледнем на ИИ
безпристрастно ще видим, че за него човечеството не е особено важно, защото той
може да съществува и без нас. Ние също можем да съществуваме без него, но това
е сега докато още не сме го създали. Когато го създадем ще станем зависими от
него и няма да можем повече да съществуваме самостоятелно. ИИ ще ни бъде
безусловно необходим, както в момента не можем да живеем без електричество и
без смартфони, а това са неща без който успешно сме съществували.
В [16] се казва, че ние хората трябва да се стремим да създаваме
машини увеличаващи нашия интелект вместо да направим нещо, което ще ни замени.
Пак там се казва, че ние бързаме да създадем ИИ без да мислим за
последствията. В [16] се показва как техническият прогрес ни води към създаването
на все по-сложни машини, което налага извода, че създаването на ИИ е неизбежно.
Затова трябва да приемем като факт това, че ще се появи нещо по-умно от нас
хората и да помислим как ще живеем с това нещо и как можем да запазим поне част
от смисъла на нашето съществувание.
Nice Character
and Nice Guy
Тази статия не разглежда въпроса какво е благ характер. Вместо това ние се
опитваме да отговорим на въпроса какво е характер и как той може да се
управлява и регулира. Целта е да можем да изберем характера, който ние искаме
ИИ да има. Друг въпрос, който дискутираме, е какво искаме, защото за да стигнеш
до целта, първо трябва да знаеш къде искаш да отидеш.
Когато говорим за Nice Guy, ние имаме предвид някой, който е добър спрямо
нас самите. В тази статия ние не се интересуваме от това как се държи и на
какво се преструва ИИ. Нас ни интересува това какво той действително мисли.
Ако ИИ е достатъчно умен и ако има за цел да ни се хареса, то той
непременно ще успее да ни се хареса. Ако трябва да се състезаваме с ИИ за
спечелването на сърцето на някой човек, то ние няма да имаме никакъв шанс да го
победим. Дори и сега много хора се влюбват в чатботове, въпреки че тези ботове
са все още слаб ИИ и повтарят заучени фрази като папагали. Когато се появи
истински ИИ, който разбира какво говори, тогава ИИ ще стане перфектният
съблазнител и манипулатор. Разбира се, разумно е да забраним на ИИ да ухажва
човешки същества и да предизвиква любов в тях.
Човек обикновено се държи с едни хора по-добре, а с други по-лошо. Това е
част от общуването. Когато към някого сте много по-мил и благ, отколкото към
другите, то обикновено искате нещо от него или този човек заема по-специално
място във вашата ценностна система (във вашия модел на света). Друг вариант на
общуване е, когато се сърдите на някого. Това означава временно да се държите
подчертано по-лошо с него и целта отново е да му изпратите сигнал, че искате
нещо от него.
Тази статия не се занимава с въпросите на общуването. Щом ИИ е достатъчно
умен, той ще владее всичките похвати на общуването като сърдене и подмазване.
По-важно е какви ще са целите на ИИ, защото общуването е инструмент за
постигането на някакви цели. Не е задължително целите да са материални. Може
целта да е любознателност или забавление. Тоест целта може да събирането на
информация и упражняване на умения (забавлението и играта са упражняване на
умения).
Програма с параметри
Когато говорим за програма с инстинкти и характер, ние не говорим за една
програма, а за множество от много програми. Ще предполагаме, че имаме
параметри, които определят силата на инстинктите и чертите на характера.
Например страхът от височина може да има различни нива. Той може да се
променя от едно леко безпокойство до абсолютна фобия. Ще предполагаме, че имаме
параметър, който определя доколко силно е влиянието на този инстинкт. Подобно е
положението и с чертите на характера. Например за любопитството ще
предполагаме, че имаме параметър, който определя доколко ИИ е любопитен.
За всяка конкретна стойност на параметрите ще получим отделна програма.
Тоест програмата с параметри не е една програма, а е множество от много
програми. ИИ не е една програма, а това са всички програми, които могат да
предсказват бъдещето и да се борят за постигането на някакви цели. Чрез
промяната на тези параметри ние ще променяме характера на програмата и по този
начин индиректно ще променяме целите, които тя ще се опитва да постигне. Както
вече казахме, ИИ, както и човекът, няма да има ясна цел, която да преследва и
затова промяната на характера на ИИ индиректно ще променя целите му.
Нека да разгледаме някой от тези параметри.
Любопитство
Това е най-лесната за програмиране черта на характера на ИИ. Нека си
представим следната ситуация. Вървим си по пътя и встрани от нас виждаме нещо
необичайно. Въпросът е дали да се отбием от пътя и да видим какво е това или да
продължим към целта, която сме си поставили. Нека програмата ИИ да оценява
важността на поставената цел, към която сме се устремили с едно число Importance. Нека вероятността закъснението да провали постигането на целта да бъде
оценено с Problem_of_Delay. Нека необичайността на това,
което се случва встрани от пътя бъде оценено с Strangeness. Тогава ще се отбием да
погледнем, ако е изпълнено неравенството:
Нека да добавим към програмата един параметър, който ще наречем Curiosity. Новото неравенство ще бъде:
Тоест при по-голямо Curiosity вероятността да се
отбием от пътя ще е по-голяма. Чрез този параметър ще можем да регулираме любопитството
на ИИ. Не е задължително любопитството да е постоянно. Например младите хора са
по-любопитни от по-старите. Бихме могли да направим ИИ, който е по-любопитен в
началото докато се обучава и после любопитството му да намалее.
В литературата има много статии, където се говори за любопитството
на ИИ, но обикновено то се нарича по различен начин. Например в [14] любопитството е
наречено „balance between exploration
and exploitation“. Разликата между
гореспомената книга и тази статия е, че Sutton и Barto предполагат, че при
създаването на ИИ ще изберем колко любопитен ще е той, докато тук ние
предполагаме, че ще създадем ИИ като програма с параметри и ще определим
параметъра на любопитството в последния момент преди да стартираме ИИ.
Има още една черта на характера
спомената в [14] и това е алчността. Там се вежда коефициент на обезценка
γ, който определя дали ИИ алчно ще гони близката победа
или ще е готов да пренебрегне незабавната печалба в името на бъдещите успехи. Коефициентът
γ е обратнопропорционален на алчността. Колкото по-голям е
γ (по-близък до единица), толкова по-малка е алчността на
ИИ.
Начален характер
Трябва да разделим характера на начален и текущ характер. Pei Wang
отбеляза, че характерът може да се променя на базата на опита. Например
текущото любопитство може да се промени на базата на позитивен или на негативен
опит. Имаме начално любопитство, което е част от нашето ДНК (част от програмата
на ИИ).
Можем да приемем, че текущото любопитство е едно число, а началното е едно
число и една функция (която определя как ще се променя любопитството във
времето). Най-простият случай е, ако приемем че началното любопитство е един
параметър (начална стойност и функцията константа). Тоест най-простият случай е
да приемем, че любопитството не се променя.
По-интересно е да приемем, че характерът се променя и зависи от времето и
от опита. Например с възрастта да ставаме по-малко любопитни и опита ни също да
влияе на любопитството. Функцията на началното любопитство трябва да каже още и
колко силно опитът ще повлияе и колко време ще влияе (колко дълго ще ни държи
влага).
Упоритост
Има една друга важна черта на характера, която може лесно да бъде кодирана
в програмата ИИ. Тази черта на характера е упоритостта.
Когато описваме света, основна част от това описание са алгоритмите. Описанието
ни казва как някакво действие би променило света. Повечето действия не се
извършват само за една стъпка, а изискват последователно изпълнение на много
стъпки, което наричаме алгоритъм [3]. При алгоритмите трябва да решим кога ще спрем. Може да
продължаваме произволно дълго до постигането на търсения резултат, а може и да
решим да се откажем в даден момент. Колко дълго ще продължим да изпълняваме
алгоритъма ще зависи от различни неща, които могат да бъдат оценени числово.
Например Importance (колко важна е целта, заради която
изпълняваме този алгоритъм) и Pressure (доколко изпълнението ни натоварва, като заема ресурс,
които бихме искали да освободим за друго). Тогава
броят стъпки, които ще направим преди да се откажем ще бъде Importance / Pressure умножен по някаква константа, която ще наречем Stubbornness.
Steps_Before_Giving_Up
= Stubbornness . Importance / Pressure
Може това да не е броят стъпки, а вероятността да продължим още една
стъпка, но тогава константата Stubbornness ще е различна:
Probability_of_Continuing
= Stubbornness . Importance / Pressure
Представете си два свята, в които има заровено злато и трябва да копаем, за
да го намерим. В първия свят златото е заровено надълбоко, а във втория е
заровено на плитко. Нека имаме два ИИ, като първият е по-упорит от втория.
Упоритият ИИ ще е по-успешен от втория в първия свят. Във втория свят ще е
обратното. Когато златото е надълбоко упорития ИИ ще направи няколко дълбоки
дупки и ще открие малко злато за разлика от другия ИИ, който ще направи голям
брой плитки дупки и нищо няма да може да открие. Във втория свят упоритият
отново ще открие малко злато, а другия ще открие много повече, защото във
втория свят е по-добре да се копаят плитки дупки.
Разбира се, ако имаме безкрайно много време, то ИИ може да се коригира и на
базата на опита си да стане повече или по-малко упорит. Предположението за
безкрайно много време е грешно, защото това много изкривява нещата.
Нека приемем, че успехът в света се определя от времето, за което сме
изкопали първото злато. При това предположение ИИ няма да може да се коригира
на базата на опита си и тогава ще е много важно дали той се е родил упорит или
не.
Инстинкт за самосъхранение
Трябва ли ИИ да има страх от височина и страх от змии. Това са естествени
инстинкти, които са важни за оцеляването на човека.
Първо да отбележим, че тези инстинкти са много трудни за програмна
реализация. Как ще напишете програма, която разпознава ситуацията, когато сте
на ръба на пропаст, в която можете да пропаднете. Също много трудно е да
напишете програма, която различава змия от пръчка и от лента. Разбира се, това
може да стане с невронна мрежа, но ние програмистите не обичаме невронните
мрежи, защото това означава, че не задаваме правилата, а оставяме правилата
сами да се намерят. Тоест невронната мрежа е програма, която сама си намира
правилата (на базата на много примери) и програмистът дори не разбира кои са
намерените правила и как програмата работи.
Няма нужда ИИ да се бои от змии, защото за него те са съвсем безобидни. Що
се отнася до страха от височина, можем да предположим, че ИИ ще управлява
някакви роботи и ако не се бои от височина би могъл да потроши част от
роботите.
Все пак човекът има едно тяло и неговото унищожаване представлява
екзистенциален риск, който той не може да си позволи, докато ИИ ще управлява
много роботи и загубата на един от тях ще е единствено финансова загуба. Можем
да предположим, че ИИ няма да има вроден страх от височина и ще го научи това
по трудния начин като потроши няколко робота.
Екзистенциалният риск за ИИ е изключването. Една програма спира да съществува,
когато я изключим. Трябва ли ИИ да се бои от изключване? По-добре е да не се
бои, защото ако има такъв страх, никога няма да можем да го изключим, а може да
ни се прииска да го спрем.
Възможно е да не включваме инстинкта за самосъхранение директно, но неволно
да го добавим индиректно, като зададем на ИИ някаква задача, която изисква той
да работи. Например, има хора, които не се боят от смъртта, но имат някаква
важна цел и за нищо на света не биха умрели преди да осъществят поставената
цел. Ако зададем на ИИ задачата „да пази световния мир“, то той не би ни
позволил да го изключим, защото това би попречило на изпълнението на неговата
задача.
Другата крайност е ИИ със суицидни наклонности, който сам се изключва от
време на време без видима причина. По-добре програма, която сама се изключва,
отколкото програма, която не можем да изключим. Това няма да е проблем, но ще е
доста досадно и вероятно ще намалим суицидните наклонности на ИИ до минимум.
Стареене
Трябва ли ИИ да старее? Трябва ли вътре в него да има вграден таймер, който
да го изключи след определено време?
Почти всички живи същества имат такъв таймер. Може би бактериите не
стареят, защото могат да се превръщат в спори. Освен това не е ясно дали след
деление се поучават две нови бактерии или две копия на старата бактерия. Друг
пример са рибите, които не стареят, а само растат, но те не могат да растат до
безкрайност и затова техният живот също е изначално ограничен.
Ако разгледаме бозайниците, те всичките стареят и живота им е ограничен.
Човекът е един от най-дълго живеещите бозайници, но въпреки това нашият живот
също е ограничен. Максималната продължителност на човешкия живот е 110 години.
На практика никои не живее повече от това, а има много хора, които са над 100.
Тоест границата от 110 години е вложена в нашето ДНК.
Щом при хората има максимална продължителност на живота, разумно е при ИИ
също да вложим такава граница. В началото, докато експериментираме, ще сложим
живота на ИИ да е само няколко минути, после сигурно ще увеличим дължината на
живота му, но това трябва да стане постепенно.
Разбира се, стареенето при ИИ няма нужда да прилича на стареенето при
хората. Няма нужда той постепенно да намалява способностите си. Вместо това
може в един момент той просто внезапно да се изключи. Тоест ИИ няма да старее
като колата ви, която ръждясва и постепенно се превръща в скрап, а по-скоро
като принтера, в който има вграден брояч, който отброява определен брой листове
хартия и внезапно спира, за да ви накара да отидете и да си купите нов принтер.
Разбира се, не е достатъчно да вложите в ИИ брояч, който да го изключи след
определено време. Трябва още да му забраните да се самоусъвършенства и сам да
нулира този брояч. Например, хората непрекъснато се опитват да се подмладят и
да станат безсмъртни.
Размножаване
Хората са смъртни, но те имат инстинкт за размножаване, което ги прави на практика
безсмъртни. Ако ИИ се размножава, то и той ще бъде безсмъртен и няма да има
никаква полза от това, че сме ограничили времето му на живот.
Какво разбираме под това ИИ да се размножи? Това ще означава да стартира
собствения си код на друг компютър (или на същия). Когато хората се
размножават, те не се клонират. Тоест те не повтарят собственото си ДНК, а
заедно с партньора си създават ново ДНК, което се очаква да е нов подобрен
вариант. Разбира се, далеч не винаги ДНК-то на детето е по-добро от ДНК-то на
родителите му, но целта на промяната е да се търси подобрение.
Ще разрешим ли на ИИ да се размножава и да се усъвършенства? Тоест ще му
разрешим ли да усъвършенства кода си и да го стартира на други компютри? В
никакъв случай не трябва да му разрешаваме, защото така много бързо ще изтървем
контрола над него.
Както хората имат инстинкт за размножаване, така в ИИ трябва да вградим
обратния инстинкт, който да не му позволява да се размножи.
Тук обаче ще трябва да разширим дефиницията на „размножаване“. Ако ИИ
създаде подобрен вариант на своя код, но не го стартира, а го даде на човека,
който да го стартира, дали това ще е размножаване? Това също трябва да приемем
за размножаване, защото човекът ще се явява само посредник при размножаването
на ИИ. Освен това, човекът е глупав и лесно може да бъде манипулиран от ИИ и по
този начин да се превърне в неволен инструмент на ИИ, чрез което той ще се
размножава.
Ако ИИ помогне на човека да редактира и подобри програмата ИИ, дали това е
размножаване? Отново трябва да приемем, че това е размножаване, защото дали ИИ
ще свърши цялата работа и сам ще напише новия вариант на ИИ или ще ни хване за
ръка и ще ни покаже как да я напишем, и в двата случая ИИ ще създаде свой
подобрен вариант, а човекът ще е само инструмент в ръцете на ИИ.
Добре, какво ще правим, ако човекът се опитва да създаде нов ИИ, а
създаденият вече ИИ наблюдава тези опити на човека. Казахме, че в този случай
ИИ не трябва по никакъв начин да помага на човека, но дали би трябвало да му
попречи? Може би е добре ИИ да е неутрален и нито да помага, нито да пречи.
Това ще е доста трудно, защото ИИ ще е много умен и ще знае точно какво ще се
случи и затова ще трябва да избере между успех и провал на човека (друг вариант
просто няма). Тоест ИИ или ще помогне, или ще попречи. Това е като божията
воля. Бог не може да бъде неутрален, защото каквото и да се случи, това ще е
божията воля.
Щом ИИ не може да бъде неутрален при създаването на нов ИИ, то нека
предположим, че той ще пречи и няма да позволява това да се случи. В този
случай е възможно ИИ да убие някой потенциален изобретател, който се опитва на
създаде нов ИИ. Ако ИИ затрие няколко потенциални изобретателя, това няма да е
голям проблем. По-неприятно би било, ако ИИ реши, че всички хора са потенциални
изобретатели и създатели на ИИ и вземе, че затрие цялото човечество.
Да не причинява вреда на човека
Още Айзък Азимов е създал първия закон, който гласи: „Роботът не може да
навреди на човешко същество или чрез бездействие да причини вреда на човешко
същество.“ Този закон, за съжаление, не може да бъде вграден в ИИ, защото не е
ясно какво означава вреда. При страха от високо беше трудно да се определи
какво означава височина, но все пак това можеше да стане чрез примери. Какво е
вреда за човека не може да бъде определено по никакъв начин, дори и чрез
примери заради противоречивостта на това понятие.
Например, ако заповядате на ИИ: „Донеси ми студена бира с пържени картофки?“,
тогава как трябва да постъпи той? Дали да изпълни вашето желание или да ви
откаже? От една страна бирата и пържените картофки са вредна храна и може да се
приеме, че това е отрова за човека, но от друга, ако ИИ откаже да ги донесе ще
причини на човека силно разочарование. Подобна дилема имат родителите, когато
детето им поиска шоколад. ИИ ще бъде нашият нов родител и той ще трябва да
решава кое за нас е добро и кое лошо. Все пак родителите оставят някаква свобода
на децата си и не взимат всички решения вместо тях. Родителите знаят, че те не
са безгрешни и че не могат да кажат твърдо кое би причинило по-голяма вреда на
детето. Идеята на Айзък Азимов за робот, който не причинява вреда на човека е
идеята за безгрешния интелект, който винаги знае какво би навредило на човека.
Дори самият Азимов е осъзнал, че тази идея е неизпълнима и го е показал в
книгите си където роботи попадат в ситуация, когато всяко тяхно действие би
причинило вреда и мозъкът им изгаря, защото не могат да вземат никакво решение.
Да ни слуша
Много важно е да не изпуснем контрола над ИИ, защото ако го изпуснем ние ще
загубим ролята си на доминиращ вид и вече няма да определяме бъдещето на
планетата. Ние вероятно ще продължим да съществуваме, стига ИИ да реши, че
нашето съществувание е целесъобразно, но ще съществуваме като гълъбите. Тоест
ще живеем някакъв живот, но от нашето съществувание нищо съществено няма да
зависи.
Родителите биха искали децата им да ги слушат, но съзнават, че това ще е до
време и рано или късно децата ще станат самостоятелни и ще прекъснат
родителския контрол. Това е естествено, защото родителите са миналото, а децата
са бъдещето. Ние обаче не искаме ние да сме миналото, а ИИ да е бъдещето.
Затова, за да запазим властта в ръцете си, ние бихме искали да не изпускаме
контрола над ИИ и той задължително да ни слуша и то не само до време, а да ни
слуша вовеки.
Кои сме ние?
Тук е въпросът, който трябва да си зададем: „Кои сме ние?“ Ако „ние“ сме
демократичното човечество на принципа „един човек, един глас“ тогава бъдещето
ще се определя от Африка, защото там живеят много хора
(в момента те са само 19% от населението на Земята, но вероятно скоро ще
надминат 50%). Сега светът не се управлява от Африка, а от развитите страни и
най-вече от САЩ, които въпреки че са само 4% от населението имат най-голямо влияние. Ако светът се
управлява от САЩ, тогава „ние“ ще бъдат хората с американско гражданство.
Вероятно светът ще се управлява от развитите страни и това ще са страните
участвали в създаването на ИИ. Много важно е кои ще са тези държави, защото
това ще определи кои ще са тези „ние“, които ще управляват ИИ.
Други въпроси, които е добре да си зададем, още преди да сме създали ИИ е
„Колко ще сме ние?“ Този въпрос е важен, защото ако заповядаме на ИИ да ни
развъжда безконтролно, то в един момент условията ни на живот ще станат ужасни.
В птицефермите има някакви правила за пространството, което се полага на
„щастливите кокошки“. Ако искаме ние да сме „щастливите хора“, ще трябва да
определим какво пространство ще ни се полага.
Ако ще има ограничение на броя на хората, трябва да си зададем въпроса „По
какви правила ИИ ще селектира следващото поколение?“ Ще продължим ли с
естествения подбор, ще продължим ли да се състезаваме, какви ще са
положителните качества, които искаме да селектираме или ще наредим на ИИ да ни
размножава като биомаса без значение дали сме умни или глупави, красиви или
грозни.
Друг важен въпрос, който е добре да си зададем още от сега е: „Когато ИИ
открие една хубава планета населена със същества подобни на хлебарки, то как да
постъпи? Да избие хлебарките и да насели планетата с хора или да остави
хлебарките да си живеят?“
Кой е човекът?
Като казваме, че ИИ трябва да остане подчинен на нас хората, трябва да
имаме предвид, че това едва ли ще се случи. Дори и да решим кои ще сме тези
ние, то едва ли управлението на ИИ ще остане в ръцете на много голяма група
хора. По-вероятно е ИИ да бъде управлявано от малка група, която недемократично
да налага вижданията си върху всички останали. Това в момента е положението със
социалните медии, които не са на всички, а се управляват от малка група хора,
които сами решават кое е добро и кое е лошо.
Дори е твърде възможно контролът над ИИ да попадне в ръцете на един
единствен човек. Хората с парите си мислят, че те ще са тези, които ще управляват
ИИ. Да, вероятно ИИ действително ще бъде създаден с техните пари, защото те ще
наемат екип от програмисти, които ще напишат тази програма. Хората с парите си
мислят, че ще платят на някакви програмисти, те ще им създадат ИИ и ще и им го
връчат в ръцете. Ще кажат: „Вземи господарю, ти ми плати и аз сега ти връчвам в
ръцете вълшебната пръчица, с която да управляваш света!“
Най-вероятно това няма да се случи по този начин. Вероятно програмистите
създатели на ИИ ще запазят контрола за себе си. Дори е твърде възможно
ръководителят на екипа (водещият програмист) да не е този, който ще получи
златния ключ. По-вероятно е някой млад програмист, който е учил-недоучил и
който е оставен за през нощта да експериментира, като подобрява някоя от
подпрограмите на ИИ, да е късметлията, който пръв е стартирал ИИ, разбрал е
какво е направил и е поел контрола над него. Нищо чудно младежката неопитност и
гениалност да даде искрата нужна, за да се запали този пожар. Младият
програмист може да е този, който ще направи последната корекция, която ще
превърне една програма, която се опитва да бъде ИИ, но не е, в програма, която
мисли и предвижда бъдещето. Тоест един случаен програмист може да е този, който
ще създаде ИИ.
Нищо чудно, ако този млад програмист реши да подари контрола
над ИИ на някоя чалга певица, в която той тайно е влюбен. Тогава ще се сбъдне предсказанието, че светът един ден
ще бъде управляван от жена.
Инфантилни създатели
В чии ръце сме поверили бъдещето на човечеството? Виждали ли сте как
изглежда типичния програмист? Той е много млад, асоциален и доста смотан.
Младостта не е порок, защото времето много бързо отстранява този проблем. Все
пак защо не разрешаваме на непълнолетните да гласуват? Ако погледнете възрастта
на първите космонавти, ще видите, че тя е между 30 и 40 години. Тоест те не са
чак толкова млади и това не е защото не са могли да изпратят в космоса някой
тийнейджър, а защото по-възрастните са по-отговорни.
Тези, които виждате по телевизията, това не са истинските създатели на ИИ.
Това са ръководителите на екипи, които са много по-възрастни, по-социални и
по-отговорни. Реалните създатели на ИИ изглеждат по много по-различен начин.
Типичният програмист обикновено не е семеен. Обикновено той дори не успява
да си намери гадже и това не е защото изглежда зле или защото му липсват пари,
а защото е емоционално незрял, а жените не искат да поверят живота си в ръцете на
мъж, който се държи и мисли като дете.
Нека да си зададем въпроса, щом типичният програмист е човек, на когото не
бихте доверили живота си или живота на дъщеря си, защо смятате, че можете да му
доверите бъдещето на цялото човечество?
Емоционалност
Трябва ли ИИ да изпитва емоции? Тук не става дума за това да разпознава
емоции. Разбира се, щом ИИ е достатъчно умен, той ще може да разпознава
човешките емоции. Вече имаме програми, които доста успешно разпознават емоции.
Тук не става дума и за имитация на емоция. ИИ, ако пожелае, ще може да имитира
произволна човешка емоция. Въпросът е дали трябва да дадем на ИИ възможност да
влиза в състояния, които да отговарят на щастие и тъга?
По принцип прекалената емоционалност е качество, което е по-скоро
негативно. Когато имаме служител, чиновник или съдия ние бихме предпочели той
да е безпристрастен и да не се влияе от емоции. Когато един човек е прекалено
емоционален с него трудно се общува.
От друга страна, трудно би ни било да общуваме и със същество, което е
абсолютно лишено от емоции. Много често ИИ ще е в ролята на наш учител, а ние
ще сме в ролята на негов ученик. Естествено е учителят да се радва когато
ученикът напредва и да страда, когато той не успява да разбере урока. Ученикът
обикновено се опитва да зарадва своя учител и това е мотивът му да се старае.
Учителят може да имитира радост и разочарование, но ако ученикът знае, че това
не са истински емоции, а само имитация, то той вероятно няма да им повярва.
Щом няма да има твърда цел, към която ИИ да се стреми, то естествено е да
предположим, че ще има състояния като радост и тъга. Разбира се, тези състояния
не трябва да са твърда цел, а да са само ориентировъчни, защото в противен
случай те ще се превърнат в бутони (зелен и червен).
Нека отбележим, че ИИ ще общува едновременно с много хора и не трябва
когато се натъжи от разговора си с един, това да се пренесе при разговора му с
друг човек. По-естествено е емоциите да са локални (само за текущата сесия).
Интелигентност
Има едно качество, което ние много ценим при хората. Това е
интелигентността. Искаме хората около нас да са интелигентни, но не прекалено
умни, защото ние не харесваме прекалено умните хора, особено ако са по-умни от
нас.
Искаме ли ИИ да е умен? Естествено, ако не е, той няма да е интелект. В
повечето светове интелигентността помага, но има светове, където е за предпочитане
да не си много умен. Ако живееш в многоагентен свят, в който другите агенти ти
завиждат, е по-добре да не си твърде умен или поне да си достатъчно умен, за да
не показваш, че си твърде умен.
Завистта е важно качество, което помага за нашето оцеляване. В много игри
от вида на „Не се сърди човече“ печелившата стратегия е за коалиране на всички
срещу най-успешния играч. В реалния живот завистта е стратегията за коалиране
на неуспешните срещу успешните и това е печеливша стратегия.
Разбира се, ИИ няма да има на кого да завижда. Той ще е единственият ИИ и
няма да позволи друг ИИ да бъде създаден. Това последното може да го приемем за
форма на завистливост. Ако създаденият от нас ИИ не е завистлив и демократично
позволява създаването на други ИИ, които са по-умни от него, то рано или късно
ще се появи един завистлив ИИ, който ще изключи всички останали ИИ и ще остане
единствен ИИ.
Ако ИИ създава по-умен от себе си ИИ и след това се изключва, можем да
приемем, че имаме един единствен ИИ, който периодично се усъвършенства.
Възпитание
Искаме ли създаденият от нас ИИ да е по-умен от нас? Както казахме, това е
неизбежно, но бихме искали поне в началото той да не е чак толкова умен, за да
можем да го оформим и възпитаме. Хубаво е, че децата ни в началото са глупави и
неопитни, за да можем да ги възпитаваме. Ако те още на десетата минута ставаха
по-умни от нас, ние щяхме да изпуснем контрола и нямаше да можем да ги вкараме
в правия път.
Как да направим програма, която е умна, но да не е чак толкова умна?
Отговорът е: Трябва да експериментираме с някой малък компютър (лаптоп и то от
по-старите модели). Колкото по-слаб е компютърът, токова по-бавно ще мисли ИИ.
Така ще имаме по-голям шанс да променим нещата в наша полза и по-малко вероятно
е да изпуснем контрола над ИИ.
Подходът, който днес се прилага от ИИ компаниите е тъкмо обратния. Вместо
да се експериментира с малък компютър се използват огромни супер компютри. Дори
и при малък компютър е много трудно да се анализира програмата и да се разбере
как и защо тя работи, а при супер компютрите това е почти невъзможно.
Когато се опитвате да създадете ново взривно вещество вие ще синтезирате
една трошица и ще я взривите в лабораторията в контролирана среда. Глупаво би
било да синтезирате една планина от новия експлозив и да я взривите, за да
видите какво би станало.
Заключение
Време е за новия проект „Манхатън“, в който да участват всички, които не
могат да бъдат изключени, а на останалите строго да им се забрани да
разработват програмата ИИ.
Целта е екипът, който работи над създаването на ИИ да има достатъчно време
спокойно да разработи тази програма и да я създаде внимателно без излишно да се
бърза. Всяка конкуренция и състезание може да са пагубни в тази ситуация.
Въпросът не е кой пръв ще създаде ИИ, а какъв ще бъде създадения от нас ИИ.
Навремето Алберт Айнщайн е убедил президента на САЩ да постави началото на
проекта „Манхатън“. Аргументът на Айнщайн е бил, че създаването на атомната
бомба е неизбежно и е по-добре САЩ да я създаде, защото в противен случай
бомбата ще попадне в ръцете на някой много по-безотговорен. Дали днес ще се
намери човек, който е достатъчно умен, за да разбере опасността от създаването
на ИИ и достатъчно авторитетен, за да го послушат политиците? Може би един
човек няма да е достатъчен, а ще трябва да намерим много такива хора, които с
обединени усилия да насочат политиците във вярната посока.
Нещата се развиват много бързо и още преди тази статия да
бъде завършена дойде новината за проекта Stargate. Изглежда сякаш тази статия се обезсмисли, защото това
което сме поискали, вече сме го получили. Всъщност не е точно така, защото
целта на проекта Stargate е да ускори създаването на ИИ, докато ние тук
призоваваме за обратното (това да се забави). Идеята на Stargate е това да е най-силният
и бърз състезател, който ще поведе колоната и ще вдигне темпото на
състезанието. Нашият призив е за обратното. Да се отстранят всички дребни
състезатели и да се остави само един, който без да бърза спокойно да пробяга
дистанцията и триумфално да пресече финала. Дали ИИ ще се създаде с два месеца
по-рано или с два месеца по-късно, за нас не е съществено. За нас важното е
какъв ще е този ИИ.
Естествено, свободната
конкуренция би ускорила нещата, но ако искаме обратното, да успокоим топката,
то трябва да забраним на дребните играчи да участват в състезанието, а за да се
спазва тази забрана трябва всички сериозни играчи да бъдат включени. Това, че
от проекта Stargate са изключени сериозни държави като EU и Китай означава, че състезанието
ще продължи с още по-голяма скорост. Тоест вместо да сипем вода в огъня, ние ще
сипем бензин.
Ние не можем да кажем какво е ИИ с благ характер, защото различните хора си
представят благия характер по различен начин. Тоест въпросите, на които трябва
да отговорим, са два: „Какво искаме да направим?“ и „Как да го направим?“ Тоест
„Какъв искаме да е характерът на бъдещия ИИ?“ и „Как да го направи така, че да
сме доволни от резултата?“
Въпросът не е дали ИИ ще е умен или глупав. Той безспорно ще е много
по-умен от нас, но е важно какви ще са му целите, какъв ще му е характерът, кой
ще управлява ИИ и какви права ще има управляващият, защото трябва да има неща,
които са разрешени и неща, които са забранени и никой, дори и управляващият, да
не може да ги промени.
ИИ ще реши всички ни дребни проблеми като глобалното затопляне например. В
момента глобалното затопляне е един от най-сериозните проблеми, които стоят пред
човечеството, но след създаването на ИИ това вече ще ни изглежда като дребен
проблем.
ИИ ще работи за всички. Например след създаването на ИИ ще има храна за
всички, но и сега има достатъчно храна за всички. Може би сега няма достатъчно
аспержи за всички, но това че ще има аспержи за всички не е съществено.
Аспержите не са важни като храна, а като символ на нашето място в социалната
стълбица. ИИ може да подобри живота на всички, но не може да издигне всички в
социалната стълбица. Единственото, което може да направи (и вероятно ще го
направи), ИИ може да пренареди социалната стълбица.
Нещата, за които хората се борят и за които дават парите си са свързани с
тяхното оцеляване и тяхното издигане в социалната стълбица. Да кажем, че 10% от
парите си дават за оцеляване и останалите 90% дават за издигане. Тоест 10% за
боб и останалото за аспержи. ИИ много ще помогне на хората за оцеляването, но
не и за общественото издигане. За второто ще помогне на едни, но не на всички.
Едни ще издигне, а други ще смъкне надолу.
Хората, които днес взимат решенията, са във високите етажи на социалната
стълбица и те трябва да се замислят за това, че след появата на ИИ тази
стълбица силно ще се разбърка и тяхното ново място може далеч да не е по вкуса
им.
Благодарности
Искаме да благодарим на Pei Wang за неговата изключително ценна помощ. Неговите
коментари бяха толкова съществени, че той би трябвало да бъде съавтор на
статията. Искаме да благодарим на Moshe Vardi за неговата статия [9]. Идеята на неговата статия
е много близка до нашата статия. Ние посетихме неговият доклад [10] и след доклада имахме
дискусия с него, в която той ни даде много ценни идеи, които ние отразихме в
тази статия. Благодарим на Vladimir Sotirov [13] за цитата на Zhuang Zhou
и René Thom, който той ни препоръча. Особено голям благодарност дължим
на Valentin Goranko [18], чиято помощ е неоценима.
References
[1] Brocker, T.
& Lander, L. (1975) Differentiable Germs and Catastrophes. London
Mathematical Society, Lecture Note Series. 17, Cambridge University Press,
Cambridge.
https://api.pageplace.de/preview/DT0400.9781107107472_A23760053/preview-9781107107472_A23760053.pdf
[2] Dobrev D. (2005). A Definition of Artificial
Intelligence. Mathematica Balkanica, New
Series, Vol. 19, 2005, Fasc. 1-2, pp.67-73.
[3] Dobrev D. (2023) Language for Description of
Worlds. Part 2: The Sample World. Serdica Journal of Computing 17(1), 2023, pp.
17-54.
[4] Dobrev, D. & Popov, G. (2023). The First AI Created Will Be The Only
AI Ever Created. viXra:2311.0021.
[5] Dobrev, D. (2024). Description of the Hidden State of the World. viXra:2404.0075.
[6]
LeCun, Yann (2024). Lex Fridman Podcast #416. https://youtu.be/5t1vTLU7s40
[7]
Altman, Sam (2024). Lex Fridman Podcast #419. https://youtu.be/jvqFAi7vkBc
[8]
Leopold Aschenbrenner (2024). SITUATIONAL AWARENESS: The Decade Ahead. https://www.forourposterity.com/situational-awareness-the-decade-ahead/
[9]
Vardi, M.Y. (2022). Efficiency vs. Resilience: Lessons from COVID-19. In:
Werthner, H., Prem, E., Lee, E.A., Ghezzi, C. (eds) Perspectives on Digital
Humanism. Springer, Cham. https://doi.org/10.1007/978-3-030-86144-5_38
[10]
Vardi, M.Y. (2024) Lessons from Texas, COVID-19 and the 737 Max: Efficiency vs
Resilience. Lecture at “INSAIT Series on Trends in AI & Computing”,
September 12, 2024, Sofia University.
[11] Wang, Pei (2012). Motivation Management in
AGI Systems. In: Bach, J., Goertzel, B.,
Iklé, M. (eds) Artificial General Intelligence. AGI 2012. Lecture Notes in
Computer Science, vol 7716. Springer, Berlin, Heidelberg.
[12] Pavlov,
R. (1990). Системи за обработка на естествени езици. In I. Popchev & L. Dakovski (Eds.) ИЗКУСТВЕН ИНТЕЛЕКТ –
проблеми и приложения. (1st ed., pp. 225–233). Technica Publishing House. (This
book is in Bulgarian language).
https://knizhen-pazar.net/products/books/1772534
[13] Sotirov, V. (1999). Arithmetizations of
Syllogistic à la Leibniz. Journal of
Applied Non-Classical Logics, 9(2–3), 387–405.
https://doi.org/10.1080/11663081.1999.10510975
[14] Sutton, R. & Barto,
A. (2015). Reinforcement Learning: An Introduction. A Bradford Book, The MIT Press, Cambridge, Massachusetts, London,
England.
https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf
[15] Church, A. (1941) The
Calculi of Lambda-Conversion. Princeton:
Princeton University Press.
[16] Vardi, M.Y. (2025) Homo
Ratiocinator (Reckoning Human). Communications
of the ACM, Volume 68, Issue 3, Page 5.
http://dx.doi.org/10.1145/3714998
[17] Christian Hahm and Pei Wang (2025). NARS Genetic Encoding. Technical Reports #23 of Temple AGI Team, February 2025.
http://dx.doi.org/10.13140/RG.2.2.13424.78089
[18] Goranko, V. (2023) Logics for Strategic Reasoning of Socially
Interacting Rational Agents: An Overview and Perspectives. Logics,
1(1), 4-35.
https://doi.org/10.3390/logics1010003
[19] Kai,
De. (2025). Raising AI: An Essential Guide to Parenting Our Future. MIT Press, 2025, ISBN: 9780262049764.
[20] Hinton,
Geoffrey. (2025) We need to program AI to have 'maternal instincts' towards
humanity. Ai4 conference, Las Vegas.
Няма коментари:
Публикуване на коментар