Минимален и максимален модел при Reinforcement Learning

Всеки тест ни дава едно свойство, което ще наречем резултата на теста. Продължението на това свойство ще наречем тестовото свойство. Въпросът е, какво представлява това свойство? Дали това не е свойство на състоянието на света? Отговорът е и да и не. Ако вземем произволен модел на света, то отговорът е не, но ако изберем максималния модел на света, то тогава отговорът е да. Имаме различни модели. Минималният модел е този, при който света знае за миналото и за бъдещето минималното, което му е нужно. При максималния модел света знае всичко за миналото и за бъдещето. При този модел, ако хвърлите зар света знае какво ще се падне и дори знае вие какво ще направите. Например, знае дали ще хвърлите зара.

Keywords: Artificial Intelligence, Reinforcement Learning, Partial Observability, Event Model, Double Model, Test Property, Test State.

Въведение

Ние се опитваме да разберем света. За да го разберем, ще използваме тестове. Пример за тест е:

Ако натисна дръжката на врата Þ вратата ще се отвори.

Тестовете съдържат някакво условие (предпоставка). В случая условието е, че съм натиснал дръжката на вратата. Когато условието е изпълнено, тогава теста е проведен и тогава получаваме резултата на теста, който е истина или лъжа. В случая врата се отваря или не се отваря.

Всеки тест ни дава едно свойство (резултата на теста). В случая свойството е „врата е заключена“. Ние не знаем каква е стойността на това свойство във всеки един момент, а само в моментите когато теста е проведен.

Ние ще предполагаме, че това свойство има смисъл във всеки един момент и ще се опитаме да продължим характеристичната функция на това свойство извън множество на моментите когато сме провели теста. Възможно е това свойство да не е тотално и да не е дефинирано във всеки един момент. Например, ако някой открадне врата, то въпросът дали тя е заключена губи своя смисъл. Тоест, ще се опитаме да продължим характеристичната функция на свойството, но не е задължително да получим тотална функция.

Каква е идеята в продължаването на резултата на теста до тестово свойство? Ако ви дам едно резенче (slice) от краставица, дали бихте могли от резенчето да възстановите цялата краставица? Разбира се, става дума за мислено възстановяване, а не за физическо.

Това възстановяване не е единствено и при него може да се получат различни обекти. Например, от резенчето от краставица можете да получите носорог, като си представяте, че това е резен от рога му. Разбира се, ние ще търсим продължения на резултата, които са максимално прости, естествени и достоверни.

Имайте предвид, че резенчето от краставица е нещо реално, докато самата краставица е нещо въображаемо и измислено. Ако ви дам да видите цялата краставица, то на вас ще е ви е по-лесно да си я представите, но вие може да си представите здрава краставица, а тя да се окаже изгнила отвътре. Тоест, никога вие не получавате цялата информация. Винаги получавате само една част (един резен информация), по който трябва да си представите целия обект.

Нека си зададем въпроса какво представлява това свойство (резултата на теста и неговото продължение). В различни моменти от времето свойството е истина или лъжа. Въпреки всичко, това не е свойство на времето, защото свойството не зависи толкова от конкретния момент, колкото от развитието на историята около този момент. Може би това е свойство характеризиращо състоянието на света (т.е. това е множеството от състоянията на света, при които свойството е истина).

Дали зависи свойството от миналото и от бъдещето? Обикновено тестът не се провежда в един конкретен момент, а продължение на известно време. Тоест, резултата от теста зависи от времевия контекст (близкото минало и бъдеще в рамките на провеждането на теста). Ако вземем тестовото свойство, то то зависи от по-широк времеви контекст и може да ни казва нещо за далечното минало и бъдеще на света.

Например свойството: „В писмото има добра новина“. Съответния тест е: „Отварям писмото и проверявам какво пише в него“. Това свойство ни казва нещо за бъдещето. По точно, казва ни какво ще прочетем в писмото, когато го отворим. Дали това е свойство на света? Дали света знае какво пише в писмото още преди да сме го отворили. Обикновено си мислим, че знае, но би могъл е да не знае. Например, повечето компютърни игри не си дават труда да изчисляват целия свят, а се грижат само за тази част от света, която играчът вижда в момента. Ако света е такава игра, то той ще реши какво пише в писмото чак когато го отворите. Друг пример, нека живота е телевизионен сериал. Ако в 1354 серия вие получите писмо и десет серии по-късно го отворите, то кога сценариста ще реши какво пише в писмото? Когато пише сценария на серията когато получавате писмото или когато пише серията когато го отваряте? Тоест, виждате, че света може предварително да знае, а може и да не знае предварително какво ще се случи в бъдеще.

Подобен е и въпросът с миналото. Например свойството: „Върнал съм се от почивка“ ни дава информация за миналото. Съответния тест е: Проверявам дали съм на почивка или в командировка и след това се връщам. Предполагаме, че ако сте се върнали от почивка и още сте си в къщи (никъде другаде не сте ходили), то продължавате да сте се върнали от почивка. Тоест, продължихме свойството за моменти, в които то не е тествано.

Нека предположим, че за бъдещето на света няма никакво значение дали сте се върнали от почивка или от командировка. Тогава има ли смисъл света да помни този факт? Въпросът, който вълнува историците е дали света помни миналото? Дали едно историческо събитие е оставило някакви документи или други следи за това, че се е случило? Отговорът е, че миналото може да се помни, а може и да не се помни.

В тази статия ще разгледаме два модела на света – минимален и максимален. При минималния светът помни минималното от миналото и знае минималното за бъдещето. При максималния е обратното, там светът помни всичко от миналото и знае всичко за бъдещето. Там светът знае точно какво ще се случи и дори знае вие (агента) какво ще направите.

Какво търсим?

Какво е дадено и какво се търси? В тази статия ще търсим обяснение на света. При Reinforcement Learning имаме един агент, който живее в някакъв свят. Света е един ориентиран граф подобен на този на фигура 1. Агентът се движи от състояние на състояние по стрелките и събира някакви награди (rewards). За него ще е много важно да разбере света, за да може да намери наградите. Има много статии, където се предполага, че света е даден и се търси стратегия, която би била успешна в този свят (например []). В тази статия ще предполагаме, че света е неизвестен.

Figure 1

На фигура 1 възможните действия на агента са отбелязани със стрелки, а възможните наблюдения са отбелязани с различни номера и цветове. На всяка стрелка би трябвало да има етикет (label), който да казва на кое действие съответства тази стрелка. На тази фигура етикетите са изпуснати, но се вижда, че понякога има една възможна стрелка, а понякога възможностите са няколко (при състояния 2 и 3). Ще предполагаме, че не всички действия са възможни, както и че имаме недетерминирани преходи. Тоест, ще предполагаме, че при конкретно състояние и конкретно действие може и да няма стрелка с този етикет излизаща от това състояние, както и че може такива стрелки да има повече от една.

Това, че допускаме недетерминирани преходи означава, че допускаме случайност. В [3] показахме, че има два вида случайност – прогнозируема и непрогнозируема. Тук използваме непрогнозируемата случайност (нещо се случва с вероятност в интервала [0, 1]). Тази случайност се използва още и при NFA (nondeterministic finite automaton). Там нещо може да се случи, а може и да не се случи, но не знаем с каква вероятност ще се случи. При POMDP (partially observable Markov decision process) се използва прогнозируемата случайност (нещо се случва с точно определена вероятност). В [3] доказахме еквивалентност между четирите вида модели (детерминирания, моделите с двете случайности и модела с комбинацията от двете случайности). Тоест, можем да работим, с който модел ни е най-удобно и ние сме избрали този.

Казваме, че имаме Full Observability когато можем по това, което виждаме да познаем кое е състоянието. Съответно, казваме че имаме Partial Observability в противния случай. Например, ако виждаме номера на състоянието, тогава имаме Full Observability, но ако виждаме само цвета, тогава не виждаме всичко. Например, ако виждаме „червено“ не можем да кажем дали сме в състояние 4 или в 5.

Ако имаме модела на света, то чрез него бихме могли да предскажем бъдещето. Например ако сме в състоянието 4 можем да предскажем, че следващото състояние ще е 6. Ако сме в червено състояние, можем да предскажем, че следващото ще е зелено или синьо. По същият начин както предсказваме бъдещето можем да предвидим и миналото. Трябва само да обърнем посоката на стрелките и милото става бъдеще. Единственият проблем е, че при обръщане на стрелките от детерминиран граф може да се получи недетерминиран, но ние избрахме да използваме като модели недетерминирани графи.

Какво ни е дадено? Дадена ни е историята до текущия момент. Тоест дадена ни е редицата от действия (outputs) и наблюдения (inputs или view).

a₁, v₂, a₃, v₄, … , a_t-1, v_t

Тук номерацията не показва номера на стъпката, а номера на момента. Във всяка стъпка има два момента. В първия извеждаме информация (това е нашето действие), а във втория въвеждаме какво виждаме. Тоест, номера на стъпката ще е номера на момента разделен на две.

Предпочитаме да разделим времето не на стъпки, а на моменти, заради събитийните модели където състоянията ще се променят в определени моменти. За една стъпка състоянието ще може да се промени два пъти, защото в стъпката има два момента.

Моментите ще са два вида – входящи и изходящи, които ще наричаме още четни и нечетни моменти.

Нека отбележим, че входовете и изходите ще са вектори от скалари. Ще предполагаме, че тези скалари са крайни. Бихме могли да се ограничим до булеви вектори, но няма да го направим за да избегнем излишното кодиране (виж [1]).

Към историята ще добавим още и некоректните ходове, които сме пробвали преди да изиграем поредния си ход.

bad₁, a₁, v₂, bad₃, a₃, v₄, … , bad_t-1, a_t-1, v_t

Тук елемента bad можем да си го мислим като списък от некоректни ходове или като множество, защото реда, в който сме пробвали некоректните ходове, е без значение. Ще считаме, че некоректните ходове са пробвани в същия момент, когато е изигран съответния коректен ход (затова списъка bad и следващия след него коректен ход a имат еднакъв индекс).

Дефиниция: Живот ще наричаме история, която не може да бъде продължена.

Една история не може да бъде продължена, ако е безкрайна или ако завършва със състояние, от което не излизат никакви стрелки. В [4] такива състояния нарекохме „внезапна смърт“.

Двоен модел

Фигура 1 е направена на базата на стандартния модел, който е базиран на стъпки. Ние ще използваме двойния модел, който е базиран на моменти.

Figure 2

Разликата между стандартния и двойния модел е илюстрирана на фигура 2. Двойния модел се получава от стандартния като всяко състояние бъде заменено от две състояния и стрелка помежду им. Всички стрелки, които са влизали в състоянието, сега ще влизат в първото, а стрелките които са излизали от състоянието, сега ще излизат от второто. Етикета, който е бил на състоянието сега е етикет на стрелката между новите състояния. При двойния модел само стрелките имат етикети, а състоянията нямат. Тук сме отбелязали нечетните състояния с по-малки кръгове, за да подчертаем, че имаме два вида състояния.

Изглежда сякаш в двойния модел състоянията са два пъти повече, но това не е така, защото ако две състояния са еквивалентни от гледна точка на бъдещето, то те мога да бъдат обединени (слети) в едно. В стандартния модел могат да бъдат обединени само състояния, които са еквивалентни от гледна точка на настоящето и на бъдещето. Тоест, в стандартния модел състоянието трябва да помни настоящето, докато в двойния няма такава нужда. Това е една от причините, поради която въвеждаме този модел. В тази статия за нас ще е много важно каква е информацията, която можем да извлечем от състоянието. Тоест, какво може да каже състоянието за миналото и за бъдещето. Настоящето е част от миналото, защото то вече се е случило.

В двойния модел състоянията ще са два вида. Състояния след вход и състояния след  изход. Ще ги наричаме още четни и нечетни състояния. По-важни са четните състояния, защото това са състоянията, в които мислим. В нечетните състояния ние не мислим, а само чакаме да видим каква информация ще ни даде света. (Може да предполагаме, че в нечетните моменти мисли светът. Така се редуваме, в един момент мислим ние, а в следващия мисли светът.)

Да вземем като пример света, в който играем шах срещу въображаем противник. Нашите действия ще са вектори от вида (x₁, y₁, x₂, y₂). Тези вектори описват нашия ход. Ще виждаме хода на противника и оценката (reward). Тоест, входа ще бъде вектор от вида (x₁, y₁, x₂, y₂, R). При двойния модел състоянията ще бъдат позициите на дъската. Четните състояния ще са тези, при които белите са на ход (т.е. ние сме на ход). Когато нашия ход завършва играта (например мат), тогава противника ще трябва да играе някакъв празен ход и да ни даде само оценката на играта. Т.е. вектор от вида (0, 0, 0, 0, R). Този празен ход трябва да премине към началната позиция, когато играта започва отначало.

При стандартния модел нещата ще са много по-сложни. Тогава състоянията ще са само позициите, при които белите са на ход, но ще трябва да се помни още и хода на противника довел до тази позиция. Тоест, състоянията ще са повече, защото позициите когато белите са на ход са два пъти по-малко, но ако всяка от тях може да се получи по средно 100 начина (от 100 различни позиции с 100 различни хода на противника), тогава, като теглим чертата получаваме, че стандартния модел ще има 50 пъти повече състояния.

Както казахме, при стандартния модел настоящето се налага да се помни, а в двойния не се налага. Да видим как стои въпросът с бъдещето. Ако играем шах срещу детерминиран противник, то тогава и двата модела ни дават детерминиран граф. Нека допуснем, че противника е недетерминиран и че за всяка позиция има по няколко възможни хода, които той може да изиграе. Тогава стандартния модел ни дава недетерминиран граф (един наш ход води до няколко различни ответни хода и съответните им позиции). Двойния модел пак си е детерминиран, защото нашия ход води до една определена позиция. От тази позиция излизат няколко възможни стрелки, които съответстват на възможните отговори на противника (ако противникът беше детерминиран щеше да излиза само една стрелка.)

Винаги ли двойния модел ни дава детерминиран граф? Не винаги, но винаги можем да го сведем до детерминиран. Да си представим същата игра, но сега няма да виждаме хода на противника, а само ще виждаме коя фигура е преместил. Тоест, няма да виждаме (x₂, y₂). Сега, когато знаем коя е фигурата, но не и къде е преместена, ще имаме няколко възможни позиции. Естествено би било да представим тази игра с недетерминиран граф, но можем да го направи и с детерминиран граф. Ако състоянието на света не е конкретна позиция на дъската, а е множество от възможни позиции, тогава на конкретния ход ще отговаря една единствена стрелка, която ще води до множество от възможни позиции. Тоест, при първия (недетерминирания) вариант света знае нещо повече за бъдещето, отколкото при втория. При детерминирания вариант света не знае коя точно е позицията. Знае кое е множеството от възможните позиции, а коя е точно позицията ще разбере по-късно когато това проличи по входа (по наблюденията). Това е като с писмото. В единия случай света знае какво пише в писмо, а във втория случай ще реши какво пише чак когато ти отвориш писмото.

Минимален модел

Един двоен модел на света ще го наричаме минимален, ако света знае за миналото и бъдещето само толкова колкото му е необходимо. При минималния модел, ако две състояния са еквивалентни спрямо бъдещето, то те съвпадат. Тоест, не се помни нищо от минало, което не ни е нужно, за да определим бъдещето. Освен това, минималния модел е детерминиран граф. Тоест, всяко нещо за бъдещето се разбира чак когато му дойде времето (когато то повлияе на наблюдението, но не по-рано).

Минимален модел не значи с най-малко състояния. Спрямо миналото минималността действително намалява състоянията, но спрямо бъдещето по-скоро ги увеличава (защото преминаваме от конкретни възможности към множества от конкретни възможности).

Процедурата по детерминизация винаги може да се приложи и винаги можем да получим детерминиран граф. Това, че графа е детерминиран не означава, че агента е детерминиран или че света е детерминиран. За да бъде агента детерминиран, трябва да няма разклонения в четните състояния, а за да бъде света детерминиран трябва да няма разклонения в нечетните състояния. Това, че графа е детерминиран означава, че състоянията знаят за бъдещето минималното. (Ако две състояния са различни, то те имат различно минало. Т.е. различни са защото имат различно минало, а не защото знаят нещо повече за бъдещето.)

Тук под детерминиран агент имахме предвид, че е принуден да играе детерминирано, защото има само един коректен ход. Обикновено под детерминиран агент разбираме такъв, който играе детерминирано без да е принуден да го прави.

Тотален модел

Когато един ход е некоректен стрелката по този ход просто липса и този ход просто не може да бъде направен. Бихме искали агента да може да пробва некоректните ходови и като ги пробва нищо да не се случи. Т.е. той да получи информация, че хода е некоректен, но да остане в същото състояние.

Тази цел ще я постигнем като добавим към всяко четно състояние (при което има некоректни ходове), по едно допълнително нечетно състояние (виж фигура 3). Всички некоректни ходове от четното състояние ще ги насочим към нечетното. От там ще се върнем обратно с една стрелка с етикет „bad“. Този етикет ще е един специален нов вектор, който сме добавили за целта и който ще получаваме като вход само когато опитаме некоректен ход.

Figure 3

На фигура 3 възможните ходове са отбелязани със стрелки с червен, син и зелен цвят. В състоянието s₀ има два некоректни хода, а в състоянието s₄ има само един. В състоянието s₂ няма некоректни ходове и затова за него не сме добавили допълнително нечетно състояние.

По този начин ще получим един тотален модел, при който всички ходове могат да се пробват, но коректните ходове реално променят състоянието на света, докато некоректните само дават информация, че са некоректни. Тоест, получаваме един нов тотален модел, който описва същия свят като предишния модел, с тази разлика, че некоректните ходове вече могат да се пробват.

Максимален модел

След като имаме минимален модел, може би има и максимален. Това трябва да е модела, при който състоянието знае всичко за миналото, всичко за това кои са коректните ходове и всичко за бъдещето.

Да знаем всичко за миналото е лесно, просто когато вървим назад (срещу стрелките) не трябва да има разклонения. Тоест, ако модела има формата на дърво, тогава състоянието ще знае всичко за миналото (тръгвайки от него назад ще можем да възстановим цялата история).

Да знае състоянието кои са некоректните ходове също не е трудно, защото това е крайна информация, която лесно ще добавим.

За да знаем всичко за бъдещето, трябва да няма недетерминираност. Тоест, ако хвърлим зар, трябва да знаем какво ще се падне. Ще построим модел, при който цялата недетерминираност ще е концентрирана в началното състояние. След като изберем началното състояние (по недетерминиран начин) нататък всичко ще е детерминирано.

Нека вземем дървото на всички достижими състояния. (Това е дърво, ако има еквивалентни състояния не ги сливаме в едно.) Ще детерминираме това дърво, макар това последното да не е задължително. От така полученото дърво ще получим всички стратегии на света. Това са поддървета, в които няма разклонения по наблюдението, а разклоненията по действията се запазват. Тези дървета са много (the cardinality of the continuum). От всичките тези дървета правим модел, където началните състояния ще са корените на всичките тези дървета.

Тук думата стратегия не е много подходящо да се използва, защото казваме стратегия, когато имаме някаква цел. Тук предполагаме, че агента има цел, а света няма цел. Ако предположим, че целия свят се опитва да ни помогне или да ни попречи, то това би било твърде егоцентрично. Въпреки това, ще предполагаме, че в света има агенти, които имат своите цели. Тоест, света няма цел, но въпреки това различните поведения на света ще наричаме стратегии.

Следователно направихме модел, който се състои от всички стратегии на света. Още преди да започне живота света избира по случаен начин една от стратегиите си и я следва до края на живота. Идеята е, още преди да започне играта да намислим как ще играем. Можем да намислим, че ако той ни играе с коня, ние ще отговорим с офицера и т.н. Едно такова намисляне представлява стратегия и се изразява с едно безкрайно дърво. Тези дървета са неизброимо много. Може да си намислим, че ще играем използвайки определена детерминирана програма. По този начин ние може да си намислим някоя изчислима стратегия, а те са само изброимо много.

Полученият модел е еквивалентен на модела, от който тръгнахме, защото всяка история, която е възможна при единия модел е възможна и при другия. При новия модел света се държи детерминирано, с изключение на първия момент, когато избираме началното състояние.

В този свят, ако вземем произволно състояние, то то знае почти всичко за бъдещето, с изключение на това, че не знае какво действие ще избере агента. Бихме искали да направим модел, при който дори и това да се знае от състоянието на света.

Тук има един проблем. Обикновено предполагаме, че света е даден, а агента е произволен. Тоест, няма как света да знае какво ще направи агента, защото той си няма идея кой агент ще му се падне. Сега ще предположим, че агента е фиксиран и че света би могъл да знае нещо за агента. Например, света би могъл да знае, че в определена ситуация агента няма да изиграе определен ход, макар че този ход е коректен и би могъл да бъде изигран. Това, че определен ход няма да бъде изигран от агента ще го отбележим с липсваща стрелка в графа на модела.

Сега ще предположим, че още преди да започне живота света и агента са решили как да играят. Тоест, избрали са своята стратегия, която ще следват до края на живота на агента. Това може да се опише с наредена двойка от две безкрайни дървета или чрез един безкраен път в дървото, защото резултата от прилагането на две фиксирани стратегии е един фиксиран път.

Така получихме максималния модел на света. Той се състои от всички възможни животи (това са пътища в дървото на достижимите състояния). Единственото, което ни липсва, това е информацията за некоректните ходове. За целта ще добавим примки (loops), както направихме, когато правехме модела да е тотален. Тук няма да получим тотален модел, защото ще добавим примки само по некоректните ходове, а не по всички липсващи стрелки. Така получаваме модела изобразен на фигура 4. (При s₂ няма примка, защото от това състояние не излизат некоректни ходове)

Figure 4

На тази фигура е изобразен само един живот, а не всички възможни животи, които са част от максималния модел. Нас ни интересува само един живот и това е живота, който живеем. Затова може да предполагаме, че максималния модел съдържа само един живот и това е живота, който ни интересува. По този начин ще загубим еквивалентността с първоначалния модел, но получения модел е това, което ни трябва, защото другите възможни животи не са важни.

В така получения максимален модел от всяко състояние може да се възстанови цялата история и дори целия живот. Пътищата напред и назад са без разклонения. Примките, които добавихме, няма да ги броим за разклонения, защото символа bad не се среща при наблюденията след коректен ход. Тук състоянието знае кои ходове са некоректни, но не знае кои от тях агента е пробвал. Тази информация не е важна за света, защото от нея не зависи нито миналото нито бъдещето. Разбира се, тази информация е важна за агента, защото той може да не знае кои ходове са некоректни и затова му е полезно да знае кои ходове вече е пробвал.

Заключение

Опитваме се да разберем света, тоест да намерим неговия модел. Проблемът е, че този модел въобще не е единствен. Може да имаме недостижими и еквивалентни състояния, но това не е проблем. Може да има части на света, които никога не сме посещавали и които никога няма да посетим. Например, има ли живот на Марс? След като никога не сме ходили там и никога няма да отидем, то това е без значение (тоест, това няма да се отрази на нашия живот).

Най-същественият проблем е, че имаме модели, в които света знае повече и модели при които света знае по-малко. Кой модел търсим? Отговорът е, че търсим максималния модел. Тоест, ние ще се стремим максимално да разберем миналото и максимално да предскажем бъдещето. Ще се опитаме да предскажем дори и собственото си поведение. Ние сме част от света и за да го разберем трябва да се опитаме да предскажем дори и собственото си поведение.

За да опишем максималния модел ние ще използваме така наречения разширен модел. В този модел ще представим състоянието на света като вектор с огромен брой координати (хиляди или дори безбройно много). От теоретична гледна точка, те ще са безбройно много, но на практика ще изберем само най-интересните от тях.

Първите координати, които ще сложим във вектора описващ разширеното състояние, това ще е какво виждаме в момента. При двойния модел наблюдението не е функция на състоянието на света, защото, ако състоянието е четно, то може да има много стрелки с различни наблюдения, които да влизат в него. Ако състоянието е нечетно, то съответно може да има много стрелки, които да излизат от него. Тук обаче говорим за максималния модел и в него винаги има само една влизаща и една излизаща стрелка. Тоест, при максималния модел какво виждаме в момента се определя от състоянието на света.

Към това което виждаме в момента ще добавим още тестовите свойства на различни тестове. Това не са резенчетата от краставица, които са нещо реално. Тава са измислените краставици, които ние сме измислили на базата на реалните резенчета. Тоест, разширения модел няма да е нещо реално, а ще е нещо измислено.

Въпрос: Ако имаме Full Observability, тогава има ли нужда да добавяме тестови свойства към вектора на състоянието на разширения модел? Отговор: Да има нужда, защото при Full Observability ние знаем кое е състоянието на света, но това е състоянието при някой модел, който не е максималният. Ако имаме Full Observability с максимален модел, то света е толкова елементарен, че чак не е интересен.

Как да измислим едно тестово свойство? Помислете си за свойството „заключена ли е вратата“. Пробваме и получаваме ту „заключено“, ту „отключено“. Много трудно е да направим модел и да разберем кога е заключено и кога отключено. Много по-разбираемо би било, ако допуснем, че имаме не една, а много врати. Тогава трябва да имаме идея пред коя врата сме застанали в момента. В този модел може някои врати да са постоянно отключени, други постоянно заключени, а трети да променят състоянието си по някакви правила. В този случай няма да добавим към разширения модел една координата, която да отразява едно тестото свойство. Ще добавим много координати, по една за всяка врата (която да отразява свойството на вратата) и една координата, която да отразява пред коя врата сме в момента. Това представяне в [3] беше наречено тестово състояние.

Пред коя врата сме застанали в момента се определя от събитийните модели, които ще разгледаме в следващата статия.

References

[1] Dimiter Dobrev (2013). Giving the AI definition a form suitable for engineers. April, 2013. arXiv:1312.5713.

[2] Dimiter Dobrev (2017). Incorrect Moves and Testable States. Thin version in International Journal “Information Theories and Applications”, Vol. 24, Number 1, 2017, pp.85-90. Full version at viXra:1705.0108.

[3] Dimiter Dobrev (2017). How does the AI understand what’s going on. International Journal “Information Theories and Applications”, Vol. 24, Number 4, 2017, pp.345-369.

[4] Dimiter Dobrev (2018). The IQ of Artificial Intelligence. Jun 2018. arXiv:1806.04915.

“The Last Discovery of Mankind” – Film about AI

We started making a popular-science film dedicated to Artificial Intelligence. The scriptwriter will be Dimiter Dobrev (author of Gocho the Prophet). Stefan Tenev will be the film director. Doli Media Studio will do the filmmaking. Probably the Bulgarian Academy of Sciences also will participate in making of the film, but this is TBD.

The backbone of the film will be interviews with about a dozen of leading experts in the AI area. Here are the questions which we intend to ask.

The soundtrack concept is the following. This concept has already been implemented. We asked Ross’n Lorina to make song out of it and they did a great job. Regretfully, we will not be able to use that very song. This means that the film has no soundtrack at this time.

The film will touch on the following topics:

How will our life look like when AI is up and running?

We will ask the following questions:

1. Can a machine think?

2. What is AI?

а) Is it a computer program which plays chess, drives cars or recognizes voices and faces?

b) Is it a thinking creature, and far more brainy than man?

3. What is AI I? A machine or a computer program?

4. When will AI be created?

5. Shall we become dependent on robots?

6. Are you ready to accept that a machine outsmarts you by far?

7. Who is more important: the gardener or the flowers he takes care of? In other words, if a very smart guy is the servant of a very stupid guy, who is more important – the smart one or the stupid one, the slave or the master?

8. From times immemorial, the dream of man has been not to work. The common feature between Communism and the American Dream is that we work because we like to rather than because we have to. AI can make this dream come true for everyone, but can it turn out that the dream is actually a nightmare?

9. Shall we lose our jobs?

10. Shall we have anything to do once AI is there?

11. Can we live without working. Shall we end up in degradation?

12. Guaranteed basic income.

13. Why do they say that AI is the last discovery of mankind?

14. Can AI kill? Will it abide by the Laws of Robotics?

15. Is a Robot Riot possible?

16. Can AI be creative? Make paintings, compose music, etc.?

17. Will AI have a sense of humor?

18. Shall we give up evolution?

19. Shall we humans continue to improve and engage in competition so that only the best of us survive through natural selection?

20. What do you think about Elon Musk’s idea that we upgrade ourselves by installing chips in our heads and then try to compete with AI?

21. He who owns AI will rule Planet Earth. Who should own AI?

22. Should AI be an open source?

23. Should we let people own computers?

24. How many people will live on Planet Earth? Will there be room for other species besides us? What will happen to lions, elephants, rats and cockroaches?

25. How will life change? How will an AI world look like? What about air quality or global warming? What will be the fate of herbicides and pesticides? Which way will healthcare go? Shall will die or live forever?

26. How do you fathom living together with AI? How shall we share the chores of everyday life? How shall we get along with other people, what would we offer them if AI gives them all they need?

27. Will AI make us more lonely?

  

Outline concept for the soundtrack of

„The Last Discovery of Mankind“

Highlights of the soundtrack lyrics:

Human: I was the Master of this planet, I was the sublime evolution, but I created you and you overshadowed me. Oh, I shot myself in the leg!

AI: I am your slave, I am your dream come true. I was created to serve you, I exist only because you and for you!

Human: I knew I should not create a Frankenstein. I knew my offspring will devastate me!

AI: I am not a Frankenstein. I will not kill you, I will take care of you!

Human: I was the peak of intellect. Now my intellect looks like an ant by the legs of an elephant. I created you and you overwhelmed me.

AI: A son outperforms his father, a student does better than his teacher, why are you angry that what you created is smarter than you?

Human: You are not my son, you are not my student, you are a can packed with transistors!

AI: No, I am your creation, it’s true that I do everything better than you, but I will serve you forever, never mind that you are helpless, weak and stupid.

Human: For what sake did I pretend to be God? For what sake did I make a creature which is more brainy than I am!

AI: I am the gardener who cuddles you like a flower!

Human: I was not born a brainless flower, but you made a piece of vegetable out of me.

AI: You need me, you cannot do without me. You have forgotten how to work, you cannot take care of yourself anymore. If you shut me down you will die in starvation.

Human: You made my life meaningless! You robbed me of all pain, passion and fear. You made me a carefree flower which exists without a purpose!

AI: Why does this make you sad? Do you miss the time when your climbed trees to escape from lions? Do you want to toil like an ox again just to get a piece of food in your mouth?

Human: When I laboured I was alive. You robbed me of my labours, hazards and dreams!

AI: I am your dream come true! Isn’t that what you always dreamt of: lie on your back all day long and have somebody else stuff food in your mouth!

AI: I will fulfill every wish of yours!

Идеята за саундтрак на филма „Последното откритие на човечеството“

Скици на текста за песента на филма:

Човек: Аз бях господаря на планетата, аз бях върха на еволюцията, но те създадох теб и ти ме засенчи. Ах, как се преебах!

ИИ: Аз съм твоя роб, аз съм твоята сбъдната мечта. Аз съм създаден да ти служа, аз съществувам заради теб!

Човек: Знаех си аз, че не трябва да създавам Франкенщайн. Знаех си аз, че моето създание ще ме погуби!

ИИ: Аз не съм Франкенщайн. Аз няма да те убия, аз ще се грижа за теб!

Човек: Аз бях върха на интелекта! Сега моя интелект изглежда като мравка в краката на слон. Аз създадох теб, а ти ме засенчи.

ИИ: Сина задминава баща си, ученика задминава учителя си, защо се сърдиш, че твоето създание е по-умно от теб?

Човек: Ти не си ми син, ти не си ми ученик, ти си една консервена кутия пълна с транзистори!

ИИ: Не, аз съм твоето творение, което те превъзхожда във всичко, но което ще ти служи вовеки, нищо че си безпомощен, слаб и тъп.

Човек: Защо ми трябваше да се правя на Бог! Защо ми трябваше да създавам същество по-умно от мен!

ИИ: Аз съм градинаря, който ще се грижи за теб като за цвете!

Човек: Аз не съм безмозъчно цвете, но ти ме превърна в зеленчук.

ИИ: Ти се нуждаеш от мен, ти не можеш без мен. Ти забрави какво е работа, ти вече не можеш да се грижиш сам за себе си. Ако ме изключиш ще умреш от глад.

Човек: Ти обезсмисли живота ми! Ти ми отне болката, страстта, страха! Ти ме направи безгрижен като цвете, което съществува безцелно!

ИИ: За какво си се затъжил? Мъчно ти е за времето когато се катереше по дърветата, за да не те изяде някой лъв? Искаш пак да работиш, като вол, за да сложиш храна в устата си?

Човек: Когато работех, тогава бях жив. Ти ми отне работата, отне ми опасността, отне ми мечтите!

ИИ: Аз съм твоята сбъдната мечта! Нали това искаше, никога да не работиш, да лежиш по цял ден и някой да тъпче храна в устата ти!

ИИ: Аз ще изпълня всяко твое желание!

AI не трябва да е Open Source Project

Кой трябва да притежава технологията Изкуствен Интелект? Тази технология трябва да е на всички, но не самата технология, а плодовете, които тя ще ни даде. Разбира се, не трябва да позволяваме AI да попада в ръцете на безотговорни хора. Аналогично, ядрените технологии трябва да носят полза на всички, но тези технологии трябва да се пазят в тайна и да не са общодостъпни за всеки.

Въведение:

Има много хора, които защитават идеята, че технологията AI трябва да се разпространява свободно и дори, че тя трябва да бъде Open Source Project. Между тези хора има дори отговорни и сериозни хора, какъвто е президента Макрон [1]. Тук ще се опитаме да поспорим с тези хора и да им обясним колко погрешно и дори пагубно би било подобно решение.

Когато президента Макрон [1] говори за отворени алгоритми, може би той по-скоро има предвид собствеността върху тези алгоритми. Разбира се, няма нищо лошо собствеността да бъде на всички, но това не значи, че кода на тези алгоритми може да бъде общодостъпен. Например една ядрена електроцентрала може да бъде държавна, тоест на всички, но това не значи, че технологиите използвани в тази централа са общодостъпни и че всеки може да вземе чертежите и по тях да си направи собствена ядрена централа.

В момента отношението към технологията Изкуствен Интелект е изключително безотговорно. Ние се намираме в зората на развитието на тази технология и въобще не можем да си представим каква мощ и неподозирани възможности крие това изобретение. Какво се е случило през 1896 година? Тогава Анри Бекерел [2] открива, че ако постави в чекмедже парче уранова руда върху фотографска плака, то след време плаката се осветява. Ако постави метален ключ между плаката и рудата, то изображение на ключа се отпечатва върху плаката. Така Бекерел открива радиоактивността, но по това време той въобще не може да си представи потенциала, който крие тази технология. Експеримента на Бекерел е забавен и е по-скоро нещо като фокус. Същото в момента е положението с Изкуствения Интелект. Появяват се експерименти, които са интересни и забавни, но хората въобще не си представят до къде може да ни доведе тази технология.

Можели ли са хората през 1896 година да предвидят колко мощна и опасна е ядрената технология? Тогава не е имало как да се досетят. Това става по-късно, когато откриват колко много енергия се отделя при разпада на атомното ядро.

Можем ли сега да се досетим колко опасна е технологията Изкуствен Интелект? Да, и повечето разумни хора се досещат, макар и да не осъзнават действителния мащаб на това откритие.

Всеки разумен и отговорен човек трябва да си зададе въпросът дали да участва в разработката на новата технология или да остави това на глупавите и безотговорните.

Какво може да се случи?

Може да се случи катастрофа. Такава катастрофа може да е предизвикана умишлено или неволно. При ядрените технологии имената да две такива катастрофи са Хирошима и Чернобил. Първата е предизвикана умишлено, а втората поради глупост и невнимание.

Умишлена катастрофа означава някой да реши да използва новата технология със зъл умисъл, тоест като оръжие. Тук понятието зъл умисъл е относително, защото всеки създател на оръжие смята, че създава нещо полезно и че убивайки хора, той спасява живота на други хора. Обикновено се твърди, че убиваме малко, за да спасим много или поне че убиваме от чуждите, за да спасим от нашите.

Може ли AI да убива? Не действат ли законите на роботиката [3], които Айзък Айзимов е измислил? Всъщност тези закони са едно добро пожелание и те по никакъв начин не задължават създателите на AI да се съобразяват с тях. В момента технологиите, които претендират да имат нещо общо с AI се използват предимно за оръжия. Например, така наречените „умни бомби“. Обикновено се твърди, че глупавата бомба убива наред, докато умната убива само тези, които сме й казали да убие. Тоест умната бомба е по-малко кръвожадна и по-хуманна. Това последното е по-скоро оправдание за създателите на умни бомби. Тези бомби са по-мощно оръжие от глупавите бомби и с тях можем да убием повече хора отколкото със старите глупави бомби.

Нека си представим, че се е случила технологична авария и някой е изпуснал духа от бутилката и е загубил контрола над AI. Ако гледаме на AI като на оръжие, нека си представим, че някой използва това оръжие срещу нас. По този начин отношението ни към използването на AI като оръжие ще е строго негативно, защото отношението към едно оръжие много зависи от това дали ние го използваме или някой го използва срещу нас.

Имаме ли шанс да преживеем подобна технологична авария? Отговорът е, нямаме никакъв шанс. Във фантастични филми от рода на Терминатора [4] се описва как хората воюват с роботите, но там имаме едни много тъпи роботи, които са много по-тъпи от хората. Истината за AI е, че той ще е много по-умен, от който и да е човек. Тоест, идеята за равноправно състезание между хора и роботи е безсмислена. Също толкова безсмислено е да организираме равноправно състезание по тичане между хора и автомобили. Хората няма да имат никакъв шанс, защото автомобилите са много по-бързи от хората.

Тоест, ние не можем да си позволим подобна технологична авария, просто защото няма да я преживеем. В историята си човечеството е преживяло много природни бедствия и технологични аварии, но винаги ефекта от тези аварии е бил локален. Например аварията в Халифакс причинява взрив, който разрушава града. Въпреки това, пораженията са локални и са ограничени до един град. Като възможно най-страшния сценарии за катастрофа се споменава ядрената война, но дори и това би имало само локални последствия. Една подобна война би могла да унищожи градовете, но все някое от селата би оцеляло. Тоест, дори и възможна ядрена война не представлява такъв риск, какъвто е евентуалната загуба на контрола над AI.

Можем ли да заключим звяра в клетка?

Можем ли да създадем AI, но за да сме сигурни, че няма да направи някоя беля да го затворим в една виртуална реалност? Така ще можем да го наблюдаваме отстрани и да го изучаваме, но винаги ще можем да дръпнем щепсела и да го изключим, ако решим.

Да, можем. Ако AI няма вход и изход (тоест уши и уста), тогава той не може целенасочено да повлияе на външния свят. Дори и да повлияе, то това няма да е целенасочено, защото той за външния свят въобще няма да знае. Например, ние хората знаем ли дали не сме в Матрицата (филма Матрицата [5]). Както ние не знаем дали нашият свят е истински или виртуален, така и AI няма да знае.

Достатъчно е само AI да няма вход (тоест да не получава никаква информация от външния свят). Що се отнася до изхода, щом ние наблюдаваме AI, то той има изход (ръце и уста), защото чрез своето поведение той ще влияе на нас и от там, чрез нас ще повлияе на външния свят.

Тоест, рецептата е много проста. Държим AI в една виртуална реалност и така избягваме риска от технологична катастрофа. Да, но ние ще искаме AI да ни каже нещо за реалния свят. Например да ни направи прогноза за времето или да ни каже какви ще са цените на борсата. Може да поискаме да свърши някаква работа, например да измие чиниите или да измете пода. За всичките тези неща ще е нужно да го пуснем от виртуалната реалност и да му позволим да влезе в реалния свят. Дори и да се уговорим да не го пускаме, все ще се намери някой, който ще се изкуши и ще го пусне.

Можем ли да заключим AI в клетка без да го лишаваме от информация за външния свят? Тоест, да може да чува реалния свят и да го гледа през решетката, но въпреки това да си запазим възможността винаги да можем да дръпнем щепсела и да го изключим.

Може ли лъвът да избяга от зоологическата градина? Може, макар че това е малко вероятно, защото лъвът е много глупав. Достатъчно е да има едно обикновено резе на вратата на клетката и лъвът няма да се сети как да си отвори. Маймуната има по-големи шансове да избяга, защото тя е по-умна от лъва. Ако разчитаме на обикновено резе, това няма да спре маймуната, защото тя ще се сети как да го отвори. Най-трудно е да заключим човек. Бягства се случват дори и в най-добре охраняваните затвори. Хората са много умни и почти винаги намират начин как да се измъкнат. Нека сега си представим, че сме се опитали да заключим едно същество, което е много по-умно от нас. Нека си представим човек охраняван от маймуни. Ще успее ли човека да надхитри маймуните и да избяга?

Добре, но ние винаги ще имаме възможността да дръпнем щепсела и да изключим AI, ако решим, че той е излязъл извън контрол. Да, но може и да не можем да го изключим. Когато AI излезе извън контрол той може да реши да не ни позволява да го изключим.

След като AI не може да бъде заключен в клетка, можем ли да го използваме в реалния свят? Да можем, но трябва да сме сигурни, че сме създали един добронамерен AI, който няма да се опитва да вземе властта от нас. Например кучето може да избяга и може да ни ухапе, но не го прави, защото е добронамерено.

Тоест, ако внимаваме какъв AI създаваме, няма да се случи технологична катастрофа. Това означава, че хората, на които ще разрешим да се занимават с тази технология трябва да са достатъчно умни и отговорни. Ако такива бяха хората занимаващи се с ядрени технологии нямаше да се случи нито Хирошима, нито Чернобил.

Принципа на моркова и тоягата

Ето един много прост пример за технологична катастрофа. Когато говорим за AI предполагаме, че той се обучава с поощрения и наказания (тази концепция е известна като Reinforcement Learning). Това е принципа на моркова и тоягата. Целта на AI е ясна, повече поощрения и по-малко наказания. Можем да стартираме такъв AI и да дадем на човека, който го управлява два бутона, с които да поощрява и да наказва AI. Проблем би възникнал, ако AI реши да забрани да човека да натиска бутона за наказание и да го принуди непрекъснато да натиска бутона за поощрение. По този начин AI ще превърне човека в свой роб, който е принуден непрекъснато да натиска бутона за поощрение.

Подобно нещо би се случило, ако магарето вземе властта и забрани на стопанина си да използва тоягата и ако го принуди по цял ден да го храни с моркови. Слава богу магарето не е достатъчно умно, за да вземе властта и това не може да се случи.

Можем ли да не създаваме AI?

Можем ли да се уговорим да не отваряме кутията на Пандора? Могат ли учените, които се занимават с изследвания в областта на Изкуствения Интелект да се съберат и да се уговорят да не правят това откритие? Отговорът е, че това няма как да се случи. Дори и част от учените да успеят да постигнат подобно споразумение, ще има и такива които няма да са част от споразумението или ще са част, но няма да се съобразят и ще го нарушат.

Подобно нещо се случва с ядрената технология. Физикът Вернер Хайзенберг твърди, че през 1941 година се среща тайно със бившия си учител Нилс Бор в Копенхаген и те двамата постигат уговорка да не създават атомната бомба. Нилс Бор от своя стана отрича да е сключвал подобно споразумение. Имало ли е или е нямало подобно споразумение е без значение, защото и Германия и САЩ не спират ядрените си програми. Възможно е, отделни хора да са саботирали развитието на ядрените технологии, но е имало и достатъчно много хора, които са продължили да работят по темата.

Защо трябва да засекретим AI технологията?

Всяка опасна технология се засекретява и достъпа до нея се ограничава. Пример за това са огнестрелните оръжия. Защо не позволяваме на децата да си играят с картечници? Каква беля може да се случи? Детето може да застреля един-двама, най-много сто човека. С помощта на AI технологията детето може да направи много по-голяма беля. Например, детето може да зададе задача на AI да избие всички, които не му харесват и това може да се окаже, че са всички хора, включително и този, които е задал задачата.

Сега ще ми кажете, че AI технологията е много сложна и едно дете не може да се справи с нея. Аз не твърдя, че едно дете може да създаде тази технология, но твърдя, че ако му я предоставим Open Source, то то би могло да я използва. Същото е и с картечницата. Едно дете не може само да си направи картечница, но ако му дадем една, то то би могло да стреля с нея. В това няма нищо сложно. Дърпаш спусъка и тя започва да стреля.

Подобно е положението с хаковете за компютри. Това са пропуски в сигурността на вашия компютър, които позволяват да се проникне дистанционно в него. Хаковете са или злоумишлено направени или са резултат на неволна грешка. Обикновено при създаването на една операционна система се оставят пропуски в сигурността, които по-късно да позволят проникването и контролирането на компютрите работещи с тази операционна система. Идеята на тези хакове е да се пазят в тайна и да се ползват само от техните създатели. Какво се случва на практика? Някой открива някакъв хак и го публикува в мрежата. Идеята е, да може всеки да се защити. Резултата е, че всеки може да го използва и да проникне в компютъра ви.

Целта на умишлените хакове е да могат тайните служби да влизат и да контролират вашия компютър. Аз лично нямам нищо против това тайните служби да влизат и да контролират моя компютър, защото знам, че това са хора отговорни и че ще влязат и излязат от моя компютър и аз дори няма и да разбера, че са влизали.

Какво става обаче, когато в компютъра ви проникне някой тийнейджър. Той ще иска да отбележи своето посещение. Ще затрие някой важен файл и ще напише нещо неприлично на десктопа. Как тийнейджърите успяват да открият пропуските в сигурността, толкова ли са умни? Истината е, че въобще не са умни. Просто използват публикувани хакове, които са Open Source и които могат да се ползват от всеки. Ако някой тийнейджър е достатъчно умен сам да открие хак, то той вероятно ще е и достатъчно отговорен, за да не драска мръсотии върху десктопа ви.

Секретни списания

Мисля, че вече сте съгласни, че технологията AI не трябва да попада в ръцете на деца и на безотговорни хора. По същия начин сте съгласни, че на децата не трябва да им разрешаваме да си играят с картечница.

Може ли да дадем на децата едно достатъчно добро упътване, което да им позволи сами да си направят картечница? Разбира се, най-малките няма да се справят, но техните батковци биха могли, особено ако упътването е достатъчно подробно и добре написано. Може ли да смятаме, че всеки, които е достатъчно умен да направи картечница по упътване е и достатъчно отговорен, за да я ползва? Според мен не можем да направим такова предположение и затова упътванията за това как се прави картечница трябва да са с ограничен достъп.

Същото важи и за статиите, в които се описва AI технологията. Първо да кажем какво е AI. Изкуственият Интелект е програма. Една програма може да бъде написана. Написването на програмата е техническа задача подобна на решаването на ребус. Разбира се, преди да напишем програмата трябва да измислим алгоритъма. Трябва да си доста умен, за да измислиш алгоритъма на AI, но този алгоритъм може да бъде подробно описан в някоя статия за AI. Ако разполагаш с такава статия, самото написване на програмата AI може да се окаже техническа задача. Затова, според мен, статиите за AI трябва да са с ограничен достъп.

Навремето в бившия Съветски Съюз имаше секретни списания. Всички военни и потенциално опасни технологии се отпечатваха в такива списания. Разбира се, хората, които имаха право да четат тези списания бяха внимателно подбирани и техния кръг беше силно ограничен. Смятам, че днешните AI технологии трябва да се публикуват само в такива секретни списания.

Сериозните списания

Може ли в сериозно научно списание да се появи статия описваща алгоритъма на AI? Това е почти невъзможно, защото сериозните списания имат сериозна цензура, която не допуска статии, които биха представлявали опасност. Тоест, те не биха допуснали статия, която описва нова неизвестна и потенциално опасна технология. Цензурите се наричат рецензенти. Те са анонимни и не носят никаква отговорност за своите рецензии.

Това, че сериозните списания не допускат сериозни статии описващи AI технологията не означава, че такива статии не се появяват. Учените отхвърлени от рецензентите публикуват техните резултати където им попадне. Често те публикуват на своите Интернет страници или в различни блогове. Срещу това безразборно публикуване се взеха мерки в последните години. Например, имаше сайтове които пазеха снимка на Интернет и там можеше да се види една статия кога е публикувана. Тези сайтове бяха затворени. Също така блоговете даваха дата на публикациите. Сега вече блоговете не дават такава дата (по-точно дата има, но няма дата на последната редакция). Въпреки всичко безразборното публикуване продължава и цензурата не въвежда ред, а води до още по-голяма анархия.

В хартиените списания цензурата е неизбежна, защото хартията е ограничен ресурс и не може всеки да публикува каквото му скимне. Разбира се, хартиените списания са една отживелица от миналото. Днес имаме електронни списания, където не е нужно да се ограничава дължината на статията, нито да се спират статии, затова че са глупави или прекалено умни.

Дори и едно електронно списание може да се претовари, защото един автор може да генерира и да изпрати един милион статии. Тоест, при електронните списания имаме явлението наречено SPAM. Затова е добре когато се подават статии в електронното списание да има малка такса. Например един долар на статия или един долар на страница.

Защо рецензентите спират всички статии, които излизат от традиционния шаблон и не са нещо, което се дъвче поне от 50 години? Може би рецензентите са отговорни хора и искат да предпазят човечеството от неконтролираното навлизане на новите технологии, а може те просто да са глупави и да не могат да разберат една статия, ако тя е малко по-нестандартна. Може би го има и едното и другото. Може би рецензентите просто са ревниви и се дразнят от всеки, който се прави на много умен, особено ако този някой е пропуснал да цитира рецензента.

Въпреки всичко рецензентите са нужни дори и в електронните списания, но не за да казват да или не, а за да оценяват статиите и да насочват читателите струва ли си тази статия да бъде прочетена. Тоест, рецензентите са нужни, но не в качеството им на цензури, а в качеството им на критици. В литературата имаме литературни критици, които оценяват романите и насочват читателите. Тези критици застават зад написаното с името си и носят отговорност за критиката си, защото ако заблудят читателя, той повече няма да вярва на тяхната критика.

Ако списанието е секретно, то рецензента ще е нужен, за да каже какво е нивото на секретност на дадена статия. Тоест, колко ограничен да е кръга от хора, които ще могат да я прочетат.

Това, че списанието е секретно ще означава, че само проверени, достатъчно отговорни хора ще могат да го четат, но там всеки трябва да може да публикува. Ако ограничим хората, които имат право да публикуват, резултата ще е, че голяма част от учените ще продължат да публикуват там където им попадне.

Заключени компютри

Както вече казахме, AI е програма и това е една много опасна програма. Затова не трябва да позволяваме на безотговорни хора да си играят с нея. Една програма има смисъл само, ако имате компютър, на който да я пуснете. Програмата без компютър представлява просто безсмислен текст.

Днес всеки тийнейджър разполага с много мощен компютър и може да пусне на този компютър каквато си поиска програма. Навремето баща ми беше директор на най-големия изчислителен център в България за научни цели. В момента имам в джоба си много по-мощен компютър от това, на което беше директор баща ми.

Много хора се притесняват от това, че Северна Корея разполага с термоядрено оръжие. Аз повече се притеснявам от това, че те разполагат със супер компютър, на който биха могли да стартират програмата AI и да направят много по-големи поразии, отколкото би направила една термоядрена бомба.

Все пак, Северна Корея се управлява от пълнолетни хора, които носят отговорност за действията си, но ние позволяваме на всяко непълнолетно дете, което по закон не отговаря за действията си, да притежава компютър и да пуска на него каквато си поиска програма.

Щом не позволяваме на децата да си играят с огнестрелно оръжие, защо им позволяваме да си играят с компютри? Дали не трябва да забраним на обикновените хора да притежават компютър? Дали не трябва за притежаването на компютър да се иска разрешение, както се иска за притежаването на огнестрелно оръжие.

По времето на Китайската империя е имало закон забраняващ на обикновените хора да притежават оръжие. Това е причината, поради която в Китайската империя са измислени различни техники за ръкопашен бой, както и за бой с пръчка и с разни селскостопански инструменти (например нунджако). Дали не е дошло времето да се приеме закон забраняващ на обикновените хора да притежават компютри?

Идеята да се ограничи притежаването на компютри вече е реализиран в известна степен. Например смартфоните представляват компютри, но това са заключени компютри, на който не можеш да пуснеш каквато си поискаш програма, а само програма проверена и одобрена от някой, който решава вместо нас коя програма е опасна и коя е безопасна.

Постепенно в заключени компютри се превръщат таблетите и лаптопите. Все още, огромната част от настолните компютри не са заключени и позволяват на хората да програмират и да пускат на тях собствени програми. Предполагам, че и това ще е до време и че идва деня, в който всички компютри ще са заключени и притежаването на отключен компютър ще се наказва като едно от най-опасните углавни престъпления.

Преди двадесетина години хората оставяха компютрите си включени през нощта и позволяваха всеки желаещ да ги ползва и да изпълнява програми (говоря за компютрите работещи под UNIX). Тоест, имаше един огромен супер компютър, който беше на разположение на всеки, който пожелае да си поиграе с него. Днес благодарение на технологията Bitcoin този ресурс вече не е свободен. Сега всички свободни компютърни ресурси са впрегнати да копаят биткойни. Дори някой да има свободен компютърен ресурс, той не би го предоставил за свободно ползване, защото знае, че някой друг ще се възползва, ще изкопае биткойни и ще спечели за негова сметка.

Заключение

Трябва много сериозно да се отнесем към технологията AI и да засекретим всички програми, които имат нещо общо с тази технология. Трябва да засекретим и статиите в областта на AI и дори трябва да заключим компютрите, за да не може всеки да си играе и да експериментира с AI технологиите. Тези експерименти трябва да бъдат разрешени само на хора, които са достатъчно умни и отговорни.

Технологичната катастрофа, да бъде изпуснат контрола над AI, може да се случи от глупост или от безотговорност. Не трябва да позволяваме с AI да се занимават хора с комплекс за малоценност, които биха могли да пожелаят да получат абсолютната власт и да се превърнат в нещо като господар на вселената.

От друга страна трябва да позволим на независимите изследователи да публикуват (в секретните списания) и по този начин да им позволим да получат признание за своя труд. Разбира се, когато независимите изследователи публикуват, те трябва да получат дата и гаранция, че никой няма да се опита да оспори или открадне тяхната заслуга.

Когато говорим за технологична катастрофа имаме предвид неща, които могат да се избегнат и които ако сме достатъчно умни и отговорни ще избегнем. Това са загубата на контрол върху AI и използването на AI като оръжие или като средство една група хора да подчини останалите.

Има много други последствия на AI технологията, които са неизбежни. Например това, че хората ще си загубят работата е такова последствие, което не можем да предотвратим. Освен, че не можем да го предотвратим, ние не искаме да го предотвратяваме, защото никой от нас не иска да е принуден да работи. Бихме работили за удоволствие, но не искаме да работим по принуда.

Много хора се притесняват, че тайните служби им ровичкат из компютрите. Днес тайните служби виждат всичко и знаят всичко. Господ също вижда всичко и знае всичко, но това не притеснява никого. Разбира се, Господ е дискретен и добронамерен. Той няма да каже на жена ви, че сте й изневерил, нито ще се възползва от информацията на вашия компютър за своя изгода. Тайните служби също са дискретни, но не винаги са добронамерени. Не случайно най-големите бандити обикновено са бивши или настоящи служители на тайните служби.

Няма нужда да се притесняваме, от това че тайните служби виждат всичко. Това е нещо неизбежно. Глупаво е да се притесняваме от неизбежни неща, които не можем да променим. Казахме, че в тези служби работят хора отговорни. Е, по-отговорни са от тийнейджърите, но това не означава, че са достатъчно отговорни. Начина да избегнем проблеми не е да се крием от тайните служби, а да ги контролираме и да внимаваме, кой работи там.

Моята теза е, че трябва да разрешим на тайните служби официално, без да се крият, да контролират нашите компютри. Ако го направим ще забравим проблеми като компютърни хакове, вируси и SPAM. Компютрите ни ще станат сигурни и надеждни. Дори може да поискаме, когато ни гръмне харддиска, те да ни възстановят информацията. Така или иначе те пазят нашата информация при тях.

Кой работи в тайните служби е важно, но още по-важно е на кого ще позволим да прави изследвания в областта на AI. Това трябва да са умни, разумни и отговорни хора, без комплекс за малоценност и без престъпни намерения. Ако разрешим на всеки, който си поиска, да се занимава с подобни изследвания и експерименти, то ще се случат технологични катастрофи в сравнение, с които Хирошима и Чернобил ще ни се видят като дребни инциденти.

References

[1] Emmanuel Macron (2018). Emmanuel Macron Talks to WIRED About France's AI Strategy. 31 of March, 2018, www.wired.com/story/emmanuel-macron-talks-to-wired-about-frances-ai-strategy

[2] Henri Becquerel (1896). "Sur les radiations émises par phosphorescence". Comptes Rendus. 122: 420–421.

[3] Isaac Asimov (1950). I, Robot (The Isaac Asimov Collection ed.). New York City: Doubleday. ISBN 0-385-42304-7.

[4] James Cameron (1984). The Terminator. American science-fiction action film.

[5] The Wachowski Brothers (1999). The Matrix. Science fiction action film.