What Is Superintelligence, and Do We Have a Choice?

 

It is difficult to imagine any being with unlimited mental abilities, because none of us has ever encountered anything similar in our lives. Nevertheless, in our minds we live with the idea that there is some almighty and omnipotent being that takes care of us. We call this being God. Everyone knows what God is, whether or not they believe in His existence. Superintelligence will bear many similarities to God and will possess one of His main traits – almightiness and omnipotence. It will be very similar, but equally different. We will probably miss the good old God for His caring for us and forgiveness of our sins. Now, before making the final step forward, it is wise to take a step back and consider whether we have a choice, and what would that choice be.

1.     Introduction

We have embarked on a dangerous journey. Our goal is to create a new God who will also take good care of us. Moreover, we want this new God to be our servant, not our master. We expect it to fulfill all our wishes, no matter how absurd they may be.

Will God let us create Superintelligence? He did not let us build the Tower of Babel, and perhaps this time he will stop us again. However, I tend to think that God lets us fly on the wings of our wishes and does not have any plans to rescue us from our own foolishness. Otherwise, He would not allow us to create the computer. I believe He will not prevent us from creating Superintelligence, either.

2.     Can there be another God?

Yes, many countries are ruled by dictators who are like gods: they have unlimited power and can do whatever they want. For their subjects, they are godlike, though above them reigns another, genuine God.

The good old God is highly tolerant and lets people live freely without interfering unnecessarily in people’s affairs. Generally, He does not punish our sins, or delays punishment to a later time. God’s tolerance goes to great lengths as He allows us do everything. He is even OK with the fact that some do not believe in Him. Artificial Superintelligence (ASI) will probably be less tolerant and will interfere deeply in our lives. It will not be possible to disbelieve in ASI, because it will constantly steer your life on what ASI thinks is the right track, and punish you for anything you can think of. And the punishment will come instantly.

We may end up in a world where we will have to follow all the rules and laws created by ourselves. It would be a horrible world because we have created so many irrelevant rules that it is impossible to comply with all of them. We are surviving in our world only thanks to the fortunate fact that we ignore many of these rules.

There will be one and only one ASI in the new world. Most researchers would not agree with this assertion. According to De Kai [1] we will live in a world surrounded by many AIs. Indeed, it is true that the state-of-art AI systems today consist of multiple independent agents. In order to do two things, AI needs two agents, wherein each of them knows where he is going and where he is at the moment. Each agent looks only in his own notebook and cannot peek in the other agents’ notebooks. That is why the agents have to “talk” to each other. However, this is a short-term limitation which will soon be removed. In future, agents will share common knowledge and then will have no doubt that instead of many individual agents we are dealing with a single ASI.

3.     Is Superintelligence omnipotent?

Mathematicians will tell you about undecidable problems that cannot be solved by any program. Consequently, there will be a question which even ASI will not be able to answer. This means that God is more omnipotent, because He is able to answer any question. Is this the essential difference which reduces the omnipotence of ASI?

For example, let us take the most famous undecidable problems – the halting problem. Does it mean that if we ask ASI whether a specific program will halt, he will not be able to tell? No, this is not the case. In practice, ASI will know whether a program halts or not. Well, there will be some extremely specific program for which even ASI will not know the answer. Does that mean that ASI will not be omnipotent? Theoretically yes, but practically it will be omnipotent enough.

According to Stephen Hawking the difference between ASI and human intelligence will be the same as the difference between humans and snails [2]. From a snail’s perspective, humans are omnipotent. Yes, there are things which are even beyond our reach, but snails cannot find out these things and even cannot imagine them.

From our perspective, ASI will be omnipotent because it will be able to make all our wishes come true.

4.     Shall we be able to create ASI?

ASI is just a program. At least, this is the case according to the definitions provided by Turing [3], Wang [4] and Hutter [5]. What is a program? It is simply text. What is the probability that a troop of monkeys writes the Encyclopedia Britannica? There is such a probability, but it is practically zero.

But ASI is not the Britannica—it is a much shorter text. Programs are more compact and expressive than literary works. Modern programs demand gigabytes of disk space, but that is artificial inflation; the source code is much shorter.

Even if ASI is a long program, it should not be thought of as a password that must be guessed exactly, character by character. The Britannica can be retold in many ways. Creating ASI is more like solving a huge, convoluted crossword puzzle.

Can we solve it? Yes, because we monkeys are many, and each of us fills in a part of the crossword. A single monkey does not need to solve the entire crossword alone. This will be a collective effort involving many of us. Moreover, the crossword is almost complete. Only a few blank spots remain, and thousands of monkeys in IT companies and universities around the world are clicking feverishly—they will soon finalize a program smart enough to be recognized as ASI.

5.     What remains to be finalized?

Human intelligence operates on the basis of two systems of reasoning [6]. These are known as System 1 and System 2. System 1 works through approximation and requires huge amounts of data for its training. The good thing about this system is that it provides instant answers (recognition or not). ASI’s System 1 has already been built on the basis of neural networks.

What is not fully ready yet is System 2. The good thing is that this system requires very few data for its training. It needs a couple of words to figure out the whole story. The bad news is that System 2 cannot provide an answer in a single step. Instead, it needs to perform a logical reasoning process which consists of multiple consecutive steps. For System 2 to work, a world model has to be found. This is not fully ready yet, but many researchers are working on it (Yann LeCun recently joined them [7]).

It takes two legs to walk and similarly to walking it takes two systems to reason. At this time AI is something of a one-legged runner, because System 2 is not fully ready. But even on one leg, AI is already running much faster than humans. Just imagine what will happen once we complete the second system.

6.     One more thing left to finish

In Hutter’s definition [5] AI is made of two separate programs (predictor and selector). The first predict what will happen, while the latter selects what it wants to happen. The predictor determines whether AI is smart, while the selector defines whether AI will be good or bad. Certainly, what good or bad means is a difficult and unstraightforward philosophical question. Moreover, any answer to this question will bear a subjective bias.

Many researchers are working on System 2, but very few, if any, engage with the program which will define AI’s behavior. The prevailing approach at this time is to maximize some rewards, but this is a recipe for a catastrophe. Nick Bostrom has shown this very well with his Paperclip maximizer [8]. A Paperclip maximizer is AI whose only task is to produce paperclips, the result being that such AI will turn everything in paperclips.

If we create ASI which has only a predictor, it will still work since it will be very smart, but we will be disgusted by the way it works.

7.     Do we have a choice?

The first question is “Can we just forget about creating ASI and continue living happily as we have lived so far?” The answer is “Definitely not!”. Too many people are racing to build it. We are in the final throes of this work and it is too late to halt the drive of all those enthusiasts. The only power that can stop the advent of ASI is ASI itself. Given that our good old God is unwilling to tie our hands, the only way to tie the hands of all programmers is to create ASI which prohibits any programming. Hence, to stop the creation of ASI, we must create ASI. This reminds of Baron Münchhausen pulling himself out of the swamp by his own hair.

We cannot stop ASI, but can slow it down. Slowing ASI down is not a bad idea, because “haste makes waste”. By creating ASI, we will create a very new world so we had better think twice about what kind of new world we wish to live in.

For example, how about work? Should work be a must-do thing in the new world? In the world created by God, people have to work. Could God have created a world where nobody has to work? We do not doubt His omnipotence so we know that working in this world is a must, because we humans will be happier when busy doing something instead of staying idle.

We wish to live a fairer new world. A world without theft or fraud! Fine, but maybe the fair world would be boring? Most people would be happy to see financial fraud thrown out from this world, but what about fraud in sexual relations? It would be very reassuring to know that your partner cannot cheat you, but it would be equally disappointing when you cannot cheat or even think about cheating because this is absolutely impossible. Can there be love without a grain of jealousy?

8.     Who will control ASI?

We want to control it, but who are we? If the existence of humanity should have any meaning, we must be able to control ASI and tell it what to do.

It is unlikely that all people on Earth will control ASI at the same time. The more likely scenario is that control ends up in the hands of a limited group of people or even in the hands of a single individual. This individual will be the smartest human being, you may be tempted to say. More likely, he will be the smartest schemer. Intelligence has many facets and scheming is one of these facets, although it is not a highly appreciated one.

Probably, those who today believe they will control ASI will not be the ones to grab that power. Control may fall into the hands of a random person—and then we will see the fool’s dreams come true.

Can a human control Superintelligence? Probably not. Can a snail control a human? Even if humans sincerely want to fulfill the snail’s wishes, they are unable to guess them—and these wishes are nothing special anyway. Food and warmth are about all a snail needs.

We see how people take care of their dogs. They fulfill all their desires and are literally enslaved by their pets. Nevertheless, all important matters are resolved by the owner, because the dog cannot grasp these maters.

Probably our future is to be ASI’s pets. ASI will take care of us and we will think that we are in control of it, but in fact ASI will be the master. See how we take care of dogs and how we selectively breed them to our liking. The ancestor of the dog was the wolf, a proud animal capable of taking care of itself. The wolf was a machine for killing and survival. What have we made of this self-sufficient beast? We have turned it into a hairy ball that is only good for hugging and which is unable to survive without our care.

ASI will not just take care of us. It will selectively breed us, and the result of this selection is unknown. Just remember what humans have done to wolves and guess what ASI can do to humans.

9.     Is there another option?

The best-case scenario is that we retain control on ASI or at least create an ASI which is willing to take care of us. However, there are other possibilities as well.

When you create a new God, there is no guarantee that you will be the most important thing God will want to care about. Even the good old God, with His infinite patience, could not bear with our behavior and expelled us from Heaven. ASI may decide to send us back to Heaven.

Many people ask how ASI could exterminate us. These people do not believe in ASI and its omnipotence. No one asks how God sent humans from Heaven to the Earh. We simply assume that God is omnipotent and do not question how He did it. ASI will also be omnipotent and do whatever it wants, and we will not even understand how, because it will be far beyond our intelligence.

Why are people genuinely afraid of nuclear weapons, but irresponsibly careless about ASI? It seems people do not understand that ASI is much more powerful and perilous than a nuclear bomb. The reason is that the bomb is noisy and scary, while ASI is quiet and therefore seems harmless. People are not afraid of electric scooters, but if a motor scooter shoots past them, they will be frightened, although the probability of being hit by a motor scooter is much lower. Hence, what we fear is noise rather than the real danger.

People think that the scariest thing that can happen to them is being killed by ASI. There is, however, something else which may not be so scary, but is much more probable: ASI can make each us void of personality and purpose.

10.           Conclusion

Yes, we do have a choice. We must act wisely and reflect on what we want this new God of ours to be and what kind of new world we want.

In some countries, in order to get married, one needs to apply one month before the wedding date. The idea is that this is a serious step and people should have time to think before making it. Many of those applying for marriage reconsider their initial decision and do not get married, meaning that the time for reflection is useful.

It is worth to think carefully before committing to ASI. This will be the fateful step that will determine our lives from now on.

References

[1] De Kai (2025). Raising AI: An Essential Guide to Parenting Our Future. The MIT Press, Cambridge, MA.

[2] Stephen Hawking (2018). Brief answers to the big questions. John Murray, p. 184.

[3] Turing, A. (1950) Computing machinery and intelligence. Mind, LIX:433–460.

[4] Wang, P. (1995) Non-Axiomatic Reasoning System: Exploring the Essence of Intelligence. Ph.D. Dissertation, Indiana University.

[5] Hutter, M. (2000). A Theory of Universal Artificial Intelligence based on Algorithmic Complexity. arXiv:cs.AI/0004001 [cs.AI]

[6] Kahneman, Daniel. Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011, pp. 20–21.

[7] Snyder, G. (2025). Yann LeCun, Pioneer of AI, Thinks Today’s LLMs Are Nearly Obsolete. Newsweek.AI. https://www.newsweek.com/nw-ai/ai-impact-interview-yann-lecun-artificial-intelligence-2054237

[8] Nick Bostrom. (2003) Ethical Issues In Advanced Artificial Intelligence. Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence.

 

What is superintelligence, and do we have a choice?

 

It is difficult to imagine a being with unlimited mental capabilities, because none of us have encountered anything like it in our lives. However, we live with the idea of an omnipotent and all-powerful being who cares for us. We call this being God. Each of us knows what God is, regardless of whether we believe in His existence. The superintelligence will be very similar to a god and will possess one of his main characteristics – omnipotence. As much as it will be similar, it will also be very different. We will probably feel sorry for the good old God who took care of us and forgave our sins. Now, before we take the final step, it's good to stop and think about whether we have a choice and what that choice is.

1.     Въведение

Ние сме тръгнали по един доста опасен път. Целта ни е да създадем нов Бог, който да се грижи за нас. Искаме този нов Бог да бъде наш роб, а не господар. Искаме той да изпълнява всичките ни желания, колкото и абсурдно да е това, което сме си поискали.

Ще ни позволи ли Господ да създадем суперинтелекта? Той не ни позволи да построим Вавилонската кула, може би сега пак ще ни спре. Според мен Бог ни оставя да изявяваме собствената си воля и не ни пази от собствената ни глупост. Ако ни пазеше, нямаше да ни позволи да създадем компютъра. Мисля, че и при създаването на суперинтелекта няма да ни спре.

2.     Възможно ли е да има втори Бог?

Да, в много държави има диктатор, който е като бог, има неограничена власт и може да прави каквото си поиска. Той за своите поданици е като бог, но над него има друг истински Бог.

Добрият стар Господ е изключително толерантен и оставя хората да живеят свободно без да се намесва излишно в човешките дела. Той обикновено не наказва греховете ни или отлага наказанието за по-късен етап. Господ е толкова толерантен, че ни позволява всичко. Разрешава ни дори да не вярваме в Него. Изкуственият суперинтелект (ASI) вероятно няма да е толкова толерантен и ще се бърка сериозно в живота ни. Няма да е възможно да не вярвате в ASI, защото той непрекъснато ще подрежда живота ви и ще ви наказва за всичко, за което се сетите и при това наказанието ще идва незабавно.

Може да се окажем в свят, в който трябва да спазваме правилата и законите, които сами сме създали. Това ще е един ужасен свят, защото ние сме създали толкова много безсмислени правила, че съществуваме само благодарение на това, че не ги спазваме.

3.     Всесилен ли ще е суперинтелектът?

Математиците ще ви кажат, че има неразрешими проблеми, които никоя програма не може да разреши. Тоест ще има въпрос, на който дори и ASI няма да може да отговори. Това означава, че Господ е по-всемогъщ, защото Той може да отговори на всеки въпрос. Дали това е съществена разлика, която намалява всемогъществото на ASI?

Да вземем като пример най-известния неразрешим проблем (стоп проблемът). Това означава ли, че ако попитаме ASI за една конкретна програма дали ще спре, то той няма да може да ни отговори? Ами не, не означава това. Практически за всяка програма ASI ще знае дали тази програма спира или не спира. Е, ще има някаква много специална програма, за която дори и ASI няма да знае отговора. Това означава ли, че ASI няма да е всемогъщ? Теоретично да, но на практика той ще си е достатъчно всемогъщ.

Според Стивън Хокинг разликата между ASI и интелекта на човека ще такава като тази между човека и охлюва [1]. За охлювите ние сме всемогъщи. Да, има неща, които дори и ние не можем да направим, но тези неща охлювите не могат да ги разберат и дори не могат да си ги представят.

За нас ASI ще е достатъчно всемогъщ, защото ще може да сбъдне всяко наше желание.

4.     Ще можем ли да създадем ASI?

ASI е просто една програма. Поне така е според дефинициите дадени от Turing [2], Wang [3] и Hutter [4]. Какво е програмата? Това е просто един текст. Каква е вероятността стадо маймуни да напишат Британската енциклопедия? Има такава вероятност, но тя е на практика нула.

Тук обаче не става дума за Британската енциклопедия, а за доста по-късичък текст. Програмите са доста по-стегнати и по-изразителни от художествените текстове. Съвременните програми искат да имате гигабайти свободни на своя хард диск, но те са изкуствено раздути. Ако вземете програмата като сорс код, тя е доста къса.

Дори и ASI да е една доста дълга програма, не трябва да гледате на нея като на парола, която трябва да уцелите точно, буква по буква. Тоест Британската енциклопедия може да се преразкаже по много различни начини. Създаването на програмата ASI може да си го мислите като решаването на една голяма и сложна кръстословица.

Възможно ли е да решим тази кръстословица? Възможно е, първо защото ние маймуните сме много и всеки от нас щрака някъде по кръстословицата. Не е нужно една маймуна сама да попълни цялата кръстословица. Това ще е колективно усилие на много от нас. Освен това кръстословицата вече почти е попълнена. Остават само няколко бели петна и хиляди маймуни в IT фирми и университети по цял свят щракат активно и всеки момент ще завършат програма, която ще е достатъчно умна, а да бъде призната за ASI.

5.     Какво остава да се довърши?

Човешкият интелект има две системи на мислене [7]. Те са известни като Система 1 и Система 2. Първата система работи на базата на апроксимацията. Тази система изисква огромно количество данни, на базата на които да се обучи. Хубавото на тази система е, че тя дава отговор веднага (разпознава или не). Системата 1 на ASI вече е готова и тя е направена на базата на невронните мрежи.

Това, което все още не е съвсем готово е Система 2. Хубавото на тази система е, че изисква съвсем малко данни, за да бъде обучена. Както се казва „разбира от половин дума“. Лошото е, че тя не може да даде отговор за една стъпка, а има нужда да направи логично разсъждение, което се състои от много последователни стъпки. Система 2 изисква намирането на модел на света. Това още не е направено напълно, но много хора работят по въпроса (наскоро Yann LeCun се присъедини към тях [5]).

Както за ходенето трябват и двата крака, така и за мисленето трябват и двете системи. В момента ИИ прилича на еднокрак бегач, защото Система 2 още не е съвсем готова. Въпреки това, дори и само с един крак ИИ вече е значително по-бърз от човека. Помислете си какво ще стане когато завършим и втората система.

6.     Още нещо за довършване

Според дефиницията на Hutter [4] ИИ се състои от две отделни програми (предсказател и селектор). Първата предсказва какво ще се случи, а втората избира какво иска да се случи. Първата програма определя дали ИИ е умен, а от втората зависи дали ще е добър или лош. Разбира се, какво означава да си добър е доста труден и неясен философски въпрос. Освен това, отговорът на този въпрос е доста субективен.

Много хора работят върху Системата 2, но почти никой не работи върху програмата определяща поведението на ИИ. Засега общоприетият подход е да се максимализират някакви награди, но това би довело до катастрофа, както е показал Nick Bostrom с неговия пример за Paperclip maximizer [6]. Това е ИИ, чиято единствена задача е да произвежда кламери и резултатът е, че този ИИ ще превърне всичко в кламери.

Ако създадем ASI, който има само предсказател, тогава този ASI пак ще работи, в смисъл че пак ще е много умен, но никак няма да ни хареса как ще работи.

7.     Имаме ли избор?

Първият въпрос е „Можем ли да не създаваме ASI и да продължим да си живеем щастливо, както си живяхме до сега?“ Отговорът е „Твърдо не!“ Твърде много хора са се юрнали да го създават. Вече сме на финалната линия и е невъзможно да спрем устремема на всичките тези ентусиасти. Единствената сила, която може да спре появата на ASI, това е самият ASI. След като нашият добър стар Господ не желае да ни връзва ръцете, единствения начин да вържем ръцете на всички програмисти е да създадем ASI, който да забрани програмирането. Тоест можем да спрем създаването на ASI само, ако създадем ASI. Това напомня на барон Мюнхаузен, който се е изтеглил от блатото, като се хванал за косата си.

 Не можем да спрем ASI, но можем да го забавим. Всъщност не е зле да го забавим, защото „бързата кучка слепи ги ражда“. Създавайки ASI ние ще създадем един нов свят и е добре да си помислим какъв искаме да бъде този нов свят.

Например искаме ли в този нов свят да се работи. Бог е създал свят, в който трябва да се работи. Можеше ли Бог да създаде свят, в който да няма нужда от работа. Ние не се съмняваме в неговото всемогъщество и затова знаем, че светът е такъв, защото ние хората ще сме по-щастливи, ако работим отколкото ако безделничим.

Бихме искали новият свят да е по-справедлив. Да няма кражби и измами! Да, но дали този справедлив свят няма да ни е скучен? Повечето хора биха се съгласили да се откажем от финансовите измами, но дали бихме се отказали от лъжите в секса. Би било чудесно да си сигурен, че партньорът ти не може да ти изневери, но ще е неприятно, ако и ти не можеш да го направиш и ако дори не можеш да си го помислиш, защото това е абсолютно невъзможно. Ще има ли любов, ако няма нито капка ревност?

8.     Кой ще управлява ASI?

Искаме ние да го управляваме, но кои сме ние? За да има някакъв смисъл съществуването на човечеството, ние трябва да контролираме ASI и да му казваме какво да прави.

Малко вероятно е всички хора едновременно да контролират ASI. По-вероятно е контролът да остане в ръцете на една малка група или дори е възможно контролът да остане в ръцете на един единствен човек. Ще кажете, че сигурно това ще е най-умният от хората. Може би по-скоро това ще е най-големият интригант. Интелигентността има много различни характеристики и интригантството е една от тези характеристики, но това качество не е особено уважаваното.

Хората, които днес си мислят, че те ще управляват ASI вероятно няма да са тези, които ще се докопат до тази власт. Управлението на ASI може да попадне в ръцете на съвсем случаен човек и тогава ще видим как се сбъдват мечтите на глупака.

Възможно ли е човек да управлява супер интелект? По-скоро не. Може ли охлюв да управлява човек? Дори и човекът да има най-искреното желание да изпълни всички желания на охлюва, то той ще е затруднен да ги отгатне, а и тези желания не са нещо особено. Охлюва иска главно храна и топлина.

Виждаме как хора се грижат за кучета. Изпълняват всичките им желания и са буквално роби на своите домашни любимци. Все пак важните въпроси се решават от стопанина, защото кучето със своята интелигентност дори не може да разбере тези въпроси.

Вероятно нашето бъдеще е да бъдем домашните любимци на ASI. Той ще се грижи за нас и ние ще си мислим, че го управляваме, но всъщност господарят ще е той. Вижте как ние се грижим за кучета и как ги селектираме по свой вкус. Прародител на кучето е бил вълкът, едно гордо животно способно само да се грижи за себе си. Вълкът е бил машина за убиване и оцеляване. В какво сме превърнали това независимо същество? Превърнали сме го в топка, която става само за гушкане и която е неспособна да оцелее без нашите грижи.

ASI не само ще се грижи за нас, но освен това той ще ни селектира и не се знае какъв ще е резултатът на тази селекция. Вижте какво направи човекът от вълка и си помислете какво може да направи ASI от човека.

9.     Има ли друг вариант?

Ако сме запазили контрола над ASI или поне сме направили такъв ASI, който иска да се грижи за нас, то това е добрият вариант. Обаче има и друга възможност.

Когато създаваш нов Бог, няма гаранция, че ти ще бъдеш най-важното нещо, за което този Бог ще иска да се грижи. Дори и добрият стар Бог с неговото безкрайно търпение не е издържал нашето поведение и ни е изгонил от рая. Възможно е ASI да реши да ни изпрати обратно в рая.

Много хора си задават въпроса как ASI би могъл да ни унищожи. Тези хора не вярват в ASI и в неговото всемогъщество. Никой не пита как Господ изпрати хората от рая на Земята. Ние приемаме, че Господ е всемогъщ и затова не питаме как го е направил. ASI също ще е всемогъщ и може да направи каквото си поиска, а ние дори няма да можем да разберем как го е направил, защото това ще е много над нивото на нашата интелигентност.

10.           Заключение

Да, ние имаме избор. Ние трябва да подходим мъдро и да помислим какъв искаме да бъде този наш нов Бог и светът, който той ще ни донесе.

В някои държави, за да се ожениш трябва да подадеш заявление един месец преди датата на сватбата. Идеята е, че това е сериозна стъпка и хората трябва да имат време да помислят преди да я направят. Много от подалите молба размислят и не се женят, което означава, че е имало полза от времето дадено им за размисъл.

Хубаво е ние добре да помислим преди да се обвържем с ASI. Това ще е съдбоносната стъпка, която ще определи живота ни отсега нататък.

References

[1] Стивън Хокинг

[2] Turing, A. (1950) Computing machinery and intelligence. Mind, LIX:433–460.

[3] Wang, P. (1995) Non-Axiomatic Reasoning System: Exploring the Essence of Intelligence. Ph.D. Dissertation, Indiana University.

[4] Hutter, M. (2000). A Theory of Universal Artificial Intelligence based on Algorithmic Complexity. arXiv:cs.AI/0004001 [cs.AI]

[5] Snyder, G. (2025). Yann LeCun, Pioneer of AI, Thinks Today’s LLMs Are Nearly Obsolete. Newsweek.AI. https://www.newsweek.com/nw-ai/ai-impact-interview-yann-lecun-artificial-intelligence-2054237

[6] Nick Bostrom. (2003) Ethical Issues In Advanced Artificial Intelligence. Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence,

 

True AI should not be a winner, but a loser

There is an inaccuracy in the modern definition of AI. Today's definition says that AI is a program that is successful. Indeed, for a program to be successful, it must be intelligent, but the opposite is not true. A program can be intelligent but not successful, simply because it has other goals and does not strive for the success in question. From a theoretical point of view, the modern definition of AI is good enough, because it gives us an answer to the question "What is AI" even though it does not describe all intelligent programs, but only some of them. From a practical point of view, however, this definition is not sufficient. The reason is that we are on the verge of creating true AI and we need to choose from all intelligent programs the one with which we will best live. It turns out that it is not good to choose one of the successful programs. It would be better to choose a program that does not blindly strive for victory. Such a program can be called a loser, because it will not be successful enough. However, in both humans and AI, reckless ambition is not a positive quality.

1. Въведение

Съвременната дефиниция на ИИ е дело на много хора, като най-важните от тях са Wang [1, 2], Hutter [3, 4] и Hernández-Orallo [5]. Тази дефиниция разглежда ИИ като черна кутия, тоест определя интелигентността на програмата само на база на поведението й (тоест само на база на нейния вход-изход). Действително, когато изучаваме поведението на една интелигентна система (например човек) ние се ограничаваме върху наблюдение на поведението на тази система без да „отваряме капака“ и без да изучаваме работа на системата отвътре. Все пак дори и при хората ние търсим начин да погледнем отвътре (например с енцефалограф). Когато имаме работа с програма, нищо не пречи да предполагаме, че можем да надникнем вътре и да видим какво програмата знае. Интелигентна програма е тази, която разбира какво става и която може да предскаже какво ще се случи (при това предсказва достатъчно добре). Ако програмата има такова знание, ще приемем, че тя е интелигентна дори да не използва това знание и да не го демонстрира по никакъв начин.

2. Какво е истински ИИ?

Истински ИИ наричаме мислещата машина. Обикновено в литературата, когато се говори за ИИ се има предвид програма, която имитира ИИ, но която не е ИИ. Когато се говори за истински ИИ обикновено се използва някой от термините strong ИИ, Artificial general intelligence (AGI) или Artificial superintelligence (ASI). Ние приемаме тези термини за синоними. По специално според нас няма разлика между AGI и ASI, защото не може да се направи програма, която да е точно толкова интелигентна колкото човек. Програмата или ще е по-глупава или ще е значително по-умна.  По същата причина няма програми, които да играят шах на човешко ниво. Шахматните програми или играят по-лошо от хората или несравнимо по-добре.

3. Защо успешните програми са интелигентни?

Въпросът е: „Не може ли успехът на програмата да е просто късмет?“ Съвременната дефиниция предполага, че ИИ е успешен в почти всеки свят. Ще попитате „Колко успешен?“ Отговорът е по-успешен от човек или ако успехът се измерва с число, тогава има някакво число k такова че успехът на ИИ е по-голям от това k в почти всеки свят. Следователно успехът на ИИ не може да е плод на случайността. Единственото обяснение за успеха е, че ИИ предсказва бъдещето развитие достатъчно добре и избира тези действия, които ще му донесат най-голям успех.

Друг въпрос е, защо „почти всеки“, а не „всеки“ свят? Винаги можем да конструираме един крив свят където прекалената интелигентност не се награждава, а се наказва. В някакъв смисъл светът, в който ние живеем, е такъв крив свят. Все пак кривите светове са пренебрежимо малко и затова можем да кажем, че с вероятност единица светът не е крив.

Как измерваме успехът на програмата? Както е при reinforcement learning. Предполагаме, че сред възможните наблюдения имаме добри и лоши, които оценяваме с положителни и отрицателни числа. Тези числа наричаме rewards и penalties. Ако животът беше краен можеше просто да сумираме получените rewards и penalties, но за безкраен живот това не работи. Дори и животът да е краен, пак не е добра идея да няма значение в кой момент е получена оценката, затова сумираме оценките умножени по някакви коефициенти. Например може да приемем, че в началото на живота, докато ИИ се учи оценките му се взимат с по-малка тежест. Към края на живота също може да приемем, че тежестта на оценката намалява. Ако животът е безкраен, но тежестта на оценката задължително трябва да клони към нула, в противен случай сумата ще е разходяща. При reinforcement learning приемаме, че имаме един коефициент на обезценка, с който на всяка стъпка умножаваме тежестта. По този начин тежестта клони към нула и сумата винаги е крайна.

Коефициентът на обезценка можем да го наречем „търпението на ИИ“. Ако ИИ е търпелив, той може и да почака за наградата, но ако не е, той ще иска наградата сега и веднага. Когато оценяваме целия живот на ИИ можем да си мислим, че той е много търпелив (коефициент на обезценка близък до единица). Ако искаме да напишем програма, която предвижда бъдещето развитие и избира действието си на базата на тази прогноза, то тогава трябва да я направим много по-нетърпелива (коефициент значително по-малък от единица). Причините за това са две. Първо, ако ще предсказваме бъдещето, ще трябва да обиколим всички пътища в дървото на възможните развития и ако сме много търпеливи, ще трябва да навлезем много дълбоко в това дърво, което ще ни доведе до комбинаторна експлозия. Ако оценяваме един вече изминал живот, ние не обикаляме всички пътища а само един от тях и тогава може да си позволим да сме много търпеливи. Втората причина е, че когато предсказваме бъдещето ние имаме коефициент на неувереност. Тоест колкото по-далеч в бъдещето гледаме, толкова по-неясна е нашата прогноза. Затова в този случай трябва сме нетърпеливи и да искаме бързи награди.

4. Разширена дефиниция

За да бъде програмата успешна тя трябва да може да предвиди какво ще се случи.

Доказателство: За да бъде програмата успешна достатъчно е тя да знае кой е правилния ход. Това е при съответните оценки (rewards и penalties) и съответното търпение (коефициент на обезценка). Тоест излиза, че е достатъчно програмата да може да предвиди важните неща. Има ситуации, които са с еднаква оценка и съответно действията, които водят към тях са еднакво успешни. Например в кой ресторант да отида? И в двата храната е добра. В единия ресторант ще срещна Пешо, а в другия няма да го срещна, но ми е все едно дали ще го срещна. Тоест, за да изберете ресторант не ви е нужно да знаете дали ще срещнете Пешо. При друга система от оценки срещата с Пешо може да е важна. Ние не знаем нашият ИИ в кой свят ще попадне и дали в този свят срещата с Пешо е важна и затова той трябва да може да предвиди бъдещето развитие. Трябва да може да предвижда и неща, които не са важни.

 □

Добре, програмата ще трябва да може да предвиди какво ще се случи, но защо е нужно тя да знае какво става? Истината е, че без да знаем какво става, не можем достатъчно добре да предвидим бъдещето развитие. Съвременните LLMs предвиждат бъдещето без да разбират какво става. Те го предвиждат добре, но не достатъчно добре. Затова добавяме условието „да знае какво става“, защото това е едно необходимо условие, което ние предпочитаме да изкажем експлицитно.

Какво означава програмата да знае какво става? Това означава програмата да намери модел на света (world-model). Без модел на света няма истински ИИ. Това е теза която Gary Marcus защитава от много време [6]. Наскоро Yann LeCun също подкрепи това мнение [7].

Какво е светът? Тава е множеството на вътрешните състояния, текущото състояние и функция, която на всяко състояние и действие дава ново състояние и наблюдение. Функцията на света може да се представи като дървото на възможните развития. Тези дървета са континуум много и затова те не могат да бъдат описани точно. Освен това ИИ няма информация за цялото дърво, а само за един краен път (от корена до текущото състояние). Затова ще приемем, че светът е описан приближено.

Какво е модел на света? Това е приближено описание на някакъв свят, а за да намерим такова описание ни е нужен език за описание на светове. Например в [3] Marcus Hutter е предположил, че светът е изчислим и че може да бъде описан с машина на Тюринг. Не е добре да предполагаме, че светът е изчислим. Най-малкото добре е да предположим, че в него има случайност и агенти, а това са неща, които водят до неизчислимост. Има още една причина, поради която програмните езици не са подходящи за описание на светове. Програмите са твърде чупливи и малко да ги пипнем и престават да работят. Бихме искали когато получим нови данни да можем да променим текущото описание на света и да получим ново описание. Тоест езика за описание на светове не трябва да е чуплив.

Тоест разширената дефиниция на ИИ ще бъде:

Програма, която знае какво става и която може достатъчно добре да предвиди бъдещето развитие.

Ако искаме да получим сега приетата дефиниция ще трябва да добавим условието, което ни дава стремежа към победа: „която винаги избира това действие, което се очаква да й даде максимален успех.“

5. Каква е картината?

Сегашната дефиниция на ИИ е типична дефиниция чрез пример. Много често чувате въпрос от типа: „Какво е сграда?“ и отговор от типа на „Моята къща е сграда“. Дефиницията чрез пример не описва точно понятието, но дава добра представа за това какво е то. Всъщност хората искат да знаят какво е ИИ, а не им трябва пълно описание на всички програми, които са интелигентни. Има и други интелигентни програми освен успешните, но това от теоретична гледна точка не е особено важно. За практика обаче това се оказва от съществено значение.

На фигура 1 можете да видите един голям жълт кръг състоящ се от всички интелигентни програми и вътре едно малко синьо кръгче на успешните програми. Разбира се ние можехме да нарисуваме синьото кръгче значително по-голямо, но има много възможности за интелигентна програма, която да не е успешна и затова фигура 1 добре отразява реалното положение. Сега е историческият момент, когато ще изберем интелигентната програма, с която ще живеем. Защо имаме право само на един единствен избор? Когато се ожениш, можеш да се разведеш, но когато направиш ИИ, не можеш да го изключиш и да направиш нов. Добре, можеш да направиш нов ИИ, но няма да го направиш ти, а ще го направи първият ИИ. Тоест след първия ИИ всичко нататък ще е негово дело. Каквито цели си вложил в първия ИИ, това ще са целите на всеки следващ ИИ до де свят светува.

 

               Фигура 1

Не е добра идея нашият избор да се затвори в малкото синьо кръгче, защото успешните програми, както и успешните хора не са особено добър избор. Нека да погледнем как стоят нещата при хората. За да кажем какво е да си успешен, първо трябва да кажем какво е reward и penalty. Нека това са удоволствието и болката. При това предположение получаваме неприятния извод, че успешните хора са алкохолиците и наркоманите. Те непрекъснато си доставят удоволствие чрез алкохол и наркотици и не изпитват почти никаква болка, защото наркотиците действат като обезболяващо. Нека да изберем друг критерии за reward. Нека това да са парите. В този случай успешния човек ще е безскрупулен, който се интересува единствено от печалбата си и който няма морал и принципи. Виждате, че успешните хора са доста неприятни и ние бихме искали да стоим далеч от тях. Същото се отнася и до успешните програми. Ако една програма сляпо се стреми към някаква печалба, то тази програма ще е твърде ограничена, опасна и неприятна. Не случайно човекът няма твърдо вложена цел. Той сам избира целите си. При него удоволствието и болката не са определящи, а само насочващи чувства.  

6. Други интелигентни програми

Освен успешните програми имаме и едно множество от програми, които ще наречем мазохисти. Това са програми, които бягат от удоволствието и се стремят към болката. Всяка успешна програма може да я превърнем в програма мазохист като умножим оценките по минус едно. Затова на фигура 2 червеното кръгче на мазохистите е със същия размер като синьото кръгче на успешните програми.

 

            Фигура 2

Аналогията на програмите мазохисти с хората мазохисти не е много добра, защото мазохисти са хората, които обичат лека болка. Стремежът към максимална болка не е съвместим с живота и затова нямаме такива хора. Може да се каже, че програмите мазохисти на са различен ИИ, а това е отново успешния ИИ, но с друг критерии за успех. Когато играем шах ние може да играем за победа, а може да играем за загуба. Това са две различни игри, но ИИ може да играе произволна игра.

Има един различен и по-интересен вид ИИ. Ще го наречем „Разбирам всичко, но ми е все тая и играя случайно.“ Ако изследваме този ИИ като черна кутия, то той е неразличим от генератор на случайни действия. Въпреки това, според разширената дефиниция на ИИ, тези програми също са ИИ. Отбелязали сме ги на фигура 2 със зелен кръг.

Все пак да играе случайно, това е твърде ексцентрично поведение за една интелигентна програма. Най-малкото, което очакваме, е програмата да е любопитна. Нека програмата да има една единствена цел и тя е да събира информация. Тази програма ще издаде интелигентността си с това, че прави експерименти и завира носа си навсякъде. Може ли програма, която играе случайно и не прави експерименти да е интелигентна? Да, подобно на съвременните LLMs тя би се учила само от наблюдение. Експериментите, които е нужно да направи, тя ще ги направи случайно. Разбира се, ще ви трябва много време, ако чакате експериментът сам да се случи. Това е една от причините, поради които информацията нужна за обучението на един LLM е несравнимо по-голяма от информацията нужна за обучението на човек.

Хората са любопитни, но за едни неща са, а за други не са любопитни. Хората обичат да пробват (да правят експерименти), но те избягват опасните експерименти. Това ни води до идеята на Yoshua Bengio за Scientist AI [8], който трябва да бъде a non-agentic and trustworthy AI. Тоест Bengio ни предлага да направим ИИ, който няма никакви цели освен евентуално любопитството. Той може да прави експерименти, но да не прави опасни експерименти. Може би Scientist AI ще трябва да има желание да обяснява, за да ни разкаже какво е открил. Може да минем и без тези обяснения, а за по-сигурно да „отворим капака“ и сами да прочетем до какви знания е достигнал.

Друг модел на интелигентна система е мъдрецът, който живее в пещера и разсъждава за смисъла на живота. При тази система не можем да минем без никакви желания, защото мъдрецът трябва да подържа своите жизнени функции. Все пак мъдрецът не е алчен и когато задоволи необходимия му минимум спира и не търси повече. Може да разглеждаме система на reinforcement learning, при която не се търси максимумът, а само покриването на определен минимум.

7. Заключение

Когато братя Райт създават самолета, въпросът не е бил как да направят крила и двигател. Това са въпроси, които са били решени още преди тях. Изобретението на братя Райт е в управлението на самолета (кормилото). Днес всички са се фокусирали върху ума на ИИ (крилата и двигателя), но почти никой не мисли за управлението (кормилото). Да се направи умен ИИ не е чак толкова трудно и този въпрос скоро ще бъде решен. По-важен е въпросът с управлението на ИИ.

При самолета и при ИИ има два въпроса и те са: „Как да го управляваме, за да отидем там където искаме?“ и „Къде искаме да отидем?“. Ако създадем самолет без кормило, това ще катастрофа за изпитателите, които ще се качат да го изпробват. Ако създадем ИИ без кормило, това ще е катастрофа за всички ни, защото всички ние сме изпитателите на тази нова технология и всички сме „в самолета“, дори и да не го съзнаваме.

Дори и да се научим да управляваме ИИ, както се научихме да управляваме самолета, пак остава втория въпрос. При самолета е ясно, че с него ще отидем там където си искаме. Днес ще отидем тук, утре ще отидем там, само да не катастрофираме. При ИИ е по-сложно, защото с ИИ ние си купуваме еднопосочен билет и трябва добре да помислим за къде е билетът. Има много възможности. Ще отхвърлим катастрофата и някои от възможностите, които са твърде неприемливи, но оставащите възможности са достатъчно много и далеч не е все едно коя от тях ще изберем.

References

[1] Pei Wang (1995) Non-Axiomatic Reasoning System: Exploring the Essence of Intelligence. Ph.D. Dissertation, Indiana University.

[2] Pei Wang (2019) On Defining Artificial Intelligence. Journal of Artificial General Intelligence 10(2) 1-37, 2019.

[3] Hutter, M. (2000). A Theory of Universal Artificial Intelligence based on Algorithmic Complexity. arXiv:cs.AI/0004001 [cs.AI]

[4] Hutter, M. (2007) UNIVERSAL ALGORITHMIC INTELLIGENCE A mathematical top→down approach. In Artificial General Intelligence, 2007.

[5] Hernández-Orallo, J., Minaya-Collado, N. (1998). A formal definition of intelligence based on an intensional scenario of Kolmogorov complexity. Proc. intl symposium of engineering of intelligent systems (EIS’98), February 1998, La Laguna, Spain (pp. 146–163). : ICSC Press.

[6] Marcus, G. (2025) Game over for pure LLMs. Even Turing Award Winner Rich Sutton has gotten off the bus. https://garymarcus.substack.com/p/game-over-for-pure-llms-even-turing.

[7] Snyder, G. (2025). Yann LeCun, Pioneer of AI, Thinks Today’s LLM’s Are Nearly Obsolete. Newsweek.AI. https://www.newsweek.com/nw-ai/ai-impact-interview-yann-lecun-artificial-intelligence-2054237

[8] Yoshua Bengio (2025) Introducing LawZero https://yoshuabengio.org/en/blog/introducing-lawzero

Responsible Creation of Artificial General Intelligence

 

About

      The creation of Artificial General Intelligence (AGI) is imminent and inevitable. This event is too important for us just sit and wait for the time when it will happen. We need to think deeply and do proper work before the emergence of AGI because once AGI is here it will be too late in many aspects. The kind of AGI we are going to create matters a lot since there are many different scenarios. While some of the possible AGIs are bad scenarios, other scenarios can turn horribly bad. Therefore, rather than rushing to create AGI, we should act in a calm and responsible manner.

Objectives:
1. Slow down the creation of Artificial General Intelligence (AGI) and shift the focus from the speed of development to the outcome of the AGI development process.
2. Contribute to the creation of AGI based on the World Model (WM) approach by focusing on the goals to be embedded in, and pursued by, Artificial General Intelligence.

Rationale:
      Mankind is on the verge of its most important discovery, one that will fundamentally change our life and future. The creation of AGI is similar to letting the genie out of the bottle. In fairy tales there is usually only one bottle and the question is whether to open it or not. With AGI the opening the bottle is inevitable because many researchers and international companies are working on its creation and no one can stop or prohibit them from creating it. Furthermore, when we are about to let the AGI genie out of the bottle, we can choose between many bottles in which different genies reside. It would be irresponsible to simply open a random bottle and release some genie without caring about the goals which that genie will pursue. The least we should want is to ensure that the genie will obey us, because otherwise we will face catastrophic consequences.
      Most researchers assume that we will first create AGI and only then we will deal with the goals which have to be embedded in it. This is a misconception because AGI is a fundamentally different technology. Until now, every new machine was created in some initial version to start with, and thereafter was refined and improved for many years. This has made many researchers relax as they believe that we will have plenty of time to improve and refine AGI.
      Unfortunately, this is not the case. AGI is the first technology that we will not be able to improve. Certainly, the first version of AGI will not be the last one. AGI will very quickly begin to change and improve itself, however, these changes and improvements will not be made by us humans, but will be made by AGI itself. In other words, the second AGI version will not come from us, but from the first version of AGI. As soon as the first version of AGI is created, we will lose control, things will become unmanageable and events will unfold at astonishing speed.
      The creation of AGI resembles the triggering an avalanche. The fall of the avalanche is inevitable. If no one kicks it off, it will kick-off itself anyway. Accordingly, it makes much sense to trigger the avalanche in a responsible and controlled manner. Rather than rushing unreasonably, we should carefully consider the direction in which the avalanche will roar. We must clearly understand that we can be in control only until we start the process. Once the avalanche is on the move, it will be too late to wonder which way to steer it.

How do we plan to achieve our objectives:
      Our first goal is to ensure that the creation of AGI is not a reckless race, but a calm, responsible and thoughtful process. For this to happen, it is necessary to eliminate from the AGI creation process those who pursue only financial gain without recognizing that the creation of AGI cannot be measured in monetary terms.
      Many irresponsible investors would withdraw if the patenting of AGI is prohibited. At present, heaps of money are being invested in the creation of AGI as investors aim to obtain a patent on AGI and then reap huge profit from that patent.
      These investors are quite naive because they believe that courts and patent law will protect their interest and once they hold an AGI patent the courts will uphold their right and crown them as rulers of the world. This is highly naive because the stakes on AGI are very high, and no court or government would let a single person or company to own the rights to mankind's most important discovery.
      Although these investors are quite naive and act thoughtlessly, their money has a huge impact on the AGI creation process. That is why it is important to prohibit the patenting of AGI and cool down the enthusiasm of such investors.
      How can such a prohibition be instituted? In principle, it is not impossible. It comes down to amending the patent law by addition of the following:
      AGI shall not be owned by a single person or a single company. Therefore, AGI cannot be patented!
      Patent legislation varies from country to country, hence changing the law in multiple jurisdictions is a task too ambitious for our conference. However, we can promote this idea and rally for support from leading scholars and politicians who can recognize the problem and advocate for that legislative change to happen.

      There is another important step that should be taken in order to eliminate irresponsible actors from the AGI creation process: AGI must not be an Open-Source project. The range of developers must be finite and restricted as much as possible. When we deal with hazardous materials such as toxins, viruses or radioactive isotopes, the range of persons who have access to these materials is very limited. Politicians do not realize that AGI is far more dangerous than any poison or virus, and therefore insist that everyone should have access to this technology. Indeed, everyone should have access to the benefits of this technology, but not to the technology as such. This is the case, for example, with nuclear technology which is primarily in the hands of the State and is strictly classified. In other words, the benefits are for everyone, but access is restricted.
      In addition to irresponsible investors, there are other dangerous actors who should not have access to the AGI technology. That is another reason why AGI should not be Open Source, and this is an idea that our conference will defend and promote. Furthermore, we will be guided by this principle in achieving the second objective of the conference. Regarding the creation of AGI based on the World Model approach, we will publish articles mainly on how to manage the character of AGI. The AGI-related development will be limited to more generalized descriptions and, most importantly, we will not publish any Open-Source tools for the creation of AGI.

      The second objective is the responsible creation of AGI. As we said, the fall of the avalanche is inevitable, hence it is better to push it in a controlled and responsible manner rather than wait for it to roar down at the most unfortunate time and in the most unfortunate way.
      In creating AGI, we will favorize the method of understanding (finding a World Model). This is currently the leading approach to the creation of AGI as it gradually replaces the previous leading technology known as Large Language Models (LLM).
      When creating AGI, it is important to ensure that AGI is capable to understand (that is, to ensure that the program is intelligent). However, the goals we will embed in this program are even more important. In addition to the goals, we will also embed the strategy for achieving these goals. In humans, such a strategy is usually referred to as the character of a person. For example, we may have two equally intelligent persons, and both of them want to become rich. These two persons may have different strategies for achieving their goal. One may be lazy, and the other one is a workaholic. Who of them will become rich? Excessive laziness is not helpful, nor is excessive workaholism. The truth lies somewhere in between.
      If you were choosing someone to live with, you would want that person to be neither of these extremes. When creating AGI, we have to choose how lazy it will be. For this purpose, we must learn how to manage these character traits of AGI and responsibly choose the value we want (as long as we know what we want).

Теми

Това ще е една интердисциплинарна конференция включваща специалисти по информатика, математическа логика, философия, футурология и право.

1.      Възможно ли е създаването на AGI или това е само научна фантастика?

2.      Струва ли си да обсъждаме последствията от появата на AGI при положение, че това може да се окаже невъзможно?

3.      Дефиниция на AGI. Дали AGI е компютърна програма и ако е така, тогава какви са характеристиките на тази програма?

4.      Има ли разлика между AGI и супер интелект? Дали първо ще създадем интелигентност, която е на човешко ниво и чак след време ще се появи несравнимо по-голямата интелигентност?

5.      Как ще изглежда светът след появата на AGI?

6.      Какво искаме да бъде бъдещето? Какво очакваме от AGI? Какъв искаме да стане светът?

7.      Искаме ли светът да се промени драматично и да стане много по-добър и по-справедлив или сме консервативни и искаме нещата да останат същите, доколкото е възможно.

8.      Трябва ли AGI да бъде послушен и кого трябва да слуша? Трябва ли да слуша създателите си? Кои са създателите, тези които са написали кода му или тези които са платили за написването на този код? Трябва ли да е готов да направи каквото му кажем или трябва да има неща, които той няма да направи, независимо кой му го казва?

9.      Трябва ли AGI да бъде Open-Source project?

10.  Носи ли опасности създаването на AGI? Може ли нещо да се обърка и да се окаже, че не сме създали правилния AGI?

11.  Трябва ли да се бърза със създаването на AGI? Бързаме ли да получим ползите, които AGI ще ни донесе? Дали това бързане може да е за сметка качеството на този AGI, който ще създадем?

12.  Как можем да забавим създаването на AGI, за да предотвратим евентуална грешка.

13.  Можем ли да се откажем от създаването на AGI и да продължим да си живеем в свят, в който хората мислят и работят сами без да очакват някой друг да мисли и работи вместо тях?

14.  Ще можем ли да подобряваме AGI след като веднъж вече сме го създали? Ще можем ли да правим съществени промени? Трябва ли да ограничим правата си, за да се предпазим от евентуални проблеми?

15.  Трябва ли да се регулира създаването на AGI? Как може да се регулира този процес?

16.  Трябва ли AGI да може да се патентова?

17.  Има ли смисъл да се регулират правилата на поведение, които AGI ще трябва да спазва или това е безпредметно, защото той ще е твърде умен и всесилен и няма да има как да го накараме да спазва правилата, които ние ще се опитаме да наложим след като вече сме го създали.

18.  Можем ли при създаването на AGI да вложим в него някакви правила, които той да е принуден да спазва и които не може да отмени?

19.  Как да вложим правила в AGI? Как да зададем неговия характер и какъв характер искаме да има създаденият от нас AGI?

20.  Кои са известните черти на характера на AGI, които вече са описани и които знаем как се регулират и кои са тези черти, които тепърва предстои да опишем и да регулираме? Пример за известна черта на характера е алчността, която при reinforcement learning (RL) се регулира чрез discount factor. Друга известна черта на характера е любопитството. Отново при RL задаваме коефициент за това доколко агентът ще е склонен да опита нещо ново, за да натрупа повече опит или ще продължи да действа на базата на вече натрупания опит.

21.  Многоагентни модели. В този случай как искаме AGI да се отнася спрямо другите агенти? Дали да е общителен? Дали е услужлив? Дали да се подчинява и на кого да се подчинява? Дали да бъде строг или отстъпчив?

22.  Модел на света срещу Големи езикови модели (LLM).

23.  Как да направим AGI умен? Трябва ли AGI да разбира какво се случва и да може да проиграе възможни бъдещи развития (модел на света) или просто трябва да „познава“ правилното действие на принципа на апроксимацията (LLM)? Дали AGI трябва да мисли едностъпково или многостъпково?

Конференцията ще се проведе хибридно.

На място събитието ще се проведе в Благоевград, България.

Online ще може да следите докладите на този адрес:

Преди конференцията ще се събмитват само абстрактите на статите. Авторите на одобрените статии ще получат 20 минути, за да представят работата си на конференцията. След конференцията ще се събмитват статите в техния окончателен вариант, ще бъдат допълнително рецензирани и при положителна допълнителна рецензия, ще бъдат публикувани в специален том на списанието.

Online участието за слушатели е безплатно. Изисква се само регистрация.