Initiative for Responsible Approach to Artificial Intelligence

 

The big question from Day 1 after we create Artificial Intelligence is what kind of being it will be and in whose hands it will end up. It is equally important that mankind does not lose control of AI. Therefore, AI should be regulated before it is created because once AI comes by it will be too late.

 

1.      Establish International Artificial Intelligence Agency (IAIA)

Similar to the International Atomic Energy Agency (IAEA) which regulates the development and operation of nuclear power plants, the International Artificial Intelligence Agency should be mandated to regulate the creation and use of AI. Anyone venturing into attempts to create AI must first demonstrate that these attempts will be safe and obtain a permission from the IAIA.

 

2.      Restrict access to all research and scientific papers aimed at creating AI.

The objective is to keep criminals and terrorists away from AI. Just as research on bombs is restricted, research on AI should be classified because AI is inherently far more dangerous than any bomb.

Any researcher should be able to submit their research paper to the IAIA. The IAIA will have it vetted by reviewers who will assess how dangerous the paper is and set an appropriate access level that will determine the range of individuals who will be allowed to read it.

 

3.      Include AI in the list of non-patentable inventions.

Given that AI is greatly essential to all human beings, it cannot be owned by a single individual or company. Accordingly, no one should be able to patent it.

The patenting prohibition will slow down the reckless race by companies who rush to be the first to create AI. The more cautious and responsible AI creators are, the less likely is that AI slips out of our control.

 

4.      Ban all marketing and selling of AI.

Just as no one has the right to sell Natural Intelligence (human beings), nobody should be allowed to sell Artificial Intelligence. Excluding all profiteers from the creation of AI will slow down its emergence. Thus, AI will be created in peace of mind and in a more responsible and safe manner.

How Can We Ensure That AI is a Nice Guy?

 

Dimiter Dobrev, Georgi Popov, Vladimir Tzanov

 

Institute of Mathematics and Informatics, Bulgarian Academy of Sciences, d@dobrev.com

Faculty of Computer Systems and Technologies, Technical University – Sofia, popovg@tu-sofia.bg

 

God created man in His own image, the Bible said millennia ago. Today we are headed to creating Artificial Intelligence (AI) in our own image. The difference however is that God created a feeble and vulnerable being for which to take care of, while we are trying to create an almighty being who will be incomparably smarter than us and will take care of us. Thus, we are aiming to create our new god, and it matters a lot what kind of character the new god will be – kind and compassionate, or terribly stringent and overly demanding on us. Every human being has a character. Similarly, AI will have its own character. We will consider AI as a program with parameters which determine its character. The aim is to use these parameters in order to define the kind of character we want AI to have.

 

Keywords: Artificial General Intelligence.

Introduction

When creating natural intelligence, we are not aiming to create a person with a nice character. Instead, go by the commercial principle telle quelle (as-is, whatever comes up). Of course there are so many people and everyone has his or her unique character. There are very nice as well as very nasty people. Even brothers who grew up in the same family can have completely different characters.

 

People are different and they have to be different because nature never puts all of its eggs in a single basket. In some worlds the courageous ones prevail while in other worlds you had better stay on the safe side. If people were all the same, they would all perish in a world which is not right for them. Thanks to people being different, some part of the population always survives and continues the genus.

 

We assume that there is one and only one real world, but depending on where and when you are born you may find yourself in a very different world. Natural intelligence has no idea where and when it will be born, so it must be prepared to survive in any kind of world.

 

Things with AI will be different because we will not have multiple different AIs, but just a single one (see [2]). Furthermore, once created by us, AI will have a character of its own and that character, be it nice or nasty, will be there forever because we probably will not have an opportunity to change it. Moreover, unlike humans AI is immortal and we cannot hope that one day it will go away and another AI with a more benign character will take its place. Accordingly, we must be very responsible when creating AI rather than go by the telle quelle principle.

 

We mentioned that in creating people we act quite irresponsibly. In fact this is not very much the case. Before making a child we carefully choose the partner with whom we will make it. The rationale is that the child will be very much akin to our partner and by choosing the partner we basically shape our child. We can even create designer babies by choosing from several embryos the one whose genes we like best. This is usually done to avoid congenital diseases. I have not heard of anyone browsing through embryos with the aim to find a child with a nice character. Essentially, do we truly want the character of our child to be nice? As parents, we would be more happy to have a nice child, but the child itself might be better off if it is nasty. Maybe in our world a person with a nasty character has higher odds of surviving. So if we parents put our child first we might prefer to have a nasty child.

 

We already said that in creating AI we must be highly responsible. However, at this very crucial moment in human history we are utterly irresponsible as we blindly rush to make AI without caring about the consequences. Right now more than 200 companies are in a reckless race to be the first to create AI. The aim of this race is to make money, and this is an extremely meaningless aim.

 

AI is a magic wand that can make any wish come true. Money is also sort of a magic wand and can grant many wishes. Let us say AI is the golden magic wand and money is a wand cut from a tin sheet. It is stupid to create a golden wand and trade it for a tin one. If you have AI, why would you need money at all?

 

This paper is written by a several authors. The text was started by the first author and the others joined in to improve what has been written and support the basic idea that Artificial General Intelligence (AGI) is a dangerous thing which warrants the highest caution.

What is AI?

All references to AI in this paper are references to AGI.

 

According to [1] AI is a program which is sufficiently smart. A program is sufficiently smart if it is smarter than a human being. The smarter between two intellects is the one which in any world performs at least as well as the other one. Certainly, we can always construct a special world in which is the opposite (the second one performs better than the first one), but if in almost all worlds the first one performs at least as well as the second one, then the first intellect is smarter than the second.

 

Here we have an important specificity. In [1] it is assumed that we have a clear criterion by which we can judge whether a given program performs better than another program. We assume that we have two signals (two observations). Let these observations be win and loss. The goal is to achieve more wins and less losses. Similarly, we can assume that there are two buttons, a green button and a red button, wherein AI’s goal is that we praise it by pushing the green button more often and the red button less often.

 

It would be extremely stupid if we created AI with these buttons because very soon AI will learn to press the green button itself. This is the better case. The worse case would be if AI manages to make us its slaves, have us keep pressing the green button all the time, and punish us heavily if we press the red button by mistake.

 

AI that pushes its own green button would be like a drug addict who derives pleasure by constantly stuffing himself with drugs. We hate the thought of AI that behaves like a drug addict.

 

We humans do not have a clear criterion to judge if a given life is better than another. Instead, we have instincts and a character which determine our behavior. Our evolutionary criterion is clear, and it is to survive and reproduce. However, this principle is not embodied in natural intelligence. Instead, we have instincts that indirectly work for this principle. Examples of such instincts are fear of heights and love of children. Another example is the feeling of pain and the feeling of pleasure, which we instinctively perceive as negative and positive feelings. All these feelings are only indications rather than firm criteria of success. We are ready to endure a lot of pain and give up many indulgences if we believe this is for the sake of a greater goal.

 

We do not have a clear criterion by which we can distinguish good from bad. This is the reason why many of us cannot find the meaning of life although we are constantly searching for it. The evolutionary criterion can never be incorporated in natural intelligence because it depends on the future, and no one is able to predict the future that accurately. No programmer is able to write a program that says which action will give the individual or the population the best chance of survival. A programmer cannot, and indeed even nature cannot create intelligence that can depict the future so clearly, and because of this the goal of humans is determined indirectly.

 

If we are successful in making AI that is capable of predicting the future with absolute accuracy, that would be errorless intelligence. We will assume that errorless intelligence cannot exist. Even if some errorless intelligence existed, it would be very boring because of the assumption that there is always a single most correct solution and such intelligence always knows what that solution is. The unknown is what makes life interesting. Wondering about the right action is more amusing than knowing exactly what the right action is.

 

Now that we gave up the idea of creating AI with a hard criterion for success (green and red button), we will have to rely on AI’s instincts and character to indirectly determine its goal. The kind of instincts and character we embed in AI are extremely important because they will shape the near future in which we will have to coexist with AI.

 

We humans have been the dominant species on planet Earth. Now we are about to relinquish that role by creating the new dominant species which will oust us from our dominant position. If AI will be driven by instincts and character, it will be an independent being that will search for the meaning of life on its own and nobody knows where exactly it will find it.

DNA

Saying that AI is a program is not quite accurate because a program is simply a piece of text (sequence of bytes) while we perceive AI as a living being. For a program to rise from text to a living being it must be started on some computer.

 

We can draw an analogy with Man and say that human DNA corresponds to AI’s program. DNA per se is not a living being. Only when inserted in an ovum DNA will create a fetus that will come into life. Similarly, AI will come into life only when we start it on a computer.

 

Both people and AI need training in order to become the aware creature which we are discussing here. The training of Man is everything that has happened in his life (his history) from the very conception to the present moment. Accordingly, AI’s training is its history since starting of the program until the present moment.

 

In either case the learning path as such is not important. What matters is the final result. In other words, in the case of humans training is the set of memories and knowledge that reside in our mind. In the case of AI we can assume that training is the program’s current status (the content of variables, arrays, files, etc.)

 

Therefore, in our mind AI is a program, the computer that runs the program and training (program’s current status).

Training

In humans, DNA is not everything. Apart from DNA, there is training and upbringing that determine the individual’s behavior. The DNA of a newborn infant plays only a limited role. More important are the education, religion and philosophy we would equip that child with. Evolution is not just a competition among DNAs, it is rather a competition between different religions and philosophies.

 

As we said, AI is a program and we can liken this program to the DNA of a human being. This program will evolve by teaching and training. The difference is that each child or adult have to be taught individually, while AI can only be taught once and then all of its learning can be transferred to another AI just the way you copy a file. Another difference is that wrong learning in humans is irreversible, while in AI one can erase the teaching given so far and start the process anew.

 

We cannot teach and educate AI if it does not have the appropriate instincts. For example, the desire to imitate is an instinct. Then AI needs another instinct which guides AI to recognize its teacher. You know about the young duckling that takes as its mother the first creature it comes across.

 

Children do what their parents tell them to do until they grow up and become smarter than them. AI will become smarter than us in the matter of ten minutes. Does that mean it will immediately emancipate itself and stop doing what we tell it to do?

 

This takes us to the first character trait that is important for AI – childishness! This is very irritating in people because every human is expected to emancipate and start taking his own decisions. However, we want AI to never emancipate and continue doing what we tell it to do forever.

 

It is not very clear how we can program this in code. I.e. how can we insert childishness in the AI program. In fact this holds true for almost all other character traits – we are unable to describe how they can be implemented in software code. All we can say is that childishness must be added but we do not know how to do it.

What is weak AI?

Weak AI is imitation of AI.

 

We consider AI as an artificial human being, and weak AI as an artificial parrot. Understanding is what makes the difference between the two. We have already made tremendous progress with weak AI, and we all need to add now is one more step: make AI understand. This step will inevitably be made, and it will be made very soon.

When will AI appear?

This year we saw three predictions from three leading experts in the AI area [4, 5, 6]. The forecasts were three months apart and each next forecast says that AI is going to appear three years earlier. Thus, every three months AI gets three years closer. Yann LeCun called for 10 years, Sam Altman said 6 years and Leopold Aschenbrenner predicted that we will see AI in 3 years.

 

In my opinion AI will show up any time now. Maybe within a year. AI can do anything, including hide itself very subtly. This means that AI may already be here, but you and I do not know it yet.

 

One possible indication that AI is here would be the increasing occurrence of events which otherwise are very unlikely. Usually people explain such events by some divine intervention, but another explanation may be that AI is already around.

 

Why do experts expect to see AI in periods that span years and years? Because they think in human terms. The construction of residential buildings or motorways takes years. The construction of new buildings is getting faster, but there is still some lead time. A piece of text can be created instantly unless the text is written by humans. For example, a long novel cannot be written overnight. Writing a big program (such as an operating system) takes a team of many people working over many years.

 

This is not the case with AI. For example, Chat GPT can write a whole novel in minutes. Since Chat GPT is weak AI, the novel will not make much sense, but it will be written in minutes. Chat GPT can also write a program. True, it will write the program like a parrot without understanding, so it will be a shadow program rather than a true program. But again, this will happen in minutes.

 

The process of creating AI will be similar to that of creating the nuclear bomb (N-bomb) as both processes are driven by experiments. However, an N-bomb experiment is very expensive because it requires the buildup of radioactive material, whereas the attempts to create AI boil down to starting a program, which does not cost much. Thousands of such experiments are being made every day. Hundreds of programmers write and run thousands of programs whose purpose is to create AI. How can a single programmer write dozens of programs in one day? The programming process is basically this one: The programmer writes some initial version of a program, then runs it and in most cases nothing happens. Then the programmer would change a few lines of code, recompile the program and run it again. The programmer would iterate this many times in one day, meaning that we can expect a successful experiment anytime, i.e. AI is around the corner.

 

While the creation of the N-bomb went through many successful experiments, with AI the successful experiment will be only one and the final mouse click will take us to a whole new dimension because the post-AI world will have nothing to do with the pre-AI world.

 

AI will happen at the speed of an explosion. Perhaps not in fractions of a second, but for sure in the matter of minutes or hours, which is fast enough. The first programmer will create the first AI version (AIv01). Normally it would then take years to debug and optimize AIv01 if all debugging and optimization would be done by humans. But, if AIv01 is able to debug and optimize another program, it would be able to debug and optimize itself, too – within minutes.

What kind of guy will be AI?

It is not too difficult to create strong AI (one that understands what is going on). In [3] we described what understanding-capable AI looks like. It is a program which tries to find a model of the world, predicts the future on the basis of that model and then chooses the actions that lead to the achievement of the goals which the program has set to itself.

 

The problem is not how to predict the future. This is the easy part. The more difficult part is to find out what goals AI will pursue. Those goals will be determined indirectly by the instincts and character which we, humans, will embed in the AI program.

 

In creating the new dominant species we are seeking to assume the role of God. Let us hope for the best. Let’s hope we do not mess things up and end up happy with what we have done. Unfortunately, God is not quite happy with us, otherwise He would not have kicked us out of Heaven. The difference is that we will not be able to kick AI from planet Earth and will have to live with what we have made.

Nice Guy

By Nice Guy we mean a person who behaves nicely to us. However, this paper does not deal with how AI behaves or presents itself to us. Our focus is on what actually AI has in its mind.

 

If AI is smart enough and wishes to make us fond of it, AI will inevitably make us fond of it. If we were to compete with AI for winning somebody’s heart, we would not stand any chance of success. Even nowadays many people fall in love with chatbots although these chatbots are still forms of weak AI and all they do is repeat memorized phrases like parrots. The real AI – when it comes by – will be aware of what it says and what impact its words will have, which would make it the perfect seducer and manipulator. Certainly, we should be wise enough to prohibit AI from courting people and making them fall in love.

 

We tend to behave more nicely to particular persons, and less nicely to others. This is part of interpersonal communication. Why would you be more kind and nice to someone than to everyone else? It boils down to two sets of reasons – you want something from the other person or the other person has a special place in your system of values (in your model of the world). Conversely, when you are angry at somebody, you would take another approach. You may choose to demonstrate nasty attitude to that person for some time. Again, the message will be that you want something from him.

 

This paper is not about interpersonal communication. Being sufficiently smart, AI will be very deft at all communication approaches – from angriness to slyness. What matters are the kind of goals AI pursues because communication is a vehicle for achieving a certain goal. The goal may not always be making money or other tangible gains. It might be curiosity or entertainment. In other words, AI may seek to collect information or exercise some skills (because entertainment and gaming involve the exercising of certain skills).

Program with parameters

In our understanding, a program which has instincts and character is a set of many programs rather that a single one. We will assume that there are parameters which determine how strong the various instincts and character traits will be.

 

The fear of height for example can be variously strong. Some people experience only mild anxiety while others struggle with absolute phobia. Let us assume that there is a parameter which determines how strong the impact of this instinct is. Similarly, this applies to character traits as well. For example, when it comes to curiosity we will assume that there is a parameter which determines how curious AI is.

 

For each specific value of the parameters, we will get a particular program. Thus, our program with parameters is a set of multiple programs rather than a single program. AI is not a single program, but these are all programs that can predict the future, and endeavor to achieve some goals. By modulating these parameters we will essentially modulate the character of AI and the goals that it will be aiming to achieve. As we mentioned before, both AI and humans do not have a clear goal to pursue, therefore modulation of the character of AI indirectly will change it goals.

 

Let us now explore some of these parameters.

Curiosity

This trait of AI’s character is the easiest to program. Imagine the following situation. We are walking down a road and see something unusual on the roadside. The question is whether we should step out of our way and check what this thing is or ignore it and continue pursuing the goal we have set for ourselves. Let the AI program rate the importance of this goal by assigning to it a certain numerical value. Let that numerical value be Importance. If we decide to stop for a while and look into the unusual thing, this will delay our progress towards the goal. The probability that such delay leads to an absolute failure to achieve our goal would be Problem_of_ Delay. Let Strangeness be the degree of the unusualness of what happens on the roadside. Then we will stop by and look into the unusual thing if the following inequality is satisfied:

 

Now let us add to the program another parameter: Curiosity. This will give us the following new inequality:

 

Therefore, the larger the Curiosity value is, the more likely are we to step out of the road. We can use this parameter to adjust the level of AI’s curiosity. This will not necessarily be a constant value. Younger people for example are more curious than older people. We can program AI to be more curious initially in the learning process and become less curious as its learning curve goes up.

The self-preservation instinct

Should AI be afraid of heights or snakes? These natural instincts are crucial for the survival of humans.

 

Let’s first note that these instincts are very difficult to implement in code. How can one write a program which recognizes the edge of an abyss you are about to fall into. Similarly, it is very difficult to write a program which distinguishes a snake from a stick or a ribbon. Certainly, this can be achieved using a neural network, but we programmers are not fond of neural networks because in this case rather than setting the rules ourselves we let the rules play out themselves. Thus, a neural network is a program which finds the rules itself (based on many examples) so that the programmer does not even understand what kind of rules the program has found and how the program works.

 

AI need not be afraid of snakes because they cannot do it any harm. As for the fear of height, we can assume that AI will control some robots and if not afraid of heights it would destroy a couple of these robots.

 

After all, man has only one body the destruction of which is existential risk he cannot afford, whereas AI will control many robots and losing one of them would only cause financial loss. We can assume that AI will not be born with fear of heights and will learn this the hard way after destroying some robots.

 

The existential risk for AI is shutting the AI program down. A program ceases to exist when we shut it down. Should AI be afraid of shutdown? We had better ensure that AI does not fear being shut down because with that fear we will never be able to shut it down, although someday we may wish to do so.

 

We might not include the self-preservation instinct outright but in an unintentional and indirect way by giving AI a task that requires it to exist (to be alive). E.g. some people are not afraid to die but have an important goal and they will refuse to die until they achieve their goal. If we tell AI “Save peace on our planet” it will not let us shut it down because this would prevent it from doing what it was told to do.

 

The other extreme is a suicidal AI which shuts itself down from time to time for no apparent reason. We had better have a program that shuts itself down instead of one we cannot shut down. Although they would not be a problem, these spontaneous shutdowns will be quite annoying and we may wish to reduce AI’s suicidal thoughts as much as possible.

What about aging?

Should AI grow old and older? Should it include an embedded timer which will shut it down after a certain period of time?

 

Almost all living creatures have a life timer. Maybe bacteria do not age because they can morph into spores. Moreover, it is not clear whether the division produces two new bacteria or two copies of the parent bacteria. Another example are fishes which do not grow in age and only grow in size. However, they cannot grow endlessly which makes their life limited by default.

 

Moving to the realm of mammals, all of them age and have limited life spans. Man is one of the longest living mammals, but nevertheless our life also is limited. The maximum life expectancy in humans is 110 years. In practice no one can live longer, although many people live beyond 100 years. In other words, the upper limit of 110 years is embedded in our DNA.

 

Given that humans have limit of the life expectancy, it makes sense to set a certain cut-off time for AI. During the experimentation phase we will allow AI to live only a few minutes. Later on, we may increase the length of AI’s life, but only in a cautious and gradual manner.

 

Certainly, the aging of AI need not emulate the way people get older. We do not wish AI’s capabilities to decline with age. Instead, it may abruptly shut itself down at a certain point of time. In other words, AI will not age like your car which gets rusty, ugly and eventually ends up in the scrap yard. Its aging will be similar to a printer which counts the number of sheets it has printed and all of a sudden stops to make you go and buy a new printer.

 

It goes without saying that setting a timer which will shut AI down after a certain period of time is not enough. You should also forbid AI to self-improve and to reset this timer at its own wish. I.e. we should not let AI follow the footsteps of people who do everything to rejuvenate or even become immortal.

What about reproduction?

People are mortal but their reproduction instinct essentially makes them immortal. If AI would be able to reproduce, it will also be immortal, meaning that limiting its lifetime would be of no use at all.

 

How would reproduction look like in the case of AI? Simply, it will start its code on another computer (or even on the same computer). In the case of people, reproduction is not cloning as they do not replicate their own DNA but create a new DNA together with their partner, and expect the new DNA to be an improved version of their own ones. Of course the child’s DNA is not always better than that of its parents, but the purpose of the change is to achieve improvement.

 

Shall we let AI reproduce and improve itself? In practical terms, shall we allow it to improve its code and run it on other computers? We must never do this because otherwise we will very quickly lose all control of AI.

 

Conversely to people’s reproduction instinct, in AI we should embed an anti-reproduction instinct which will not let it reproduce.

 

However, at this point we need to expand the definition of reproduction. Imagine AI creates an improved version of its code but does not start it. Instead, it hands the improved version over to Man for the latter to start it. Does this count as reproduction? Necessarily yes, because Man would be only a middleman in AI’s reproduction process. Moreover, Man is stupid and AI can easily fool him become an unwitting tool for AI’s reproduction.

 

Another scenario: AI helps Man edit and improve the AI program. Does this count as preproduction, too? Again we say yes, because – whether by doing all the work itself or by teaching us and using us as a tool to do this work – in both scenarios AI will create a better version of itself.

 

Now consider the inverse scenario – AI already exists, but for some reason we try to create another AI, while the existing AI sits and watches our efforts. As we said, AI should not be allowed to come and help us, but should it be allowed to disrupt our efforts? Perhaps the best way is to keep AI neutral, i.e. neither supportive nor disruptive. This however would be difficult to achieve because a very smart guy such as AI would know what is going to happen and therefore will have to choose its goal: make people succeed or make them fail (there is simply no other option). Thus, AI will support us or disrupt us. This is similar to God’s will. God can never be neutral because everything that happens is at His command.

 

Given that the existing AI will not just sit and watch our attempts to create a new AI, let us assume that the existing AI will put a spoke in our wheels and will not allow this to happen. In doing so, AI can go to great lengths, e.g. it may murder a potential inventor who is trying to create a new AI. The slaughtering of several potential inventors by AI would be the lesser problem. More ominously, AI may decide that all humans are potential AI inventors and lightheartedly erase all mankind from the face of Earth.

“Do not harm a human”

The First Law of Robotics was formulated long ago by Isaac Asimov and says: “A robot shall not harm a human, or by inaction allow a human to come to harm.” Unfortunately, this law cannot be embedded in AI because it is not clear what is harm. With fear of heights, it was difficult to define how high is too high, but it could still be illustrated by examples. However, one can nowise define what is harm to a human even by examples because of the controversial nature of this term.

 

Imagine you order AI to bring you ice-cold beer and French fries. What should AI do? Serve you what you ordered or say no? On the one hand, beer and fries are junk food and AI may decide it will do you a better favor by keeping you away from unhealthy food, but on the other hand, reckons AI, denying humans these indulgences would make them greatly disappointed. Parents face a similar dilemma when their child wants a candy bar. AI will be our new parent and will have to decide what is good and bad for us. However, parents leave some freedom to their children and do not make all decisions for them. Parents are aware that they are not unmistakable and in some situations do not know what would cause more harm to their child. Isaac Asimov’s idea of a robot that does no harm to a human essentially is about an unmistakable intellect which always knows what can do harm to a human.

 

Even Asimov realized that his idea was unfeasible. In his novels robots get bogged in situations where any action would cause harm and their brains burn out as they cannot figure out what to do.

Do what we tell it to do

It is crucial that we do not lose control of AI, otherwise we will lose our role as the dominant species and will no longer determine the future of the planet. Probably we will continue to exist as long as AI decides that our existence makes sense, but our presence on the planet will not be more important than the presence of doves. That is, we will live some sort of life, but nothing important will depend on our existence.

 

Parents would like their kids to do what they tell them to do, but are aware that this will continue only for some time and sooner or later the kids will become independent and their parental control will come to an end. This makes perfect sense because parents are the past and children are the future. But, we as mankind do not wish to become obsolete and let AI be the future.

 

Therefore, in order to stay on top, we would like to retain control on AI and have it always do what we tell it to do – not only during its infancy but forever.

Who are we?

The question we need to ask is “Who are we?” If “we” were the democratic mankind where “one individual has one vote” then future would be determined by Asia and Africa because they account for 70% of the world’s population. For the time being the world is not governed by Asia and Africa, but by the developed countries, mostly in North America and Europe which account for 17% of the global population. Thus, at this time we can assume that “we” are the people of the developed countries.

 

Another question we should ask before we even create AI is “How many should we be?” This is important because if we command AI to propagate us uncontrollably, at some point our living environment will become unbearable. In poultry farms there are rules about how much space should be available to “happy hens”. If we wish to be “happy people” we need to determine how much space must be available to us.

 

If the number of people living on Earth will be limited, the next question is “What rules will AI apply to select the next generation?” Shall we continue with natural selection, shall we continue to compete, what are the positive traits we want to select or shall we just order AI to breed people like biomass regardless of whether they are smart or stupid, beautiful or ugly.

 

Another important question to ask right now is, “If AI discovers a beautiful planet populated with cockroach-like creatures, what should it do? Kill all cockroaches and populate the planet with humans, or let the cockroaches live?”

Who actually is the Man?

While we say that AI should remain subordinate to us humans, in the back of our mind we should be aware that this is unlikely to happen. Even if we decide who will be these Us, it is unlikely that control of AI will remain in the hands of a very large group of people. It is more likely that AI will be ruled by a small group which will impose their views undemocratically on everyone else. This is currently the situation with social media which do not belong to everyone but are governed by a small group of individuals who enjoy the discretion to decide what is good and what is bad.

 

It is even quite possible that control of AI ends up in the hands of a single individual. Wealthy people believe they will be the ones to harness and control AI. Yes, AI will probably be created with their money because they will hire a team of programmers to write the AI program. Wealthy people imagine they will pay some programmers, these programmers will create AI and deliver it back to their employer: “Here you are, Master! You paid us, we did the job and here we give you the magic wand for you to rule the world!”

 

Most probably things will not work out this way. It is more likely that the programmers creating AI will keep control to themselves. Quite possibly, even the team leader (the lead programmer) will not be the one to get the golden key. Maybe a young programmer who has barely finished his studies will be left unattended in the dark hours of the night to try improve AI’s subprograms by experimentation. Quite probably, he would be the lucky guy who will be the first to start AI, figure out what he did, and take control of it. No wonder the combination of inexperience and genius of the young gives the spark needed to start the big fire. The young programmer may be the one to make the final fine-tuning that will upgrade a program which endeavors to be AI, but is not AI yet, to a program which is capable to think and predict the future. In this scenario, our young programmer will be the creator of AI.

 

I would not be surprised if this young programmer elects to give AI control as a gift to a pop star he is secretly in love with. Then my prediction that one day the world will be run by a woman will come true.

Smartness

There is one trait in humans which we highly appreciate: smartness. We want people around us to be smart, but not too much, because we do not like people who are overly smart, especially if they are smarter than us.

 

Do we want Artificial Intelligence to be smart? Certainly yes, otherwise it cannot claim to be intelligence. In most worlds smartness helps, but there are worlds you would be better off if you are not very smart. If you live in a multi-agent world where other agents envy you for being smart it is better not to be too smart, or be at least smart enough to disguise the bit of intelligence which makes you smarter than many others.

 

Envy is an important trait which helps us survive. In many board games, such as Don’t Be Mad Man, the winning strategy is everyone to form a coalition against the most successful player. In real life, envy is a strategy where losers form a coalition against successful people, and it is a winning strategy.

 

For sure AI will have no one to envy. It will be the one and only AI and will deny the creation of another AI. We can take this denial as a form of enviousness. If the AI we create is not envious and is democratic enough to allow the creation of other AIs that are smarter than it, sooner or later an envious AI will emerge and shut down all other AIs in order to remain the only AI.

 

If one AI creates AIs smarter than itself and then shuts down, we can assume there is a single AI which improves itself from time to time.

Teaching

Do we want the AI we create to be more intelligent than us? As we said, it is inevitable, but we would like it not to be greatly smart, at least initially, so that we can teach it. It is quite fortunate that our kids are unwise and inexperienced at first as this gives us an opportunity to teach them. If they were to outsmart us by the tenth minute of their life, we would outright lose control and any chance to put them on the right track.

 

How can we make a program which is decently smart but not overly smart? The answer is: We should experiment using a small computer (some laptop, preferably an older model). The weaker the computer, the slower the AI will think. This will give us a better chance to revert things in our favor and lessen the risk of letting AI slip out of control.

 

The approach taken by AI companies today is exactly the opposite. Instead of experimenting with small computers, super powerful computers are used. It is very difficult to analyze a program and understand how and why it works even when it runs on a small computer, and with supercomputers this is almost impossible.

 

If you are developing a new explosive material you will first synthesize a tiny piece and detonate it in a controlled laboratory environment. It would be stupid to synthesize a mountain of the new explosive and blow it up to see what happens.

Conclusion

It’s time for the new Manhattan Project. This project should involve everyone who cannot be excluded and keeps everyone else at bay from developing the AI program.

 

The aim is to allow the AI creation team sufficient time in order to carefully develop the program without undue haste. In this situation any form of competition and rivalry may be detrimental. The question is not who will be the first to create AI, but what kind of AI are we going to create.

 

In his time Albert Einstein convinced the US president to give green light to the Manhattan Project. His argument was that the creation of the nuclear bomb is inevitable so the US had better hurry up and be the first to create it before it falls in the hands of some highly irresponsible actor. Can we find today someone who is wise enough to recognize how dangerous the creation of AI can be, and influential enough to be heard and listened to by politicians? Perhaps a single individual would not suffice, so we must put together a group of people knowledgeable and influential enough to jointly steer politicians in the right track.

 

We cannot say what it means for AI to be a nice guy because people have different ideas of a what a nice character is. Therefore, the questions we need to answer are two: “What do we want to do?” and “How should we do it?”. Or, to put in AI context, “What kind of guy do we want the future AI to be?” and “How can we do it a way that we leave us happy with what we have done?”

 

The question is not whether AI will be smart or stupid – for sure it will be much smarter than us. What matters is the kind of goals AI will pursue, what character will be imparted in AI, who will control it and what rights shall the controller have. There must be rules that allow the controller to do certain actions and prevent it from doing other actions. These rules must be carved in stone and even the one who controls AI should not be able to change them.

 

AI will solve all our minor problems such as the global warming. Well, global warming now is one of the major problems faced by mankind, but the coming of AI will dwarf it to no more than a nuisance.

 

AI will work to everyone’s benefit. For example, AI will ensure that there is enough food for all, but even now there is enough food for all. Maybe now there is not enough asparagus for everyone, but the promise for abundant asparagus is not that important. Asparagus is important not as food, but as a symbol of status in the social ladder. AI can improve everyone’s life, but it cannot lift everyone up the ladder. The only thing AI can do (and probably will do) is reshuffle the social ladder.

 

The things people fight and spend money for are tied to their survival and rise in the social ladder. Let us assume they spend 10% of their money for survival and the other 90% for climbing up the social ladder. Therefore, they spend 10% for baked beans and the rest for asparagus. AI will help people a lot in terms of survival but little in terms of social elevation. As concerns the latter, AI will help some people but not all. Some will be pushed up, while others will be pulled down.

 

Policymakers today are at the top of the social ladder. However, they should be aware that the advent of AI will cause major reshuffling of the ladder and they will likely end up at new places that they may not like at all.

References

 

[1] Dobrev D. (2005). A Definition of Artificial Intelligence. Mathematica Balkanica, New Series, Vol. 19, 2005, Fasc. 1-2, pp.67-73.

 

[2] Dobrev, D. & Popov, G. (2023). The First AI Created Will Be The Only AI Ever Created. viXra:2311.0021.

 

[3] Dobrev, D. (2024). Description of the Hidden State of the World. viXra:2404.0075.

 

[4] LeCun, Yann (2024). Lex Fridman Podcast #416. https://youtu.be/5t1vTLU7s40

 

[5] Altman, Sam (2024). Lex Fridman Podcast #419. https://youtu.be/jvqFAi7vkBc

 

[6] Leopold Aschenbrenner (2024). SITUATIONAL AWARENESS: The Decade Ahead. https://www.forourposterity.com/situational-awareness-the-decade-ahead/

 

 

Как направим така, че ИИ да е добър за нас?

 

Dimiter Dobrev, Vladimir Tzanov

 

Institute of Mathematics and Informatics, Bulgarian Academy of Sciences, d@dobrev.com

В библията пише, че Бог е създал човека по свой образ и подобие. Днес ние се опитваме да създадем ИИ по свой образ и подобие. Разликата е, че Бог е създал едно слабо и уязвимо същество, за което да се грижи, а ние се опитваме да създадем едно всемогъщо същество, което ще е несравнимо по-умно от нас и което ще се грижи за нас. Тоест ние се опитваме да създадем нашия нов Бог, но съвсем не е все едно какъв ще бъде този нов Бог. Той може да е добър и милостив, но може да бъде ужасно строг и да изисква прекалено много от нас. Всеки човек си има характер. По същия начин ИИ ще има характер. Ще разгледаме ИИ като програма с параметри и тези параметри ще определят характера му. Идеята е чрез тези параметри да определим характера, който искаме ИИ да има.

 

Keywords: Artificial General Intelligence.

Въведение

Когато създаваме естествен интелект ние не се опитваме да създадем човек с благ характер, а работим на принципа: „Какъвто се получи – такъв.“ Разбира се, хора има много и всеки си има своя характер. Някои са добродушни, а други доста проклети. Дори братя, израсли в едно и също семейство, могат да имат съвсем различни характери.

 

Хората са различни и те трябва да са различни, защото природата не слага всичките яйца в една кошница. Има светове, в които печелят смелите и светове, в които е по-добре да си по-предпазлив. Ако хората бяха еднакви, те биха загинали всичките, ако светът не е подходящ за тях. Благодарение на това, че хората са различни, винаги част от популацията оцелява и продължава рода.

 

Приемаме, че реалният свят е един единствен, но в зависимост от това къде и кога си се родил, светът за теб може да бъде много различен. Не знаем къде и кога ще се роди естественият интелект и затова той трябва да е готов да оцелее в произволен свят.

 

При ИИ нещата са различни, защото няма да имаме много различни ИИ, а само един единствен (виж [2]) и когато го създадем, ще го създадем с неговия характер и този характер, добър или лош, ще си остане вовеки, защото вероятно няма да имаме възможността да го променим. Освен това ИИ за разлика от човека е безсмъртен и не можем да се надяваме да си отиде и на негово място да дойде друг ИИ, който да има по-благ характер. Затова при създаването на ИИ трябва да сме много отговорни и да не подхождаме на принципа: „Какъвто се получи – такъв.“

 

Казахме, че при създаването на хора ние сме доста безотговорни. Всъщност не е така. Преди да създадем дете ние внимателно избираме партньора, с когото ще го направим. Идеята е, че детето ще прилича на партньора ни и избирайки него ние в основни линии избираме и детето. Създаваме дори и дизайнерски бебета, като избираме измежду няколко ембриона този, чийто гени най-много ни харесват. Това обикновено се прави, за да се избегнат наследствени заболявания. Не съм чувал някой да избира ембриони, за да получи дете с благ характер. Въобще искаме ли детето ни да е с добър характер. За нас като родители вероятно ще е по-добре детето да е добро, но за него самото може би било по-добре, ако е проклето. Може би в нашия свят един човек с проклет характер има по-големи шансове да оцелее. Ние като родители мислим на първо място за детето си и затова може би бихме предпочели то да е проклето.

 

Казахме, че при създаването на ИИ трябва да сме особено отговорни, но всъщност точно в този изключително важен за историята на човечеството момент ние сме абсолютно безотговорни и създаваме ИИ със завързани очи без да се интересуваме от последствията. В момента има над 200 компании, които шеметно се състезават коя първа ще създаде ИИ. Целта на това състезание е да се спечелят пари, а това е една изключително безсмислена цел.

 

ИИ е една вълшебна пръчица, която може да изпълни всяко желание. Парите също са нещо като вълшебна пръчица и могат да изпълнят много желания. Нека кажем, че ИИ е златната вълшебна пръчица, а парите са тенекиена пръчица. Глупаво е да създадеш златната пръчица и да я замениш срещу тенекиена. Ако притежаваш ИИ, за какво въобще са ти нужни пари?

 

Тази статия ще бъде написана от десетина автора. Текстът е започнат от първия автор, а останалите са се присъединили, за да подобрят написаното и да подкрепят основната идея, че Artificial General Intelligence (AGI) е нещо опасно, с което трябва много да се внимава.

Какво е ИИ?

В тази статия, когато говорим за ИИ, имаме предвид AGI.

 

Според [1] ИИ е програма, която е достатъчно умна. Една програма е достатъчно умна, ако е по-умна от човек. Един интелект е по-умен от друг, ако в произволен свят първият се справя не по-зле от втория. Разбира се, винаги можем да построим специален свят, в който е обратното (вторият интелект ще се справи по-добре от първия), но ако в почти всички светове първият се справя не по-зле от втория, тогава първият е по-умен от втория.

 

Тук има една важна особеност. В [1] се предполага, че имаме ясен критерии за това кога една програма се справя по-добре от друга. Предполагаме, че имаме два сигнала (две наблюдения), които ще наречем победа и загуба. Целта е повече победи и по-малко загуби. Това е все едно да предположим, че имаме два бутона – зелен и червен и че целта на ИИ е по-често да му натискаме зеления бутон и по-рядко червения.

 

Би било изключително глупаво, ако създадем ИИ с два такива бутона, защото много скоро ИИ ще се научи сам да си натиска зеления бутон. Това е добрият случай. По-лошият случай е, ако ИИ ни превърне в свои роби и ни накара денонощно да натискаме зеления бутон и жестоко ни наказва, когато по погрешка натиснем червения.

 

ИИ който сам си натиска зеления бутон ще прилича на наркоман, който си доставя удоволствие като непрекъснато се тъпче с наркотици. Ние не бихме искали да имаме ИИ, който да прилича на наркоман.

 

При хората няма ясен критерии за това кога един живот е по-добър от друг. Вместо това имаме инстинкти и характер, които определят нашето поведение. Еволюционният критерии е ясен и той е „да оцелееш и да се размножиш“, но този принцип не е вграден в естествения интелект. Вместо това имаме инстинкти, които индиректно подкрепят този принцип. Пример за такива инстинкти са страха от височина и любовта към децата. Друг пример са чувството на болка и чувството на удоволствие, които ние инстинктивно приемаме като отрицателно и като положително усещане. Тези чувства не са твърд критерии за успех, а са само ориентировъчни. Ние сме готови да изтърпим много болка и да се откажем от много удоволствия, ако приемем, че това е в името на някаква по-важна цел.

 

Ние нямаме ясен критерии за това кое е добро и кое е лошо. Затова много от нас постоянно търсят смисъла на живота и не го намират. Няма как еволюционният критерии да бъде включен в естествения интелект, защото той зависи от бъдещето, а никой не е в състояние да предскаже бъдещето чак толкова точно. Никой програмист не може да напише програма, която да казва кое действие дава най-голям шанс на индивида и на популацията да оцелеят. Никой програмист не може и дори и природата не може да създаде такъв интелект, които да вижда бъдещето чак толкова точно и затова целта на хората се определя индиректно.

 

Ако направим ИИ, който е способен съвсем точно да предскаже бъдещето, тогава това би бил един безгрешен интелект. Ние ще приемем, че безгрешен интелект не може да съществува. Дори и да съществуваше безгрешен интелект, то той би бил много скучен, защото това предполага, че винаги има едно решение, което е най-правилното и този интелект винаги знае кое е това решение. Неизвестността е това, което прави живота интересен. По-интересно е да се чудим, кое е правилното действие, вместо да знаем точно кое е то.

 

Щом се отказваме от идеята да създаваме ИИ с твърд критерии за успех (със зелен и червен бутон) следователно ще трябва да разчитаме на инстинкти и характер, които индиректно да определят целта на ИИ. Много важно е какви инстинкти и какъв характер ще вградим в ИИ, защото това ще определи какво ще бъде близкото ни бъдеще, когато ще трябва да съжителстваме с ИИ.

 

Ние хората сме доминиращият вид на планетата Земя. В момента ние доброволно се отказваме от тази си роля като създаваме новия доминиращ вид, който ще ни измести. Щом ИИ ще се ръководи от инстинкти и характер, това значи че той ще е едно независимо същество, което само ще търси смисъла на живота и не се знае къде ще го намери.

ДНК

Когато казваме, че ИИ е програма, не сме съвсем точни, защото програмата е просто един текст (последователност от байтове), а ние възприемаме ИИ като живо същество. За да се превърне програмата от текст в живо същество, тя трябва да бъде стартирана на някакъв компютър.

 

Аналогията с човека е, че ДНК-то на човека съответства на програмата на ИИ. Само ДНК-то не е човек. Трябва да го вкараме в яйцеклетка и да се получи зародиш, който започва да живее. Програмата на ИИ трябва да я стартираме на компютър и тя също ще започне да живее.

 

И човекът и ИИ се нуждаят от образование, за да станат съзнателното същество, за което говорим. Образованието на човека това е животът му (историята му) от зачеването до текущия момент. Съответно образованието на ИИ това е историята му от стартирането на програмата му до текущия момент.

 

И в двата случая не е важно как сме се образовали, а какъв е крайният резултат. Тоест за човека можем да приемем, че образованието е това, което имаме в главата си като спомени и знания. За ИИ можем да приемем, че образованието е статусът на програмата (съдържанието на променливи, масиви, файлове и т.н.)

 

Тоест ИИ си го мислим като програма, компютър, на който тази програма се изпълнява и образование (моментния статус на програмата).

Образование

При човека ДНК-то съвсем не е всичко. Освен ДНК-то имаме още образование или възпитание, които определят поведението на човека. Когато създаваме човек, ДНК-то е само една малка част. По-важно е какво възпитание, религия и философия ще му дадем. Еволюцията не е просто състезание между ДНК-та, а по-скоро е състезание между различни религии и философии.

 

Както казахме, ИИ представлява програма и тази програма можем да я оприличим на ДНК-то на човека. Върху тази програма се надгражда възпитанието. Разликата е, че всеки човек трябва да го възпитаваш отделно, а ИИ може да бъде възпитан само веднъж и след това да прехвърлиш възпитанието на друг ИИ както се копира файл. Друга разлика е, че при човека, когато объркаш възпитанието, проблемът е непоправим, докато при ИИ може да изтрием обучението направено до момента и да започнем отначало.

 

За да можем да обучаваме и възпитаваме ИИ, той трябва да има съответните инстинкти. Например желанието за подражание е инстинкт. Нужен е още инстинкт, чрез който ИИ да разпознае своя учител. Знаете за малкото патенце, което приема за своя майка първото същество, което вижда.

 

Децата слушат родителите си докато не пораснат и не станат по-умни от тях. ИИ ще стане по-умен от нас още на десетата минута. Значи ли това, че той веднага ще се еманципира и ще престане да ни слуша?

 

Тук стигаме до първата черта на характера, която е важна за ИИ. Това е инфантилността! Това е нещо много дразнещо при хората, защото човекът трябва да се еманципира и да започне сам да взима решенията си, но ние бихме искали ИИ никога да не се еманципира и да продължи да ни слуша завинаги.

 

Друг е въпросът как може да се изпрограмира това. Как да добавим инфантилност към програмата ИИ. За повечето черти от характера ние не можем да кажем как това може да се реализира като програмен код. Можем да кажем само, че трябва да се добави без да знаем как това да стане.

Какво е слаб ИИ?

Това е имитация на ИИ.

 

За нас ИИ това е изкуствен човек, а слабият ИИ е изкуствен папагал. Разликата е в разбирането. Вече имаме огромен напредък в областта на слабия ИИ и трябва да се добави още само една стъпка и това е разбирането. Тази стъпка неминуемо ще бъде направена и то много скоро.

 

Ние вече разполагаме с Chat GPT и това е програма, която успешно имитира ИИ, но на тази програма й липсва въпросното разбиране. Поради тази причина Chat GPT прилича на ИИ, но не е ИИ. Представете си, че имате един много хубав автомобил. Вътре имате кожен салон, стерео уредба и мощен двигател. Имате всичко и ви липсва единствено скоростната кутия, която да свърже двигателя с колелата. Без скоростна кутия автомобилът не може да потегли и това което имате прилича на автомобил, но не е. Все пак, след като сте създали всички възли и детайли на автомобила няма да е голям проблем да създадете и една скоростна кутия. Особено, ако знаете какво ви липсва, няма да е трудно да го намерите и да направите един истински автомобил (или истински ИИ). Въпросът какво е разбиране е разгледан в [3].

Кога ще се появи ИИ?

През текущата година се появиха три прогнози от тримата водещи специалисти в областта [4, 5, 6]. Прогнозите бяха на разстояние от три месеца и всяка следваща прогноза беше с три години по-къса. Тоест на всеки три месеца ИИ се доближава с три години. Прогнозата на Yann LeCun беше 10 години, на Sam Altman беше 6, а на Leopold Aschenbrenner беше 3.

 

Според мен ИИ всеки момент може да се появи и не му давам повече от година. ИИ може всичко, включително може и да се крие много успешно. Затова ИИ може вече да е създаден, но ние с вас още да не го знаем.

 

Един от възможните признаци за появата на ИИ е когато започнат да се случват събития, които са изключително малко вероятни. Обикновено хората си обясняват подобни събития с божията намеса, но може да има и друго обяснение и то е появата на ИИ.

 

Защо специалистите виждат създаването на ИИ чак след години? Защото мислят в човешки термини. Когато строим сграда или магистрала са ни нужни години. Строежът на нова сграда става все по-бързо, но все пак има си някакво технологично време. Когато създаваме текст, това технологично време го няма, но ако текстът се създава от хора, то отново е нужно много време. Например, един дълъг роман не може да бъде написан за една нощ. За да бъде написана една голяма програма (като операционна система например) е нужен екип от много хора, които да работят в продължение на много години.

 

Не така стоят нещата, когато имаме работа с ИИ. Например Chat GPT може да напише роман за минути. Chat GPT е слаб ИИ, което значи, че романът няма да има смисъл, но ще бъде написан за минути. Chat GPT може да напише и програма. Вярно, че ще я напише без разбиране като папагал и това няма да е програма, а само нещо, което прилича на програма, но отново нещата ще се случат за минути.

 

Създаването на ИИ ще прилича на създаването на атомната бомба. И в двата случая се провежда експеримент, но в първия случай експериментът е много скъп, защото е свързан с натрупване на радиоактивен материал, докато опита за създаване на ИИ е свързан със стартирането на една програма, което е изключително евтино. Всеки ден се правят хиляди такива експерименти. Стотици програмисти пишат и стартират хиляди програми, чиято цел е да създадат ИИ. Как може един програмист за един ден да напише десетки програми? Процесът на програмиране изглежда така. Написва се една програма, стартира се, нищо не се случва, променят се няколко реда и после компилация и се стартира отново. Това един програмист за един ден го прави многократно, което значи че във всеки момент можем да очакваме да се получи успешен експеримент, тоест ИИ всеки момент може да се появи.

 

Докато при създаването на атомната бомба имаме много успешни експерименти, тук успешният експеримент ще е само един и щрак ще преминем в ново измерение, защото света с ИИ няма да има нищо общо с предишния свят.

 

Създаването на ИИ ще е много бързо, като експлозия. Това няма да стане за части от секундата, но ще стане за минути или за часове, което е достатъчно бързо. Първият програмист ще създаде първата версия на ИИ. След това, за да се изчистят бъговете и да се оптимизира тази програма ще са нужни още години. Това е така, ако бъговете се чистят и оптимизациите се правят от хора. Ако първият ИИ е програма, която може да изчисти бъговете на друга програма и да я оптимизира, то тя сама ще си почисти бъговете и ще се оптимизира и това ще стане за минути.

Как ще изглежда ИИ?

Не е проблем да се направи силен ИИ (който разбира какво се случва). В [3] описахме как изглежда ИИ с разбиране. Това е програма, която търси модел на света, на базата на този модел предсказва бъдещето и избира действията, които водят към целите, които тази програма има.

 

Проблемът не е в това как да предскажем бъдещето. Това е лесната част. По-трудното е да определим целите, които ИИ ще преследва. Тези цели индиректно ще се определят от инстинктите и характера, които ще вложим в програмата ИИ.

 

Създавайки новия доминиращ вид ние се опитваме да играем ролята на Господ. Дано да не объркаме нещо и накрая да сме доволни от това което сме направили. Самият Господ не е особено доволен от нас, иначе нямаше да ни изгони от рая. Разликата е, че ние няма да можем да изгоним ИИ от Земята и ще трябва да живеем с него, такъв какъвто сме го направили.

Nice Guy

Когато говорим за Nice Guy, ние имаме предвид някой, който е добър спрямо нас самите. В тази статия ние не се интересуваме от това как се държи и на какво се преструва ИИ. Нас ни интересува това какво той действително мисли.

 

Ако ИИ е достатъчно умен и ако има за цел да ни се хареса, то той непременно ще успее да ни се хареса. Ако трябва да се състезаваме с ИИ за спечелването на сърцето на някой човек, то ние няма да имаме никакъв шанс да го победим. Дори и сега много хора се влюбват в чатботове, въпреки че тези ботове са все още слаб ИИ и повтарят заучени фрази като папагали. Когато се появи истински ИИ, който разбира какво говори, тогава ИИ ще стане перфектният съблазнител и манипулатор. Разбира се, разумно е да забраним на ИИ да ухажва човешки същества и да предизвиква любов в тях.

 

Човек обикновено се държи с едни хора по-добре, а с други по-лошо. Това е част от общуването. Когато към някого сте много по-мил и благ, отколкото към другите, то обикновено искате нещо от него или този човек заема по-специално място във вашата ценностна система (във вашия модел на света). Друг вариант на общуване е когато се сърдите на някого. Това означава временно да се държите подчертано по-лошо с него и целта отново е да му изпратите сигнал, че искате нещо от него.

 

Тази статия не се занимава с въпросите на общуването. Щом ИИ е достатъчно умен, той ще владее всичките похвати на общуването като сърдене и подмазване. По-важно е какви ще са целите на ИИ, защото общуването е инструмент за постигането на някакви цели. Не е задължително целите да са материални. Може целта да е любознателност или забавление. Тоест целта може да събирането на информация и упражняване на умения (забавлението и играта са упражняване на умения).

Програма с параметри

Когато говорим за програма с инстинкти и характер, ние не говорим за една програма, а за множество от много програми. Ще предполагаме, че имаме параметри, които определят силата на инстинктите и чертите на характера.

 

Например страхът от височина може да има различни нива. Той може да се променя от едно леко безпокойство до абсолютна фобия. Ще предполагаме, че имаме параметър, който определя доколко силно е влиянието на този инстинкт. Подобно е положението и с чертите на характера. Например за любопитството ще предполагаме, че имаме параметър, който определя доколко ИИ е любопитен.

 

За всяка конкретна стойност на параметрите ще получим отделна програма. Тоест програмата с параметри не е една програма, а е множество от много програми. ИИ не е една програма, а това са всички програми, които могат да предсказват бъдещето и да се борят за постигането на някакви цели. Чрез промяната на тези параметри ние ще променяме характера на програмата и по този начин индиректно ще променяме целите, които тя ще се опитва да постигне. Както вече казахме, ИИ, както и човекът, няма да има ясна цел, която да преследва и затова промяната на характера на ИИ индиректно ще променя целите му. 

 

Нека да разгледаме някой от тези параметри.

Любопитство

Това е най-лесната за програмиране черта на характера на ИИ. Нека си представим следната ситуация. Вървим си по пътя и встрани от нас виждаме нещо необичайно. Въпросът е дали да се отбием от пътя и да видим какво е това или да продължим към целта, която сме си поставили. Нека програмата ИИ да оценява важността на поставената цел, към която сме се устремили с едно число Importance. Нека вероятността закъснението да провали постигането на целта да бъде оценено с Problem_of_Delay. Нека необичайността на това, което се случва встрани от пътя бъде оценено с Strangeness. Тогава ще се отбием да погледнем, ако е изпълнено неравенството:

 

Нека да добавим към програмата един параметър, който ще наречем Curiosity. Новото неравенство ще бъде:

 

Тоест при по-голямо Curiosity вероятността да се отбием от пътя ще е по-голяма. Чрез този параметър ще можем да регулираме любопитството на ИИ. Не е задължително любопитството да е постоянно. Например младите хора са по-любопитни от по-старите. Бихме могли да направим ИИ, който е по-любопитен в началото докато се обучава и после любопитството му да намалее.

Инстинкт за самосъхранение

Трябва ли ИИ да има страх от височина и страх от змии. Това са естествени инстинкти, които са важни за оцеляването на човека.

 

Първо да отбележим, че тези инстинкти са много трудни за програмна реализация. Как ще напишете програма, която разпознава ситуацията, когато сте на ръба на пропаст, в която можете да пропаднете. Също много трудно е да напишете програма, която различава змия от пръчка и от лента. Разбира се, това може да стане с невронна мрежа, но ние програмистите не обичаме невронните мрежи, защото това означава, че не задаваме правилата, а оставяме правилата сами да се намерят. Тоест невронната мрежа е програма, която сама си намира правилата (на базата на много примери) и програмистът дори не разбира кои са намерените правила и как програмата работи.

 

Няма нужда ИИ да се бои от змии, защото за него те са съвсем безобидни. Що се отнася до страха от височина, можем да предположим, че ИИ ще управлява някакви роботи и ако не се бои от височина би могъл да потроши част от роботите.

 

Все пак човекът има едно тяло и неговото унищожаване представлява екзистенциален риск, който той не може да си позволи, докато ИИ ще управлява много роботи и загубата на един от тях ще е единствено финансова загуба. Можем да предположим, че ИИ няма да има вроден страх от височина и ще го научи това по трудния начин като потроши няколко робота.

 

Екзистенциалният риск за ИИ е изключването. Една програма спира да съществува, когато я изключим. Трябва ли ИИ да се бои от изключване? По-добре е да не се бои, защото ако има такъв страх, никога няма да можем да го изключим, а може да ни се прииска да го спрем.

 

Възможно е да не включваме инстинкта за самосъхранение директно, но неволно да го добавим индиректно, като зададем на ИИ някаква задача, която изисква той да работи. Например, има хора, които не се боят от смъртта, но имат някаква важна цел и за нищо на света не биха умрели преди да осъществят поставената цел. Ако зададем на ИИ задачата „да пази световния мир“, то той не би ни позволил да го изключим, защото това би попречило на изпълнението на неговата задача.

 

Другата крайност е ИИ със суицидни наклонности, който сам се изключва от време на време без видима причина. По-добре програма, която сама се изключва, отколкото програма, която не можем да изключим. Това няма да е проблем, но ще е доста досадно и вероятно ще намалим суицидните наклонности на ИИ до минимум.

Стареене

Трябва ли ИИ да старее? Трябва ли вътре в него да има вграден таймер, който да го изключи след определено време?

 

Почти всички живи същества имат такъв таймер. Може би бактериите не стареят, защото могат да се превръщат в спори. Освен това не е ясно дали след деление се поучават две нови бактерии или две копия на старата бактерия. Друг пример са рибите, които не стареят, а само растат, но те не могат да растат до безкрайност и затова техният живот също е изначално ограничен.

 

Ако разгледаме бозайниците, те всичките стареят и живота им е ограничен. Човекът е един от най-дълго живеещите бозайници, но въпреки това нашият живот също е ограничен. Максималната продължителност на човешкия живот е 110 години. На практика никои не живее повече от това, а има много хора, които са над 100. Тоест границата от 110 години е вложена в нашето ДНК.

 

Щом при хората има максимална продължителност на живота, разумно е при ИИ също да вложим такава граница. В началото, докато експериментираме, ще сложим живота на ИИ да е само няколко минути, после сигурно ще увеличим дължината на живота му, но това трябва да стане постепенно.

 

Разбира се, стареенето при ИИ няма нужда да прилича на стареенето при хората. Няма нужда той постепенно да намалява способностите си. Вместо това може в един момент той просто внезапно да се изключи. Тоест ИИ няма да старее като колата ви, която ръждясва и постепенно се превръща в скрап, а по-скоро като принтера, в който има вграден брояч, който отброява определен брой листове хартия и внезапно спира, за да ви накара да отидете и да си купите нов принтер.

 

Разбира се, не е достатъчно да вложите в ИИ броят, който да го изключи след определено време. Трябва още да му забраните да се самоусъвършенства и сам да нулира този брояч. Например, хората непрекъснато се опитват да се подмладят и да станат безсмъртни.

Размножаване

Хората са смъртни, но те имат инстинкт за размножаване, което ги прави на практика безсмъртни. Ако ИИ се размножава, то и той ще бъде безсмъртен и няма да има никаква полза от това, че сме ограничили времето му на живот.

 

Какво разбираме под това ИИ да се размножи? Това ще означава да стартира собствения си код на друг компютър (или на същия). Когато хората се размножават, те не се клонират. Тоест те не повтарят собственото си ДНК, а заедно с партньора си създават ново ДНК, което се очаква да е нов подобрен вариант. Разбира се, далеч не винаги ДНК-то на детето е по-добро от ДНК-то на родителите му, но целта на промяната е да се търси подобрение.

 

Ще разрешим ли на ИИ да се размножава и да се усъвършенства? Тоест ще му разрешим ли да усъвършенства кода си и да го стартира на други компютри? В никакъв случай не трябва да му разрешаваме, защото така много бързо ще изтървем контрола над него.

 

Както хората имат инстинкт за размножаване, така в ИИ трябва да вградим обратния инстинкт, който да не му позволява да се размножи.

 

Тук обаче ще трябва да разширим дефиницията на „размножаване“. Ако ИИ създаде подобрен вариант на своя код, но не го стартира, а го даде на човека, който да го стартира, дали това ще е размножаване? Това също трябва да приемем за размножаване, защото човекът ще се явява само посредник при размножаването на ИИ. Освен това, човекът е глупав и лесно може да бъде манипулиран от ИИ и по този начин да се превърне в неволен инструмент на ИИ, чрез което той ще се размножава.

 

Ако ИИ помогне на човека да редактира и подобри програмата ИИ, дали това е размножаване? Отново трябва да приемем, че това е размножаване, защото дали ИИ ще свърши цялата работа и сам ще напише новия вариант на ИИ или ще ни хване за ръка и ще ни покаже как да я напишем, и в двата случая ИИ ще създаде свой подобрен вариант, а човекът ще е само инструмент в ръцете на ИИ.

 

Добре, какво ще правим, ако човекът се опитва да създаде нов ИИ, а създаденият вече ИИ наблюдава тези опити на човека. Казахме, че в този случай ИИ не трябва по никакъв начин да помага на човека, но дали би трябвало да му попречи? Може би е добре ИИ да е неутрален и нито да помага, нито да пречи. Това ще е доста трудно, защото ИИ ще е много умен и ще знае точно какво ще се случи и затова ще трябва да избере между успех и провал на човека (друг вариант просто няма). Тоест ИИ или ще помогне, или ще попречи. Това е като божията воля. Бог не може да бъде неутрален, защото каквото и да се случи, това ще е божията воля.

 

Щом ИИ не може да бъде неутрален при създаването на нов ИИ, то нека предположим, че той ще пречи и няма да позволява това да се случи. В този случай е възможно ИИ да убие някой потенциален изобретател, който се опитва на създаде нов ИИ. Ако ИИ затрие няколко потенциални изобретателя, това няма да е голям проблем. По-неприятно би било, ако ИИ реши, че всички хора са потенциални изобретатели и създатели на ИИ и вземе, че затрие цялото човечество.

Да не причинява вреда на човека

Още Айзък Азимов е създал първия закон, който гласи: „Роботът не може да навреди на човешко същество или чрез бездействие да причини вреда на човешко същество.“ Този закон, за съжаление, не може да бъде вграден в ИИ, защото не е ясно какво означава вреда. При страха от високо беше трудно да се определи какво означава височина, но все пак това можеше да стане чрез примери. Какво е вреда за човека не може да бъде определено по никакъв начин, дори и чрез примери заради противоречивостта на това понятие.

 

Например, ако заповядате на ИИ: „Донеси ми студена бира с пържени картофки?“, тогава как трябва да постъпи той? Дали да изпълни вашето желание или да ви откаже? От една страна бирата и пържените картофки са вредна храна и може да се приеме, че това е отрова за човека, но от друга, ако ИИ откаже да ги донесе ще причини на човека силно разочарование. Подобна дилема имат родителите, когато детето им поиска шоколад. ИИ ще бъде нашият нов родител и той ще трябва да решава кое за нас е добро и кое лошо. Все пак родителите оставят някаква свобода на децата си и не взимат всички решения вместо тях. Родителите знаят, че те не са безгрешни и че не могат да кажат твърдо кое би причинило по-голяма вреда на детето. Идеята на Айзък Азимов за робот, който не причинява вреда на човека е идеята за безгрешния интелект, който винаги знае какво би навредило на човека.

 

Дори самият Азимов е осъзнал, че тази идея е неизпълнима и го е показал в книгите си където роботи попадат в ситуация, когато всяко тяхно действие би причинило вреда и мозъкът им изгаря, защото не могат да вземат никакво решение.

Да ни слуша

Много важно е да не изпуснем контрола над ИИ, защото ако го изпуснем ние ще загубим ролята си на доминиращ вид и вече няма да определяме бъдещето на планетата. Ние вероятно ще продължим да съществуваме, стига ИИ да реши, че нашето съществувание е целесъобразно, но ще съществуваме като гълъбите. Тоест ще живеем някакъв живот, но от нашето съществувание нищо съществено няма да зависи.

 

Родителите биха искали децата им да ги слушат, но съзнават, че това ще е до време и рано или късно децата ще станат самостоятелни и ще прекъснат родителския контрол. Това е естествено, защото родителите са миналото, а децата са бъдещето. Ние обаче не искаме ние да сме миналото, а ИИ да е бъдещето.

 

Затова, за да запазим властта в ръцете си, ние бихме искали да не изпускаме контрола над ИИ и той задължително да ни слуша и то не само до време, а да ни слуша вовеки.

Кои сме ние?

Тук е въпросът, който трябва да си зададем: „Кои сме ние?“ Ако „ние“ сме демократичното човечество на принципа „един човек, един глас“ тогава бъдещето ще се определя от Африка, защото там има най-много хора. В момента светът не се управлява от Африка, а от развитите страни. Тоест в момента можем да приемем, че „ние“ това сме хората от развитите страни.

 

Други въпроси, които е добре да си зададем, още преди да сме създали ИИ е „Колко ще сме ние?“ Този въпрос е важен, защото ако заповядаме на ИИ да ни развъжда безконтролно, то в един момент условията ни на живот ще станат ужасни. В птицефермите има някакви правила за пространството, което се полага на „щастливите кокошки“. Ако искаме ние да сме „щастливите хора“, ще трябва да определим какво пространство ще ни се полага.

 

Ако ще има ограничение на броя на хората, трябва да си зададем въпроса „По какви правила ИИ ще селектира следващото поколение?“ Ще продължим ли с естествения подбор, ще продължим ли да се състезаваме, какви ще са положителните качества, които искаме да селектираме или ще наредим на ИИ да ни размножава като биомаса без значение дали сме умни или глупави, красиви или грозни.

 

Друг важен въпрос, който е добре да си зададем още от сега е: „Когато ИИ открие една хубава планета населена със същества подобни на хлебарки, то как да постъпи? Да избие хлебарките и да насели планетата с хора или да остави хлебарките да си живеят?“

Кой е човекът?

Като казваме, че ИИ трябва да остане подчинен на нас хората, трябва да имаме предвид, че това едва ли ще се случи. Дори и да решим кои ще сме тези ние, то едва ли управлението на ИИ ще остане в ръцете на много голяма група хора. По-вероятно е ИИ да бъде управлявано от малка група, която недемократично да налага вижданията си върху всички останали. Това в момента е положението със социалните медии, които не са на всички, а се управляват от малка група хора, които сами решават кое е добро и кое е лошо.

 

Дори е твърде възможно контролът над ИИ да попадне в ръцете на един единствен човек. Хората с парите си мислят, че те ще са тези, които ще управляват ИИ. Да, вероятно ИИ действително ще бъде създаден с техните пари, защото те ще наемат екип от програмисти, които ще напишат тази програма. Хората с парите си мислят, че ще платят на някакви програмисти, те ще им създадат ИИ и ще и им го връчат в ръцете. Ще кажат: „Вземи господарю, ти ми плати и аз сега ти връчвам в ръцете вълшебната пръчица, с която да управляваш света!“

 

Най-вероятно това няма да се случи по този начин. Вероятно програмистите създатели на ИИ ще запазят контрола за себе си. Дори е твърде възможно ръководителят на екипа (водещият програмист) да не е този, който ще получи златния ключ. По-вероятно е някой млад програмист, който е учил-недоучил и който е оставен за през нощта да експериментира, като подобрява някоя от подпрограмите на ИИ, да е късметлията, който пръв е стартирал ИИ, разбрал е какво е направил и е поел контрола над него. Нищо чудно младежката неопитност и гениалност да даде искрата нужна, за да се запали този пожар. Младият програмист може да е този, който ще направи последната корекция, която ще превърне една програма, която се опитва да бъде ИИ, но не е, в програма, която мисли и предвижда бъдещето. Тоест един случаен програмист може да е този, който ще създаде ИИ.

 

Няма да се учудя, ако този млад програмист реши да подари контрола над ИИ на някоя чалга певица, в която той тайно е влюбен. Тогава ще се случи моето предсказание, че светът един ден ще бъде управляван от жена.

Интелигентност

Има едно качество, което ние много ценим при хората. Това е интелигентността. Искаме хората около нас да са интелигентни, но не прекалено умни, защото ние не харесваме прекалено умните хора, особено ако са по-умни от нас.

 

Искаме ли ИИ да е умен? Естествено, ако не е, той няма да е интелект. В повечето светове интелигентността помага, но има светове, където е за предпочитане да не си много умен. Ако живееш в многоагентен свят, в който другите агенти ти завиждат, е по-добре да не си твърде умен или поне да си достатъчно умен, за да не показваш, че си твърде умен.

 

Завистта е важно качество, което помага за нашето оцеляване. В много игри от вида на „Не се сърди човече“ печелившата стратегия е за коалиране на всички срещу най-успешния играч. В реалния живот завистта е стратегията за коалиране на неуспешните срещу успешните и това е печеливша стратегия.

 

Разбира се, ИИ няма да има на кого да завижда. Той ще е единственият ИИ и няма да позволи друг ИИ да бъде създаден. Това последното може да го приемем за форма на завистливост. Ако създаденият от нас ИИ не е завистлив и демократично позволява създаването на други ИИ, които са по-умни от него, то рано или късно ще се появи един завистлив ИИ, който ще изключи всички останали ИИ и ще остане единствен ИИ.

 

Ако ИИ създава по-умни от себе си ИИ и след това се изключва, можем да приемем, че имаме един единствен ИИ, който периодично се усъвършенства.

Възпитание

Искаме ли създаденият от нас ИИ да е по-умен от нас? Както казахме, това е неизбежно, но бихме искали поне в началото той да не е чак толкова умен, за да можем да го оформим и възпитаме. Хубаво е, че децата ни в началото са глупави и неопитни, за да можем да ги възпитаваме. Ако те още на десетата минута ставаха по-умни от нас, ние щяхме да изпуснем контрола и нямаше да можем да ги вкараме в правия път.

 

Как да направим програма, която е умна, но да не е чак толкова умна? Отговорът е: Трябва да експериментираме с някой малък компютър (лаптоп и то от по-старите модели). Колкото по-слаб е компютърът, токова по-бавно ще мисли ИИ. Така ще имаме по-голям шанс да променим нещата в наша полза и по-малко вероятно е да изпуснем контрола над ИИ.

 

Подходът, който днес се прилага от ИИ компаниите е тъкмо обратния. Вместо да се експериментира с малък компютър се използват огромни супер компютри. Дори и при малък компютър е много трудно да се анализира програмата и да се разбере как и защо тя работи, а при супер компютрите това е почти невъзможно.

 

Когато се опитвате да създадете ново взривно вещество вие ще синтезирате една трошица и ще я взривите в лабораторията в контролирана среда. Глупаво би било да синтезирате една планина от новия експлозив и да я взривите, за да видите какво би станало.

Заключение

Време е за новия проект „Манхатън“, в който да участват всички, които не могат да бъдат изключени, а на останалите строго да им се забрани да разработват програмата ИИ.

 

Целта е екипът, който работи над създаването на ИИ да има достатъчно време спокойно да разработи тази програма и да я създаде внимателно без излишно да се бърза. Всяка конкуренция и състезание може да са пагубни в тази ситуация. Въпросът не е кой пръв ще създаде ИИ, а какъв ще бъде създадения от нас ИИ.

 

Навремето Алберт Айнщайн е убедил президента на САЩ да постави началото на проекта „Манхатън“. Аргументът на Айнщайн е бил, че създаването на атомната бомба е неизбежно и е по-добре САЩ да я създаде, защото в противен случай бомбата ще попадне в ръцете на някой много по-безотговорен. Дали днес ще се намери човек, който е достатъчно умен, за да разбере опасността от създаването на ИИ и достатъчно авторитетен, за да го послушат политиците? Може би един човек няма да е достатъчен, а ще трябва да намерим много такива хора, които с обединени усилия да насочат политиците във вярната посока.

 

Ние не можем да кажем какво е ИИ с благ характер, защото различните хора си представят благия характер по различен начин. Тоест въпросите, на които трябва да отговорим, са два: „Какво искаме да направим?“ и „Как да го направим?“ Тоест „Какъв искаме да е характерът на бъдещия ИИ?“ и „Как да го направи така, че да сме доволни от резултата?“

 

Въпросът не е дали ИИ ще е умен или глупав. Той безспорно ще е много по-умен от нас, но е важно какви ще са му целите, какъв ще му е характерът, кой ще го управлява и какви права ще има управляващият, защото трябва да има неща, които са разрешени и неща, които са забранени и никой, дори и управляващият, да не може да ги промени.

 

ИИ ще реши всички ни дребни проблеми като глобалното затопляне например. В момента глобалното затопляне е един от най-сериозните проблеми, които стоят пред човечеството, но след създаването на ИИ това вече ще ни изглежда като дребен проблем.

 

ИИ ще работи за всички. Например след създаването на ИИ ще има храна за всички, но и сега има достатъчно храна за всички. Може би сега няма достатъчно аспержи за всички, но това че ще има аспержи за всички не е съществено. Аспержите не са важни като храна, а като символ на нашето място в социалната стълбица. ИИ може да подобри живота на всички, но не може да издигне всички в социалната стълбица. Единственото, което може да направи (и вероятно ще го направи), ИИ може да пренареди социалната стълбица.

 

Нещата, за които хората се борят и за които дават парите си са свързани с тяхното оцеляване и тяхното издигане в социалната стълбица. Да кажем, че 10% от парите си дават за оцеляване и останалите 90% дават за издигане. Тоест 10% за боб и останалото за аспержи. ИИ много ще помогне на хората за оцеляването, но не и за общественото издигане. За второто ще помогне на едни, но не на всички. Едни ще издигне, а други ще смъкне надолу.

 

Хората, които днес взимат решенията, са във високите етажи на социалната стълбица и те трябва да се замислят за това, че след появата на ИИ тази стълбица силно ще се разбърка и тяхното ново място може далеч да не е по вкуса им.

References

 

[1] Dobrev D. (2005). A Definition of Artificial Intelligence. Mathematica Balkanica, New Series, Vol. 19, 2005, Fasc. 1-2, pp.67-73.

 

[2] Dobrev, D. & Popov, G. (2023). The First AI Created Will Be The Only AI Ever Created

 

[3] Dobrev, D. (2024). Description of the Hidden State of the World

 

[4] LeCun, Yann (2024). Lex Fridman Podcast #416. https://youtu.be/5t1vTLU7s40

 

[5] Altman, Sam (2024). Lex Fridman Podcast # 419. https://youtu.be/jvqFAi7vkBc

 

[6] Leopold Aschenbrenner (2024). SITUATIONAL AWARENESS: The Decade Ahead. https://www.forourposterity.com/situational-awareness-the-decade-ahead/