Paul Scharre

This one was a tough read. Not because of subject but due to the structure of the work. It is like collection of separate works from various conferences and seminars collected into the book. Due to this, very similar to modern documentaries on TV, things tend to repeat and this seriously affects the reading pace.

I wont go into details here (title says it all :)) but author truly covers everything related to modern automated combat systems - from smart missiles to combat platforms (like AEGIS and anti aircraft systems and of course ubiquitous U(C)AVs) - starting from differentiating various systems and human role in them, role of AI (and thank God, author is realistic when it comes to general AI), plans and visions for developing the future war machines with everything coming from the horses mouth so to speak, opposition and reasons for opposition to development of autonomous war machines to legal implications and is it possible to ban development of autonomous war machines.

Some parts are straight out naive (like land-mine and cluster ammunition ban - land-mines are still used everywhere and cluster munitions are also used even by "responsible" parties (certain French shame incident related to delivery of cluster ammo in recent conflict shows this)) but in majority of text author is aware that constant mantra "but they might be doing it" will always cause the further development of more dangerous weapons. Unfortunately there is no way around this especially with weaponry that is not tested fully in combat (remember that gas is taboo now only because of effects of its use in WW1 where wind could disperse gas to friendly side in a matter of minutes - generally biological and chemical weapons have tendency to backfire). One thing annoyed me - constant talk about "responsible" armies (like US and Western armies) and "authoritarian" states (under quotes because these days this just means US and allies disapprove of given country, otherwise for example Arab countries would constantly be marked as such and shunned by same parties since the beginning of modern age) is kinda silly. As far as I know Agent Orange and various defoliants were used by "responsible" army and I have a feeling that families obliterated by UCAVs targeting assumed high-priority targets through the Middle East would not agree with that responsible attribute. Also would not you agree that sponsored secret bio chemical labs in certain countries do not show much responsibility.

Because lets be fair - every army fights to win and will use everything at its disposal to achieve victory. Everything else is side effect for analysts and theoreticians to build their academic careers and condemning something that is water under the bridge for at least a decade. And because of this autonomous weapons will arrive and remain on battlefields. Only thing that we can be grateful for is that these will be sturdy, relatively simple weapon systems with narrow intelligence for a specific action field for decades (if not centuries ahead). For no other reason than to alleviate the danger of loss of control.

For the above mentioned unnecessary political comments I take one star off.

Rest of the book is truly an excellent thorough analysis of current technological and application aspects of remotely controlled and autonomous combat systems and weapons. Considering the scope and level of information I think this might be one of the most complete (if not the most complete) book on the subject I have read.

Highly recommended.… (altro)

Mire az összes fegyvermániás szálkásra gyúrta magát, és betéve tudja a Zrínyi rohamtarack műszaki jellemzőit, egyszer csak azt veszi észre, hogy a háború már néhány tucat pattanásos, buborékszemüveges informatikus kezébe került. Mert bár a Star Wars-ban még emberi vadászgéppilóták cikáznak az űrben, de a fegyverek evolúciója valószínűleg nem abból áll, hogy ugyan lézerrel csapatjuk egymást a csillagközi pusztán, de még humanoidok rángatják a botkormányt. Hanem abból, hogy autonóm drónrajok feszülnek egymásnak, akik emberfeletti összehangoltsággal, minimális operátori beavatkozással csapnak le a célpontokra, miközben a kibertérben – láthatatlanul - a felek megkísérlik meghekkelni egymás algoritmusait, hogy megzavarják vagy működésképtelenné tegyék az ellenséges sereget.

Persze drónok már most is vannak, és előnyeik is nyilvánvalóak: olyan helyekre jutnak el saját veszteség nélkül, ahová a kommandósok be se mernék tenni a lábukat. Felderítenek, támadnak extrém környezetben, amely túlmegy az emberi teljesítőképesség határán. De előfordulhat – és elő is fordul -, hogy kénytelenek homályos kommunikációs közegben tevékenykedni, a körülmények vagy az ellenséges zavarás következtében elszakadnak operátoraiktól, védtelenné válnak. Erre jelent megoldást az autonómia, vagyis az, hogy a gép képes magától is bizonyos döntések meghozatalára – például arra, hogy kilőjön egy járművet, ha úgy ítéli meg, az veszélyezteti őt. Ám az autonómia kétélű fegyver. Egyfelől a gépi döntéshozatal összehasonlíthatatlanul gyorsabb az emberinél – amíg egy ember eldönti, a balról érkező tárgy galamb-e vagy ellenséges rakéta, addig egy autonóm drón elvégzi a feladatot, majd lefőz egy kávét, elszív egy cigit, és utána még passziánszozni is marad ideje. Kétségesebb, de létező erénye továbbá eme szerkezeteknek, hogy nem kegyetlenek – egy gép (hacsak nem kap rá külön utasítást) nem okoz felesleges fájdalmat, és az is biztos, hogy ha autonóm drónok vonultak volna be a Vörös Hadsereg helyett Magyarországra, a nemi erőszakok száma is lényegesen kevesebb lett volna. Ugyanakkor a gépeknek van egy bitang nagy hátránya: a kontextusban való gondolkodás finoman szólva sem erősségük. Mondhatni, nem értik az iróniát, pont mint a moly adminisztrátorai. Nem tudják mérlegelni, a célpont simán blöfföl-e, vagy valódi veszélyt jelent – ugyanolyan brutalitással reagálnak mindkét esetben. Ráadásul az ember is lelőhet ugyan véletlenül egy civilt, de a gép – amennyiben az algoritmus hibás - ha ugyanezt teszi, lelövi az összes többi civilt is, egész egyszerűen azért, mert nem esik le neki, hogy valamit rosszul csinált. Nem képes tanulni a hibáiból. Hisz nem is érzékeli hibának.

Mert az autonómia még mindig messze nem ugyanaz, mint a mesterséges intelligencia. A mesterséges intelligencia ugyanis nemcsak fejleszti önmagát: képes akár arra is, hogy a változó körülményekre reagálva átírja saját programjait vagy célkitűzéseit, így egy folyamatosan tökéletesedő entitást hozva létre. Illetve képes VOLNA – de ilyen program még nincs: a jelenleg ismert legjobb mély neutrális hálózatok elképzelhetetlen gyorsasággal tudnak ugyan tanulni, fejlődni, de csak a saját, ember által írt programjaikon belül. Ez pedig MÉG nem a mesterséges intelligencia. És ha a Terminátor-franchise-ra gondolunk, akkor ne is legyen mesterséges intelligencia. Viszont ha arra gondolunk, hogy egy ellenséges hatalom létrehozza ezt, és ezzel stratégiai előnyre tesz szert – akkor hiába minden filozofálás, meg a kínos morális kérdések, úgyis kénytelenek leszünk létrehozni. Így megy ez. Hogy milyen piszkos vagy piszoktalan eszközöket vet be egy állam egy háborúban, az bizonyos mértékben a másik féltől függ, attól, milyen kihívások elé állít minket.

A mesterséges intelligencia csábító lehetőség: olyan eszköz, ami folyton reagál környezetére, mindig éber, sosem szál inába a bátorsága, és egy mikroszekundumnyi idő alatt hoz meg olyan döntéseket (mégpedig, ha a rendelkezésére álló információk helytállóak, akkor az adott helyzetben tökéletes döntést), amelyek egy hadsereg törzskarának órákba kerülnének, és még úgy is elhamarkodottnak ítélnénk őket. Csakhogy az van, hogy egyszerűen nem tudjuk, hová vezet mindez. Mert hiába mi csináljuk a gépeket, nem nagyon látjuk át, hogyan „gondolkodnak” – ami nem csoda, hisz még azt sem értjük teljesen, a saját agyunk hogy működik. Hajlamosak vagyunk antropomorfizálni az algoritmusok viselkedését, azt hisszük, tudják, mit akarunk tőlük, viszont ezért újra és újra meglepnek minket. Itt van például az a program, amit arra fejlesztettek ki, hogy sose veszítsen Tetrisben. (Tényleg van ilyen. Mire nem érnek rá a tudósok. Ha ezt Palkovics tudná.) Ez a program tökéletesen megoldotta a feladatát: mielőtt az utolsó, a játék végét jelentő Tetris-kocka lehullott volna, nemes egyszerűséggel lefagyasztotta a játékot. És tessék. Soha nem veszített. Hol itt a probléma? Vagy itt vannak azok az öntanuló algoritmusok, amelyeket egy határozott cél érdekében fejlesztettek ki. Esetükben a tervezők azt vették észre, hogy a program megpróbál ellenállni a kikapcsolásnak, no meg annak, hogy lefektetett céljait a programozók utólag megváltoztassák – mert úgy vélte, ezzel távolabb kerülne a megvalósítandó céltól. Szóval elég félelmetes dolgok vannak itt – jó részük pedig épp azért veszélyes, mert homályos, merre is fejlődik. Szóval maradjon egyelőre az ember a rendszerben, mert a Terminátor csak filmben jó – de még ott se mindegyik.

Vannak korlátai ennek a könyvnek, annyi szent. Néha önismétlő, néha talán szükségtelenül részletező – bár lehet, ezt csak az informatika iránt érzett masszív ellenszenvem mondatja velem. Másfelől nevezhetjük egyoldalúnak, hisz szinte kizárólag az amerikai eredményekkel foglalkozik*, és bizony az is az elavulás veszélyét hordozza magában, hogy egy olyan témáról akar általános érvényű megállapításokat tenni, ami e percben is szinte követhetetlen gyorsasággal fejlődik. Ugyanakkor - minden fenntartásom ellenére – ez egy olyan könyv, ami úgy kellett, mint egy falat kenyér. Egyszerűen olyan dolgokat érint, amelyeket – tudtommal – más könyv egyáltalán nem. Öröm, hogy magyarul is olvasható. Bár aki a címet így fordította, annak kijárna egy enyhe fülcibálás.

* Mondjuk ez szükségszerűen így van: az oroszok meg a kínaiak nyilván nem fogják engedni egy egykori tengerészgyalogosnak, hogy betekintést nyerjen szupertitkos fejlesztéseikbe. Vagy azért, mert azok elképesztően rémületes fejlesztések, és még ellopnák az amcsik a licenszet, vagy azért, mert azok a fejlesztések sokkal bénábbak, mint ahogy azt a hivatalos diskurzus állítja, és ciki, ha ez napvilágra jut.… (altro)

This book takes a pretty comprehensive look at autonomous weapons; it's both a primer and a review if technical, tactical, strategic and moral and ethical issues concerning the use of automated weapons from human-guided systems to self-guided weapons. You could say "from stones to Skynet" because Scharre refers to the Terminator series regularly. Chunks of this book are so filled with techno-babble, military jargon and acronyms that they are difficult to read, which is most unfortunate given the nature of the weapons Scharre discusses and the issues those weapons raise. I made the effort to read them carefully and I am glad I did.… (altro)