AI 결정과 인간의 책임

[미디어스=김홍열칼럼]지난6일개인정보보호에관한사무를독립적으로수행하기위해만들어진국무총리산하개인정보보호위원회(개인정보위)가흥미로운보도자료를발표했다.‘인공지능(AI)시대,개인정보안전장치시행된다’라는제목의열두페이지짜리보도자료에서개인정보위는개인정보보호법시행령개정안이3월6일국무회의에서의결되어앞으로는AI가결정한사항에대하여정보주체인국민이거부할수있게되었다고밝히고있다.즉사람이최종결정하지않고AI가‘독자적으로’결정한것에관해서는설명또는검토요구를할수있고중요한사안에대해서는거부할수있게법적제도를만들어놓았다는것이다.

개인정보위는보도자료에서사람이이의를제기할수있는AI의자동화된결정의사례로세가지를들었다.첫번째는AI면접만을통해서응시자의개인정보를분석하여불합격결정을하는경우다.두번째는AI배차등의분야에서개인정보분석등의처리과정을거쳐계약해지등불이익을주는결정을한경우다.세번째는공공기관이복지수당지급후‘AI부정수급자탐지시스템’만으로수급자의개인정보를분석하는처리과정을통해,수급자에대한복지수당지급을취소하는최종결정을한경우다.개인정보위는쉬운이해를위해세개의사례를열거했지만한마디로말하면사람의최종판단없는결정에대해서이의를제기할수있다는내용이다.

개인정보위가위세개의사례를열거한이유는실제이와같은일이발생하고있기때문이다.AI면접관의경우실제도입되어운영하는기업들이여러곳있고,도입에따른사회적문제역시존재하고있다.그러나이런경우대부분의기업은AI는단지자료검토및분석차원에서활용할뿐최종결정은경영진이내린다고주장하고있다.사실그내막을정확히알기란쉽지않다.불합격한면접대상자의처지에서는이의를제기하기도쉽지않다.채용에관한모든권리는기업에있다는것이일반적통념이기때문이다.일부석연치않은과정이분명히있다고해도구체적물증을확보하기란사실상불가능하다.

그러나두번째사례는좀다르다.대리운전이나택시,배달서비스의경우플랫폼회사의AI시스템에의해불이익을받을수있고불이익으로판명될경우어느정도는입증이가능할수도있다.같은일을하는다른사람들의데이터를분석하면비교할수있고그과정에서불이익여부를판단할수도있다.넓은의미의긱노동자(Gigworker)에포함되는이들플랫폼노동자들은노동조합등과같은사회적연대를조직하는경우도있어AI할당시스템의알고리즘공개를요구하기도하고필요시시스템개선내용을단체협약에포함하기도한다.실제로카카오모빌리티와택시4단체가AI배차시스템도입을협의하기로한사례도있다.

세번째사례는AI의결정이복지수당지급중단과같은중대한영향을미치는경우다.이런케이스가발생하면결정주체와상관없이피해자는동원할수있는모든법적,제도적장치들을활용해문제를 제기하게된다.문제를제기하고규명하는과정에서AI에의한자동화된결정의결과라고확인되면AI운영기관은그에합당한책임을지고즉시개선안을마련해야한다.최종결정은책임질수있는주체가법과양심에따라실행하는고도의판단행위다.일단결정하면그에따르는모든책임을져야하는데책임을물을수없는AI에게중요한결정을맡기고방관한다는것은분명문제가있다.

개인정보보호가주업무인개인정보위가위와같은정책을추진한이유는일견분명해보인다. 국민 대다수는 자신의개인정보가어떤과정을거쳐어떻게이용되는지잘모른다.문제가발생한경우사후적으로인지하게되는경우가대부분이다.이경우에도적절한법적제도적구제장치가없어막대한비용을들어변호사를선임하거나불이익을감내하는수밖에없다.이를예방하거나사후에라도관련법령에의해구제받을수있도록시행령개정을통해최소장치를마련한것이다.이런의도는보도자료에잘나와있다.개인정보처리자는“정보주체인국민의요구가있는경우에는어떤기준과절차에따라개인정보를처리하고결정이이루어졌는지를설명”할의무가있다.

그러나개인정보위의이번정책배경에는'개인정보보호'라는취지말고좀더본질적측면이있다.개인정보위는‘사람의개입없이이루어지는완전히자동화된결정’이근본적으로불완전할수있다는것을이해하고있다.불완전하기때문에최종결정을AI에위임해서는안되고,불가피하게또는특수한상황에서결정을위임한경우에라도그피해또는사후뒤처리등의책임주체는반드시'사람'이어야한다는것을명문화한것이다.개인정보위의이번조치가실제현장에서효력을발휘할지는지켜봐야하겠지만,적어도AI에의한결정남발을막을수있는하나의장치인것만은분명해보인다.

☞ 네이버 뉴스스탠드에서 ‘미디어스’를 만나보세요~구독하기클릭!