<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">managementranepa</journal-id><journal-title-group><journal-title xml:lang="ru">Управленческое консультирование</journal-title><trans-title-group xml:lang="en"><trans-title>Administrative Consulting</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1726-1139</issn><issn pub-type="epub">1816-8590</issn><publisher><publisher-name>Russian Presidential Academy of National Economy and Public Administration. North-West Institute of Management.</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.22394/1726-1139-2024-5-150-158</article-id><article-id custom-type="edn" pub-id-type="custom">UCLTCT</article-id><article-id custom-type="elpub" pub-id-type="custom">managementranepa-2601</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ПУБЛИЧНОЕ УПРАВЛЕНИЕ И ПОЛИТИЧЕСКИЕ ПРОЦЕССЫ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>PUBLIC ADMINISTRATION AND POLITICAL PROCESSES</subject></subj-group></article-categories><title-group><article-title>Проблема предвзятости нейросетей: конфликтные и этические вызовы</article-title><trans-title-group xml:lang="en"><trans-title>«The Trouble with Bias» in Neural Networks: Conflict and Ethical Challenges</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Сунами</surname><given-names>А. Н.</given-names></name><name name-style="western" xml:lang="en"><surname>Sunami</surname><given-names>A. N.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Сунами Артем Николаевич, доцент кафедры конфликтологии Института философии, кандидат политических наук</p><p>Санкт-Петербург</p></bio><bio xml:lang="en"><p>Artem N. Sunami, Associate Professor of the Department of Conflict Studies, Institute of Philosophy, Candidate of Science (Political sciences)</p><p>Saint Petersburg</p></bio><email xlink:type="simple">a.sunami@spbu.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Мусаев</surname><given-names>А. И.</given-names></name><name name-style="western" xml:lang="en"><surname>Musaev</surname><given-names>A. I.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Мусаев Абдурашид Идрисович, заведующий лабораторией сектора психологии отдела по направлению «социально-экономические и гуманитарные науки», УТООП, кандидат политических наук</p><p>Санкт-Петербург</p></bio><bio xml:lang="en"><p>Abdurashid I. Musaev, Head of Laboratory of Psychology Department in the Field of the Social and Economic and Arts Sciences, Candidate of Science (Political sciences)</p><p>Saint-Petersburg</p></bio><email xlink:type="simple">rashidmuss@yandex.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Санкт-Петербургский государственный университет</institution></aff><aff xml:lang="en"><institution>Saint-Petersburg State University</institution></aff></aff-alternatives><pub-date pub-type="collection"><year>2024</year></pub-date><pub-date pub-type="epub"><day>22</day><month>11</month><year>2024</year></pub-date><volume>0</volume><issue>5</issue><fpage>150</fpage><lpage>158</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Сунами А.Н., Мусаев А.И., 2024</copyright-statement><copyright-year>2024</copyright-year><copyright-holder xml:lang="ru">Сунами А.Н., Мусаев А.И.</copyright-holder><copyright-holder xml:lang="en">Sunami A.N., Musaev A.I.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.acjournal.ru/jour/article/view/2601">https://www.acjournal.ru/jour/article/view/2601</self-uri><abstract><p>Cтатья посвящена анализу этических и конфликтных вызовов, связанных с проблемой предвзятости нейронных сетей. Постулируется необходимость корректной, научно обоснованной экспликации феномена предвзятости с целью построения корректировочных данную проблему моделей, как необходимого элемента процесса разработки программных продуктов, построенных на алгоритмах искусственного интеллекта.Рассматривается история развития нейронных сетей от зарождения идеи механического организма до построения современных моделей искусственного нейрона. Выделяются наиболее существенные характеристики современных нейросетей: архитектура, веса и смещения, функции активации, инференции, способы обучения.Дается развернутая характеристика естественного языка как ресурса обучения нейросети, анализируется программирование на естественном языке. Особо подчеркивается специфика естественного языка нейросети как совокупности языковых практик, отражающих весь оцифрованный опыт человечества, включая стереотипы, неравенства, язык вражды и другие феномены, в конечном счете, продуцирующие проблему предвзятости.Значительное внимание уделяется анализу феноменов «политика классификации», «властный дискурс», «культурное насилие» в контексте поиска методологических оснований стратегий фильтрации и цензуры естественного языка в процессе конструирования нейронной сети.Отдельно подчеркиваются как имеющиеся в нейросетях погрешности отражены в существующих этических и конфликтологических дебатах вокруг проблемы искусственного интеллекта. Делается вывод, что текущая оценка моральных аспектов проблемы не предполагает наделение нейросетей статусом морального агента и возлагает этическую экспертизу продукта на его разработчиков. Особо отмечается, что конфликтный аспект проблемы предвзятости заключается в ее признании исключительно в отношении групп, которые к настоящему времени приобрели в результате социальных конфликтов «чувствительный» статус дискриминируемых.В заключение обосновывается острая необходимость оптимизации искусственного интеллекта в целях снижения деструктивного потенциала проблемы предвзятости, что в обязательном порядке предполагает модификацию социальных отношений в более широком контексте борьбы исключенных групп за право признания в качестве дискриминируемых.</p></abstract><trans-abstract xml:lang="en"><p>This article is devoted to the analysis of ethical and conflict challenges related to the trouble with bias in neural networks. The necessity of a correct, scientifically based explication of the phenomenon of bias is postulated in order to build models correcting this problem as a necessary element of the software development process based on artificial intelligence algorithms. The history of the development of neural networks is considered from the origin of the idea of a mechanical organism to the construction of modern models of an artificial neuron. The most significant characteristics of modern neural networks are highlighted: architecture, weights and offsets, activation functions, inferences, and learning methods.A detailed description of natural language as a neural network learning resource is given, and programming in natural language is analyzed. The specificity of the natural language of the neural network as a set of linguistic practices reflecting the entire digitized experience of mankind, including stereotypes, inequalities, hate speech and other phenomena, ultimately producing the trouble with bias, is emphasized.Considerable attention is paid to the analysis of the phenomena of “politics classification”, “power discourse”, “cultural violence” in the context of the search for methodological foundations of natural language filtering and censorship strategies in the process of constructing a neural network.Separately, it is emphasized how the errors in neural networks are reflected in the existing ethical and conflict studies debates around the problem of artificial intelligence. It is concluded that the current assessment of the moral aspects of the problem does not imply granting neural networks the status of a moral agent and places the ethical expertise of the product on its developers. It is particularly noted that the conflict aspect of the trouble with bias lies in its recognition exclusively in relation to groups that have now acquired the “sensitive” status of discriminated against as a result of social conflicts.In conclusion, the paper substantiates the urgent need to optimize artificial intelligence in order to reduce the destructive potential of the trouble with bias, which necessarily implies the modification of social relations in the broader context of the struggle of excluded groups for the right to be recognized as discriminated against.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>нейросеть</kwd><kwd>проблема предвзятости</kwd><kwd>этика</kwd><kwd>конфликт</kwd><kwd>политика классификации</kwd><kwd>культурное насилие</kwd></kwd-group><kwd-group xml:lang="en"><kwd>neural network</kwd><kwd>the trouble with bias</kwd><kwd>ethics</kwd><kwd>conflict</kwd><kwd>classification politics</kwd><kwd>cultural violence</kwd></kwd-group><funding-group><funding-statement xml:lang="ru">Исследование выполнено за счет гранта Российского научного фонда № 23-28-00220, https://rscf.ru/project/23-28-00220.</funding-statement></funding-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Григоренко Е. В. Философские концепции естественного языка // Общество: философия, история, культура. 2019. № 7 (63). С. 27–31. DOI: 10.24158/fik.2019.7.4</mixed-citation><mixed-citation xml:lang="en">Grigorenko Е. V. Philosophical Concepts of Natural Language // Society: philosophy, history, culture [Obshhestvo: filosofiya, istoriya, kul`tura]. 2019. Vol. 7 (63). P. 27–31. (In Russ.) DOI: 10.24158/fik.2019.7.4</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Клышинский Э. С. Проблемы обработки естественного языка в диалоговых системах / Э. С. Клышинский, Ю. А. Жеребцова, А. В. Чижик // Системный администратор. 2019. № 10. С. 82–91.</mixed-citation><mixed-citation xml:lang="en">Klyshinsky E. [et al.] Natural Language Understanding Challenges in Dialogue Systems / Klyshinsky E., Zherebtsova Y., Chizhik А. // System Administrator [Sistemny`j administrator]. 2019. Vol. 10. P. 82–91. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Конференция «Путешествие в мир искусственного интеллекта» // KREMLIN.RU: Офиц. сайт Президента России. 24 ноября 2023 года [Электронный ресурс]. URL: https:// http://www.kremlin.ru/events/president/news/72811 (дата обращения: 01.12.2023).</mixed-citation><mixed-citation xml:lang="en">Conference «Artificial Intelligence Journey 2023» // KREMLIN.RU. November 24, 2023 [Electronic resource]. URL: https:// http://www.kremlin.ru/events/president/news/72811 (accessed: 01.12.2023). (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Кроуфорд К. Атлас искусственного интеллекта: руководство для будущего. М. : АСТ, 2023. 320 с.</mixed-citation><mixed-citation xml:lang="en">Crawford К. Atlas Of Ai Power, Politics And The Planetary Costs Of Artificial Intelligence. Moscow : AST Publishers, 2023. 320 p. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Мораль и этические ценности ChatGPT: есть ли у ИИ четкая нравственная позиция? [Электронный ресурс] // UNN.RU: Офиц. сайт Университета Лобачевского. 12 марта 2024 года. URL: https://fil.unn.ru/does-ai-have-strong-moral-compass (дата обращения: 01.04.2024).</mixed-citation><mixed-citation xml:lang="en">Morality and Ethics of ChatGPT: Does AI adhere to a firm moral stance? // UNN.RU: March 12, 2024 [Electronic resource]. URL: https://fil.unn.ru/does-ai-have-strong-moral-compass (accessed: 01.04.2024). (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Созыкин А. В. Обзор методов обучения глубоких нейронных сетей // Вестник ЮУрГУ. Сер.: Вычислительная математика и информатика. 2017. Т. 6 (3). С. 28–59. DOI: 10.14529/cmse170303</mixed-citation><mixed-citation xml:lang="en">Sozykin A. V. An Overview of Methods for Deep Learning in Neural Networks // Bulletin of the South Ural State University [Vestnik YuUrGU]. Ser.: Computational Mathematics and Software Engineering. 2017. Vol. 6 (3). P. 28–59. (In Russ.) DOI: 10.14529/cmse170303</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Сунами А. Н. Этика виртуальной реальности в работе Дэвида Чалмерса 2022 г. «Реальность+. Виртуальные миры и проблемы философии» // Философия истории философии. Т. 4. 2024.</mixed-citation><mixed-citation xml:lang="en">Sunami A. N. The ethics of virtual reality in David Chalmers “Reality+. Virtual Worlds and the Problems of Philosophy” // Philosophy of the History of Philosophy. Vol. 4. 2024. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Фуко М. Воля к истине: по ту сторону знания, власти и сексуальности. Работы разных лет. М. : Касталь, 1996. 446 с.</mixed-citation><mixed-citation xml:lang="en">Foucault М. The will to knowledge: beyond knowledge, power and sexuality. Works of different years. Moscow : Kastal’, 1996. 446 p. (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Bowker G. C. / G. C. Bowker, S. L. Star // Sorting Things Out: Classification and Its Consequences. Cambridge, Mass. : MIT Press, 1999. 377 p.</mixed-citation><mixed-citation xml:lang="en">Bowker G. C. / Bowker G. C., Star S. L. Sorting Things Out: Classification and Its Consequences. Cambridge, Mass.: MIT Press, 1999. 377 p.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Brown T. B. Language Models are Few-Shot Learners / T. B. Brown, B. Mann, N. Ryder [et al.]. 2020. DOI: 10.48550/arXiv.2005.14165</mixed-citation><mixed-citation xml:lang="en">Brown T. B. Language Mo dels are Few-Shot Learners / Brown T. B., Mann B., Ryder N. et al. 2020. DOI: 10.48550/arXiv.2005.14165</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Chalmers D. J. Reality+: Virtual Worlds and the Problems of Philosophy. New-York : W. W. Norton &amp; Co, 2022. 544 p.</mixed-citation><mixed-citation xml:lang="en">Chalmers D. J. Reality+: Virtual Worlds and the Problems of Philosophy. New-York : W. W. Norton &amp; Co, 2022. 544 p.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Du M. Shortcut Learning of Large Language Models in Natural Language Understanding / M. Du, F. He, N. Zou [et al.] // Communications of the ACM. 2023. Vol. 67 (1). P. 110–120. DOI: 10.1145/3596490</mixed-citation><mixed-citation xml:lang="en">Du M. Shortcut Learning of Large Language Models in Natural Language Understanding / Du M., He F., Zou N., Tao D., Hu X. // Communications of the ACM. 2023. Vol. 67 (1). P. 110–120. DOI: 10.1145/3596490</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Galtung J. Cultural Violence // Journal of Peace Research. 1990. Vol. 27 (3). P. 291–305.</mixed-citation><mixed-citation xml:lang="en">Galtung J. Cultural Violence // Journal of Peace Research. 1990. Vol. 27 (3). P. 291–305.</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Kejriwal M. Quantifying Gender Disparity in Pre-Modern English Literature using Natural Language Processing / M. Kejriwal, A. Nagaraj // Journal of Data Science. 2024. Vol. 22 (1). P. 77–96. DOI: 10.6339/23-JDS1100</mixed-citation><mixed-citation xml:lang="en">Kejriwal M. Quantifying Gender Disparity in Pre-Modern English Literature using Natural Language Processing / Kejriwal M., Nagaraj A. // Journal of Data Science. 2024. Vol. 22 (1). P. 77–96. DOI: 10.6339/23-JDS1100</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Krügel S. ChatGPT’s inconsistent moral advice influences users’ judgment / S. Krügel, A. Ostermaier, M. Uhl // Sci Rep 13. 4569. 2023. DOI: 10.1038/s41598-023-31341-0</mixed-citation><mixed-citation xml:lang="en">Krügel S. ChatGPT’s inconsistent moral advice influences users’ judgment / Krügel S., Ostermaier A., Uhl M. // Sci Rep 13. 4569. 2023. DOI: 10.1038/s41598-023-31341-0</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">McCulloch W. S. A logical calculus of the ideas immanent in nervous activity / W. S. McCulloch, W. Pitts // The Bulletin of Mathematical Biophysics. 1943. Vol. 5 (4). P. 115–133. DOI: 10.1007/BF02478259</mixed-citation><mixed-citation xml:lang="en">McCulloch W. S. A logical calculus of the ideas immanent in nervous activity / McCulloch W. S., Pitts W. // The Bulletin of Mathematical Biophysics. 1943. Vol. 5 (4). P. 115–133. DOI: 10.1007/BF02478259</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Pitt J. C. “Guns Don’t Kill, People Kill”; Values in and/or Around Technologies / P. Kroes, P.-P. Verbeek (eds.) // The moral status of technical artefacts. Philosophy of engineering and technology. Berlin : Springer, 2014. P. 89–102. DOI: 10.1007/978-94-007-7914-3_6</mixed-citation><mixed-citation xml:lang="en">Pitt J. C. “Guns Don’t Kill, People Kill”; Values in and/or Around Technologies / Kroes, P., Verbeek, P.-P. (eds.) // The moral status of technical artefacts. Philosophy of engineering and technology. Berlin : Springer, 2014. P. 89–102. DOI: 10.1007/978-94-007-7914-3_6</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Schmidhuber J. Deep Learning in Neural Networks: an Overview // Neural Networks. 2015. Vol. 1. P. 85–117. DOI: 10.1016/j.neunet.2014.09.003</mixed-citation><mixed-citation xml:lang="en">Schmidhuber J. Deep Learning in Neural Networks: an Overview // Neural Networks. 2015. Vol. 1. P. 85–117. DOI: 10.1016/j.neunet.2014.09.003</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Searle J. Minds, brains, and programs // Behavioral and Brain Sciences. 1980. Vol. 3 (3). P. 417–24. DOI: 10.1017/S0140525X00005756</mixed-citation><mixed-citation xml:lang="en">Searle J. Minds, brains, and programs // Behavioral and Brain Sciences. 1980. Vol. 3 (3). P. 417–24. DOI: 10.1017/S0140525X00005756</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Singer P. Animal Liberation Now: The Definitive Classic Renewed. New-York : Harper Perennial, 2023. 368 p.</mixed-citation><mixed-citation xml:lang="en">Singer P. Animal Liberation Now: The Definitive Classic Renewed. New-York : Harper Perennial, 2023. 368 p.</mixed-citation></citation-alternatives></ref><ref id="cit21"><label>21</label><citation-alternatives><mixed-citation xml:lang="ru">Verbeek P.-P. Moralizing Technology: Understanding and Designing the Morality of Things. Chicago : University of Chicago Press, 2011. 183 p.</mixed-citation><mixed-citation xml:lang="en">Verbeek P.-P. Moralizing Technology: Understanding and Designing the Morality of Things. Chicago: University of Chicago Press, 2011. 183 p.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
