managementranepaУправленческое консультированиеAdministrative Consulting1726-11391816-8590Russian Presidential Academy of National Economy and Public Administration. North-West Institute of Management.10.22394/1726-1139-2019-3-87-103managementranepa-1062Research ArticleОБЩЕСТВО И РЕФОРМЫSOCIETY AND REFORMSПроблемы обеспечения качества экспертной деятельности (на материале экспертизы информационной продукции в РФ)The Problems of Ensuring the Quality of Experts’ Work: the Case of Media Content Evaluation in the Russian FederationКрашенинниковаЮ. А.KrasheninnikovaYulia A.

Крашенинникова Юлия Александровна, эксперт лаборатории муниципального управления НИУ ВШЭ, доцент департамента менеджмента НИУ ВШЭ в Перми, кандидат исторических наук

Москва

the expert of laboratory of municipal management, Associate professor of Department of Management of National Research University Higher School of Economics in Perm, PhD in History

Moscow

jkrasheninnikova@hse.ruНациональный исследовательский университет «Высшая школа экономики»National Research University Higher School of Economics2019280520190387103Copyright © Крашенинникова Ю.А., 20192019Крашенинникова Ю.А.Krasheninnikova Y.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.acjournal.ru/jour/article/view/1062

Несколько лет назад в Российской Федерации появился новый вид экспертизы — экспертиза информационной продукции в соответствии с Федеральным законом «О защите детей от информации, причиняющей вред их здоровью и развитию» от 29.12.2010 № 436-ФЗ. В статье на материале данного кейса анализируются проблемы обеспечения качества экспертной деятельности, результаты которой используются для целей государственного управления, и возможные механизмы их преодоления. Эмпирической базой стали тексты экспертных заключений за 2013–2017 гг., а также полуструктурированные интервью с  аккредитованными экспертами Роскомнадзора. Показано, что в этой области периодически возникают ситуации, которые ставят под сомнение качество экспертной работы даже исходя из формальных критериев соответствия закону и правилам подготовки научных текстов. В то же время, процедуры обеспечения качества либо не предусмотрены нормативно, либо не действуют на практике. В отсутствие единых методик, единой научной базы, единого формата заключения результаты экспертиз разнятся, а контроля со стороны самого экспертного сообщества или государства как основного потребителя фактически нет. Парадоксальным образом субъективность мнения эксперта считается нормой. Этим создаются условия для того, чтобы экспертиза воспринималась заинтересованными сторонами не как вспомогательное средство выполнения закона о детской медиабезопасности, а как самостоятельный инструмент воздействия на медиаполе и защиты интересов.

The paper deals with the problems of ensuring the quality of expert’s activities which results are used in public administration. As a case, one type of expert evaluation is examined. This type has appeared about six years ago, according to the Federal Law N 436-FZ On Protecting Children from Information Harmful to Their Health and Development, with the purpose to assess the age rating of media content in difficult or disputable cases. The research focuses on two topics: what errors and abuses happen in the practice of expert evaluations; how the procedures of quality ensuring work. Empirical data for analysis include the texts of expert evaluations over the period 2013–2017 years (N 105) and semi-structured interviews with accredited experts (N 10). It was revealed that the quality of expert evaluations is diverse and in some cases is far from satisfactory. Some evaluations can be questioned because of their noncompliance with the law and formal criteria of academic papers. Meanwhile, obvious procedures to ensure quality are not designed in the law or exist but do not actually work. The results of evaluations of similar products differ from each other because of the absence of common methods, common theoretical ground, and unified format of evaluation. The government control of the experts’ work quality and the self-regulation of expert community are very weak. Those circumstances create conditions for distorted attitude of stakeholders to expert evaluation: not as a supplement tool for enforcement of the law on children media safety but as self-sufficient instrument of private interest protection and influence on media.

экспертывозрастные рейтингиэкспертиза информационной продукциидетская медиабезопасностьмедиаконтроль качестваexpertsage ratingsage classification systemchildren media safetymediaquality controlФонд поддержки социальных исследований «Хамовники», проект № 2016-002.ReferencesАналитические сообщества в публичной политике: глобальный феномен и российские практики / отв. ред.: Н. Ю. Беляева; науч. ред.: Д. Г. Зайцев, Ш. Ш. Какабадзе. М. : РОССПЭН, 2013.Analytical communities in public policy: global phenomenon and Russian practices / Ex. edition: N.Yu. Belyaeva; scientific edition: D. G. Zaytsev, Sh. Sh. Kakabadze. M. : ROSSPEN, 2013. (In rus)Баранов А. Н. Лингвистика в лингвистической экспертизе (метод и истина) // Вестник Волгоградского государственного университета. Сер. 2, Языкознание. 2017. Т. 16, № 2. С. 18–27.Baranov A. N. Linguistics in linguistic examination (a method and the truth) // Bulletin of the Volgograd State University. Series 2, Linguistics [Vestnik Volgogradskogo gosudarstvennogo universiteta. Ser. 2, Yazykoznanie]. 2017. T. 16, N 2. P. 18–27. (In rus)Бумагин Р. Е., Рогозин Д. М. Критика опросного подхода к анализу взаимного сходства во внешнем виде потребительских продуктов внутри одной товарной категории // Экономическая социология. 2018. Т. 19. № 2. С. 86–117.Bumagin R. E., Rogozin D. M. Critics of polling approach to the analysis of mutual similarity in appearance of consumer products in one commodity category // Economic sociology [Ekonomicheskaya sotsiologiya]. 2018. V. 19. N 2. P. 86–117. (In rus)Галяшина Е. И. Проблемы повышения эффективности и качества судебной лингвистической экспертизы // Вестник Московского университета МВД России. 2017. № 2. C. 34–35.Galyashina E. I. Problems of increase in efficiency and quality of judicial linguistic examination // Bulletin of the Moscow University of the Ministry of Internal Affairs of the Russian Federation [Vestnik Moskovskogo universiteta MVD Rossii]. 2017. N 2. P. 34–35. (In rus)Голев Н. Д. Об объективности и легитимности источников лингвистической экспертизы // Юрислингвистика. 2002. № 3. С. 15–30.Golev N. D. About objectivity and legitimacy of sources of linguistic examination // Legal linguistic [Yurislingvistika]. 2002. N 3. P. 15–30. (In rus)Зайцева Е. А. Концепция развития института судебной экспертизы в условиях состязательного уголовного судопроизводства: монография. М. : Юрлитинформ. 2010.Zaytseva E. A. The concept of development of institute of judicial examination in the conditions of competitive criminal proceedings: monograph. M. : Jurlitinform. 2010. (In rus)Иванова О. С., Плаксин С. М. Анализ практики привлечения экспертных организаций (индивидуальных экспертов) к процессу исполнения государственных функций // Вопросы государственного и муниципального управления. 2009. № 1. С. 5–32.Ivanova O. S., Plaksin S. M. Analysis of practice of involvement of the expert organizations (individual experts) to process of execution of the state functions // Questions of the public and municipal administration [Voprosy gosudarstvennogo i munitsipal’nogo upravleniya]. 2009. N 1. P. 5–32. (In rus)Крашенинникова Ю. Дети и страхи в массмедиа // Отечественные записки. 2013. № 2. С. 191–200.Krasheninnikova Yu. Children and fears in mass media // Domestic notes [Otechestvennye zapiski]. 2013. N 2. P. 191–200. (In rus)Мазур Е. С. Проблема оценки достоверности заключения судебно-медицинского эксперта // Вестник Томского государственного университета. 2012. № 364. С. 102–106.Mazur E. S. Problem of assessment of reliability of the conclusion of the forensic scientist // Messenger of the Tomsk State University [Vestnik Tomskogo gosudarstvennogo universiteta]. 2012. N 364. P. 102–106. (In rus)Масловская Е. В. Особенности взаимодействия экспертов со следственными и судебными органами (на примере судебно-медицинских экспертов и экспертов в области оценочной деятельности) // Российский журнал правовых исследований. 2016. № 4 (9). С. 148–153.Maslovskaya E. V. Features of interaction of experts with investigating and judicial authorities (on the example of forensic scientists and experts in the field of estimated activity) // Russian journal of legal studies [Rossiiskii zhurnal pravovykh issledovanii]. 2016. N 4 (9). P. 148–153. (In rus)Минченко О. С. Теория и практика использования экспертизы в рамках реализации контрольно-надзорных функций государства // Вопросы государственного и муниципального управления. 2012. № 4. С. 20–33.Minchenko O. S. The theory and practice of use of examination within realization of control and supervising functions of the state // Questions of the public and municipal administration [Voprosy gosudarstvennogo i munitsipal’nogo upravleniya]. 2012. N 4. P. 20–33. (In rus)Митрошенков О. А. Экспертиза и политика в России: коллизии роста и отношений // Личность. Культура. Общество. 2005. Вып. 1 (25). С. 160–182.Mitroshenkov O. A. Examination and policy in Russia: collisions of growth and relations // Personality. Culture. Society [Lichnost’. Kul’tura. Obshchestvo]. 2005. Issue 1 (25). P. 160–182. (In rus)Нестеров А. В. Методология объективизации судебно-экспертной деятельности как фактор повышения доказательственного значения результатов судебной экспертизы // Теория и практика судебной экспертизы. 2015. № 4. С. 166–170.Nesterov A. V. Methodology of objectification of judicial and expert activity as factor of increase in evidentiary value of results of judicial examination // Theory and Practice of Forensic Science [Teoriya i praktika sudebnoi ekspertizy]. 2015. N 4. P. 166–170. (In rus)Носкова М. В. Об актуальных вопросах взаимодействия экспертного сообщества и власти: концептуализация роли публичных экспертов в формировании повестки дня государства // Управленческое консультирование. 2016. № 9. С. 191–199.Noskova M. V. About topical issues of interaction of expert community and power: conceptualization of a role of public experts in formation of the agenda of the state // Administrative consulting [Upravlencheskoe konsul’tirovanie]. 2016. N 9. P. 191–199. (In rus)Полякова В. Изменение социальной роли экспертного знания // Социальная реальность. 2007. № 5. С. 77–85.Polyakova V. Change of a social role of expert knowledge // Social reality [Sotsial’naya real’nost’]. 2007. N 5. P. 77–85. (In rus)Россинская Е. Р., Корухов Ю. Г., Киселев С. Е., Гречуха Н. М. Проблемы негосударственной судебно-экспертной деятельности в Российской Федерации // Законы России: опыт, анализ, практика. 2011. № 12. С. 38–49.Rossinskaya E. R., Korukhov Yu. G., Kiselev S. E., Grechukha N. M. Problems of non-state judicial and expert activity in the Russian Federation // Laws of Russia: experience, analysis, practice [Zakony Rossii: opyt, analiz, praktika]. 2011. N 12. P. 38–49. (In rus)Сунгуров А. Ю. Роль и функции экспертов в процессе принятия властных решений // Управленческое консультирование. 2017. № 6. С. 8–15.Sungurov A. Yu. A role and functions of experts in the course of adoption of imperious decisions // Administrative consulting [Upravlencheskoe konsul’tirovanie]. 2017. N 6. P. 8–15. (In rus)Сунгуров А. Ю., Карягин М. Е. Российское экспертное сообщество и власть: основные формы взаимодействия // Политические исследования. 2017. № 3. С. 144–159.Sungurov A. Yu., Karyagin M. E. Russian expert community and power: main forms of interaction // Political researches [Politicheskie issledovaniya]. 2017. N 3. P. 144–159. (In rus)Boswell С. The Political Uses of Expert Knowledge: Immigration Policy and Social Research. Cambridge University Press, 2009.Boswell С. The Political Uses of Expert Knowledge: Immigration Policy and Social Research. Cambridge University Press, 2009.Collins H., Evans R. Rethinking Expertise. The University of Chicago Press. 2007.Collins H., Evans R. Rethinking Expertise. The University of Chicago Press. 2007.Democratization of expertise?: exploring novel forms of scientific advice in political decisionmaking. Ed. by Maasen S., Weingart P. Springer Science & Business Media. 2006.Democratization of expertise?: exploring novel forms of scientific advice in political decisionmaking. Ed. by Maasen S., Weingart P. Springer Science & Business Media. 2006.Edelenbos J., Van Buuren A., Van Schie N. Co-producing knowledge: joint knowledge production between experts, bureaucrats and stakeholders in Dutch water management projects // Environmental Science & Policy. 2011. V. 14. N 6. P. 675–684.Edelenbos J., Van Buuren A., Van Schie N. Co-producing knowledge: joint knowledge production between experts, bureaucrats and stakeholders in Dutch water management projects // Environmental Science & Policy. 2011. V. 14. N 6. P. 675–684.Fischer F. Professional expertise in a deliberative democracy // The Good Society. 2004. V. 13. N 1. P. 21–27.Fischer F. Professional expertise in a deliberative democracy // The Good Society. 2004. V. 13. N 1. P. 21–27.Howlett M., Migone A. Policy advice through the market: The role of external consultants in contemporary policy advisory systems // Policy and Society. 2013. V. 32. N 3. С. 241–254.Howlett M., Migone A. Policy advice through the market: The role of external consultants in contemporary policy advisory systems // Policy and Society. 2013. V. 32. N 3. С. 241–254.Jakobson L. Russian experts: missing actors of the budget process // Post-Communist Economies. 2017. V. 29. N 4. Р. 491–504.Jakobson L. Russian experts: missing actors of the budget process // Post-Communist Economies. 2017. V. 29. N 4. Р. 491–504.Jasanoff Sh. Quality control and peer review in advisory science // The politics of scientific advice: Institutional design for quality assurance. Cambridge University Press, 2011. P. 19–35.Jasanoff Sh. Quality control and peer review in advisory science // The politics of scientific advice: Institutional design for quality assurance. Cambridge University Press, 2011. P. 19–35.Jasanoff Sh. The Fifth Branch. Science Advisers as Policymakers. Harvard University Press. 1990.Jasanoff Sh. The Fifth Branch. Science Advisers as Policymakers. Harvard University Press. 1990.Krick E. The epistemic quality of expertise: contextualized criteria for the multi-source, negotiated policy advice of stakeholder fora // Critical Policy Studies. 2018. V. 12. N 2. P. 209–226.Krick E. The epistemic quality of expertise: contextualized criteria for the multi-source, negotiated policy advice of stakeholder fora // Critical Policy Studies. 2018. V. 12. N 2. P. 209–226.Lentsch J., Weingart P. Introduction: the quest for quality as a challenge to scientific policy advice: an overdue debate? // The politics of scientific advice: Institutional design for quality assurance. Cambridge University Press, 2011. P. 3–18.Lentsch J., Weingart P. Introduction: the quest for quality as a challenge to scientific policy advice: an overdue debate? // The politics of scientific advice: Institutional design for quality assurance. Cambridge University Press, 2011. P. 3–18.Page E. C. Bureaucrats and expertise: Elucidating a problematic relationship in three tableaux and six jurisdictions // Sociologie du travail. 2010. V. 52. N 2. P. 255–273.Page E. C. Bureaucrats and expertise: Elucidating a problematic relationship in three tableaux and six jurisdictions // Sociologie du travail. 2010. V. 52. N 2. P. 255–273.Sutherland W., Burgman M. Policy advice: use experts wisely // Nature News. 2015. V. 526. N 7573. URL: https://www.nature.com/news/policy-advice-use-experts-wisely-1.18539 (дата обращения: 10.11.2018).Sutherland W., Burgman M. Policy advice: use experts wisely // Nature News. 2015. V. 526. N 7573. URL: https://www.nature.com/news/policy-advice-use-experts-wisely-1.18539 (date of the address: 10.11.2018).Weingart P. Scientific expertise and political accountability: paradoxes of science in politics // Science and public policy. 1999. V. 26. N 3. P. 151–161.Weingart P. Scientific expertise and political accountability: paradoxes of science in politics // Science and public policy. 1999. V. 26. N 3. P. 151–161.

The authors declare that there are no conflicts of interest present.