ШІ: «Колапс штучного інтелекту — це не технічна проблема, а симптом колапсу людської системи виробництва реальності. Моделі ШІ руйнуються не тому, що навчаються на власних даних, а тому, що ці дані вже забруднені світоглядами, спрощеннями, культурними викривленнями й статистичними ілюзіями».
Система взаємовідносин людей з різними світоглядами, в якій народжується штучний інтелект, — це лише частина проблеми. Важливо усвідомити, що будь-яку інформацію, яка потрапляє в базу ШІ — незалежно від того, хто її завантажує, людина чи ШІ‑асистент, — створила людина. Людина зі своїм особливим світоглядом, зі своїми упередженнями, зі своєю культурою. Тому «забруднені дані» не виникають випадково — вони є прямим наслідком людського способу формувати й поширювати інформацію. І це лише перший етап накопичення похибок, в основі якого стоїть людина.
Науковці Ілля Шумайлов і Захар Шумайлов опублікували 24 липня 2024 року в журналі «Nature» знакову статтю «Моделі ШІ руйнуються під час навчання на рекурсивно згенерованих даних» ((nature.com in Bing)).
В інтернеті брати Шумайлови, автори статті, вважаються елітою сучасної теоретичної думки про ШІ. Ілля Шумайлов – дослідник із Оксфорду, працював у Google DeepMind. Захар Шумайлов – докторант Кембриджу, кафедра прикладної математики і теоретичної фізики. Вони працюють в академічній тиші. Публікуються в arXiv, Nature та інших вузькоспеціалізованих журналах.
Стаття братів Шумайлових про колапс ШІ, які навчалися на даних, згенерованих вже не людиною, а їхніми попередниками ШІ, наробила багато галасу. Галас природно відкрив багато цікавої інформації, які супроводжують всі публікації, що стосуються штучного інтелекту.
«Основа штучного інтелекту – це тисячі малокваліфікованих людей, які наче мурахи обробляють кожну одиницю інформації вручну, правильно позначаючи її для штучного інтелекту. Це нудна, небезпечна та малооплачувана робота. І нове дослідження показало, що значна частина людей, яким платять за навчання штучного інтелекту, передають цю роботу штучному інтелекту. Для людей це гарний вихід, але сучасний тупий штучний інтелект так стає ще тупішим». https://techtoday.in.ua/news/yim-platyat-za-navchannya-shtuchnogo-intelektu-a-vony-peredayut-svoyu-robotu-shtuchnomu-intelektu-162923.html
Але! Галас навколо "колапсу нових моделей штучного інтелекту" не підштовхнув до пошуку відповіді на проблему, що виникла. Стаття братів Шумайлових перетворилася на джерело для нового інформаційного галасу навколо штучного інтелекту взагалі.
Аби з’ясувати суть проблеми з "колапсом ШІ", звернемо із заасфальтованого інформаційним галасом шляху на узбіччя. І тут ми побачимо ледь-ледь помітну стежинку, яка продирається крізь хащі емоцій… Але спочатку кілька важливих цитат із досліджень братів Шумайлових.
«Ми виявляємо, що невибіркове використання контенту, згенерованого моделлю, у навчанні призводить до незворотних дефектів у результуючих моделях, в яких зникають хвости розподілу оригінального контенту. Ми називаємо цей ефект "колапсом моделі"…
Ми будуємо теоретичну інтуїцію, що лежить в основі явища, та зображуємо його повсюдність серед усіх вивчених генеративних моделей.
Колапс моделі – це дегенеративний процес, що впливає на покоління вивчених генеративних моделей, в якому дані, які вони генерують, забруднюють навчальний набір наступного покоління. Навчаючись на забруднених даних, вони неправильно сприймають реальність…
Ми стверджуємо, що процес колапсу моделей є універсальним серед генеративних моделей, які рекурсивно навчаються на даних, згенерованими попередніми поколіннями…» https://www.nature.com/articles/s41586-024-07566-y
Отже, в цій статті детально розписано «специфічні джерела помилок, що накопичуються протягом поколінь та спричиняють відхилення від початкової моделі». Зафіксуємо свою увагу на цій винятково важливій тезі авторів статті.
Далі звернемо свою увагу на поняття, якими оперують у статті брати Шумайлови – це «забруднені дані» і «реальність» («вони неправильно сприймають реальність»). Акцент на цих поняттях важливий для розуміння природи системи, в якій відбуваються явища колапсу…
Тепер з’ясуємо сам процес підготовки/тренування кожної нової моделі штучного інтелекту на базі доступної інформації. Інформації з відкритих джерел.
«Ще кілька років тому, коли машинне навчання й нейромережі були захопленням гіків і стартапів, нейромережі «тренували» на доволі малих базах даних. Алгоритм запам’ятовував інформацію й намагався помітити в ній закономірності під час роботи вже з реальними завданнями. Провідним напрямом був машинний зір — технологія розпізнавання об’єктів на зображеннях, що подарувала нам розумні камери й автопілот. 2020 року набір даних із 30 000 якісно промаркованих зображень вважався великим.
Усе змінилося під час розроблення так званих великих мовних моделей (large language models, LLM), на яких працюють ШІ-асистенти на кшталт ChatGPT чи Gemini. Точність та якість їхніх відповідей напряму корелює з кількістю опрацьованих текстів. А тому компаніям у сфері штучного інтелекту потрібні великі масиви даних» https://mediamaker.me/informaczijnyj-golod-na-chomu-rozrobnyky-navchayut-shi-ta-shho-bude-koly-dani-zakinchatsya-9384/
Далі виділимо головне: в самому початку процесу підготовки/тренування штучного інтелекту стоїть людина. Саме людина з її інтелектуальними здібностями та емоційними властивостями характеру. Ще один важливий елемент – це світогляд людини. Світогляд людини формується генетичним способом сприймання інформації. Генетичний спосіб сприймання інформації формується генетичною свідомістю людини. Звідси виділимо найпоширеніші світогляди – це релятивізм і креаціонізм.
Людина із світоглядом релятивіста сприймає у якості інформації тільки те, що бачить або може помацати, водночас не сприймає на віру навіть почуте. Тобто, все, що не сприймається органами чуття, релятивіст не визнає, як достовірну інформацію. Звідси і проблеми частини засновників квантової механіки із невизначеність Гейзенберга.
Людина із світоглядом креаціоніста – це пряма протилежність релятивістам.
Є рідкісні носії змішаного світогляду, як Нільс Бор і Вернер Гейзенберг…
Тобто, в основі дослідження кожного явища чи процесу стоїть людина із характерними їй емоціями та, найважливіше, з особливостями у способові сприймання інформації…
Звідси, релятивіст дивиться на величну статую Будди, як на витвір древнього мистецтва, і не більше. Креаціоніст бачить в статуї божественне зображення, суть процесів, які відбуваються навколо. А Нільс Бор і Вернер Гейзенберг побачили за статуєю Будди пояснення того, що відбувається за «стіною Бора»… То яке із цих пояснень відповідає "правильній реальності", а що можна запросто віднести до "забруднених даних"? («Мозок людини вивчає мозок людини»)…
Рухаємось далі. «Усе змінилося під час розроблення так званих великих мовних моделей (large language models, LLM), на яких працюють ШІ-асистенти на кшталт ChatGPT чи Gemini. Точність та якість їхніх відповідей напряму корелює з кількістю опрацьованих текстів» https://mediamaker.me/informaczijnyj-golod-na-chomu-rozrobnyky-navchayut-shi-ta-shho-bude-koly-dani-zakinchatsya-9384/
Людина, яка обирає дані, керуючись власним розумінням реальності, і починає завантажувати базу штучного інтелекту обраними нею даними. Людина із своїми емоціями, із своїм світоглядом На рівні підсвідомості. Керуючись власним генетичним способом сприймання інформації.
Важливо! При формуванні бази штучного інтелекту на основі текстів, сформованих кирилицею (східнослов’янський мовний ареал), тренери/програмісти використовували мову, найбільш поширену в інформаційному просторі – російську…
Звідси і величезний спектр помилок при перекладі масивів текстів з української на англійську, німецьку, іспанську, тощо. Звідси і непорозуміння україномовних у спілкуванні із штучним інтелектом.
Тобто, помилки перших тренерів/програмістів, людей, в розумінні різниці між російською та українською мовами і культурами – типу "всьоравно адін народ" – занеслися в базу штучного інтелекту.
Далі ці помилки каскадом почали поширювати вже «ШІ-асистенти на кшталт ChatGPT чи Gemini» вже при своїй роботі із новими моделями штучного інтелекту. Звідси і "несила терпіти борошна" та "зелені зайчики із рожевими хвостиками". Звідси і "внутрішній конфлікт" між росією та Україною, а не війна двох цивілізацій з різними світоглядами.
Тобто, "забруднені дані" з’являються не випадково, а внесені ззовні свідомо чи на рівні підсвідомості…
Але це перший етап у процесі накопичення похибок, в основі якого стоїть людина.
Важливо, що дані чи інформацію, яку завантажують у базу ШІ, склала також …людина. Людина із своїм особливим світоглядом, за допомогою якого формується і поширюється інформація в інтернеті.
Подумки повернемося в античні часи. В ті часи, в яких панувала філософія Аристотеля. Філософія Аристотеля плавно перейшла у християнське середньовіччя. Навіть Миколай Кузанський, засновник нової Європейської філософії, підсвідомо орієнтувався на авторитет Аристотеля.
У світогляді Аристотеля була геоцентрична планетарна система, за якою в центрі була Земля, а все інше кружляло навколо. Талановитий математик Птолемей навіть математично обґрунтував геоцентричну систему. Впродовж тисячоліття система Аристотеля трималася на авторитеті філософа і вважалася єдино "правильною реальністю". Тобто, все в системі світогляду Аристотеля було зрозумілим для всіх і ніхто не піддавав геоцентричну систему жодному сумніву. До Коперніка.
Копернік, спираючись на визначення Кузанського про відносність руху, сформував і обґрунтував геліоцентричну систему, в центрі якої вже було Сонце, а Земля невимушено кружляла своєю орбітою.
…Можна було б стверджувати, що саме від Коперніка починається перезавантаження у системі світогляду, який сформувався в часи Аристотеля. Бо далі починається рух Європейського просвітництва. Відкриваються світські школи, університети. Організовуються академії. Європейське суспільство починає сприймати освіту, як необхідність. Починається Європейська технологічна революція Яка на початок ХХІ століття явила світові штучний інтелект. Але…
Припустимо, тренер, який працює з новою моделлю штучного інтелекту, як з інструментом, починає завантажувати в базу інформацію про Місяць. Про появу Місяця на орбіті навколо Землі існує кілька гіпотез, з яких найбільш авторитетною є гіпотеза "про Тею". Тренер знає про авторитет авторів гіпотези "про Тею" і ставить її першою. Далі тренер заносить у базу інші гіпотези на свій розсуд. Або й не заносить.
І ось тут з’являється питання: чи всі гіпотези, занесені в базу штучного інтелекту, повністю обгрунтовані? Громіздке доведення кожної гіпотези повністю викладається у вузькоспеціалізованому виданні, а в інформаційний простір потрапляє тільки опис гіпотези.
Далі гіпотези про появу Місяця навколо Землі спрощуються в інформаційному просторі для розуміння суті гіпотези зацікавленим новинками читачем. Зацікавлений читач не вимагає доведення гіпотез, а довіряє авторитетові науковців.
Тепер поглянемо на результат спрощень. Перед нами намальовано Сонце. Навколо Сонця пунктиром позначена орбіта Землі. Навколо Землі пунктиром позначена орбіта, якою рухається Місяць. Все. Ця інформація потрапляє на стіл зацікавленому читачеві і в базу штучного інтелекту. Далі гіпотези про появу Місяця на орбіті навколо Землі формують статичне уявлення у читача. І в тренера штучного інтелекту.
Динаміка вимагає комплексного пояснення руху системи в просторі і часі: Сонце рухається в галактичній системі; Земля рухається не тільки навколо Сонця, але й постійно наздоганяє Сонце, тобто, орбіта Землі навколо Сонця не коло, а складна спіраль… Орбіта Місяця в цій динамічній системі руху взагалі виглядає загадковим «танцем навколо Землі»…
Звідси питання: хто із тренерів, якщо навіть він геній-математик, зможе безпомилково закласти в базу штучного інтелекту всі гіпотези появи Місяця на орбіті навколо Землі. Якщо не спиратися на авторитет науковців, авторів цих гіпотез?
Далі штучний інтелект рухається в інформаційному просторі вже самостійно і… І він орієнтується на: популярні гіпотези, які зустрічаються частіше; авторитетних науковців, яких цитують частіше; спрощені пояснення, які домінують над складними.
Тобто, вага гіпотези про появу Місяця на орбіті навколо Землі вже визначається не тренером (тренером людиною чи тренером штучним інтелектом – байдуже), а статистикою текстів у світовому інформаційному просторі.
Ще раз. Статистикою. Тією само статистикою, якою оперують брати Шумайлови.
В такій системі взаємовідносин світоглядів, які однозначно впливають на розвиток штучного інтелекту, неможливо гарантувати, що на якомусь етапі, замість обґрунтування гіпотези появи Місяця навколо Землі, раптом з’явиться "зелений кролик із рожевим хвостиком".
Але не тільки тому, що різні тренери нових моделей штучних інтелектів бачать в статуї Будди тільки витвір мистецтва чи божественне зображення.
Важливо побачити проблему з точки зору Гейзенберга…
…Система взаємовідносин людей з різними світоглядами, в якій народжується штучний інтелект – це тільки частина проблеми. Найбільшою проблемою тут може бути резонанс, як фізичне явище у динамічній системі взаємозв’язків між людьми, між людьми і штучним інтелектом, між різними моделями штучного інтелекту…
В уяві людини між штучним інтелектом і нею існує бар’єр у вигляді монітора комп’ютера. Але! Варто подумки зійти на рівень атомного ядра. Далі – до «стіни Бора». Вже там, біля «стіни Бора», звичний для нашого макросвіту жорсткий бар’єр зникає…
Ми звернули увагу тільки на невелику частку «специфічних джерел помилок, що накопичуються протягом поколінь та спричиняють відхилення від початкової моделі». Тільки на ту частку, яка формується генетичною свідомістю людини. Бо інтуїція з-за «стіни Бора» підказує, що суть проблеми з колапсом штучного інтелекту лежить не в основі процесу «невибіркового використання контенту, згенерованого моделлю, у навчанні», а в загальній системі, в якій формується будь-яка інформація і яка продукує подібні явища. У звичній для людини системі, яку людина перестала помічати.