Штучний інтелект без бар'єрів: інноваційна оптимізація LLM від експертки з NLP Олени Сокол

Олено, розкажіть про свій шлях в AI та ключові досягнення.

Я Machine Learning інженер з 7-річним досвідом. Зараз працюю Senior AI Engineer у Paysera, де створила систему автоматизованого перекладу на базі LLM. До цього в Samsung Electronics розробляла системи комп'ютерного зору та оптимізації коду з використанням нейромереж. Маю статус експерта на Kaggle - найбільшій у світі платформі змагань з data science та машинного навчання. Мій основний фокус - це розробка практичних AI-рішень, які реально допомагають бізнесу. Саме тому я зацікавилась оптимізацією великих мовних моделей - це дозволяє зробити передові AI-технології доступнішими для компаній будь-якого розміру.

У вашому дослідженні "Підвищення продуктивності доменно-спеціфікованої великомовної моделі за допомогою машинного навчання" (Improving Domain-Specific Large Language Model Performance Through Machine Learning) у журналі "Наука і техніка сьогодні" Ви представили інноваційний метод оптимізації LLM. Розкажіть, чому саме ця тема вас зацікавила?

Ця розробка із реального бізнес-кейсу в Paysera, де я займалася створенням багатомовної системи перекладу для 18 мов. Я зіткнулися з типовою проблемою - модель показувала хороші результати для поширених мов, але суттєво гірше працювала з менш ресурсними мовами, такими як грузинська чи естонська. Традиційні методи fine-tuning LLM вимагали значних обчислювальних ресурсів і великих наборів даних, що було економічно недоцільним для компанії. Протягом трьох місяців я працювала над розробкою нового методу оптимізації, який дозволяє досягати високої якості навіть на обмежених даних. В результаті вдалося створити рішення, яке потребує в 5-7 разів менше ресурсів при збереженні якості перекладу на рівні з найкращими наявними системами машинного перекладу зараз. Цей досвід ліг в основу мого наукового дослідження.

В чому унікальність вашого методу?

Ми об'єднали технологію Zero-Shot Learning з нечіткою логікою, що дозволяє моделі працювати з мінімальною кількістю навчальних даних. Наші тести на моделі BioBERT із використанням даних PubMed та A/B тестування продемонстрували скорочення витрат на збір і розмітку даних на 60-70%.

Як досягається така висока ефективність адаптації моделі?

Завдяки інтеграції варіаційного автокодувальника (VAE) та системи нечітких правил, модель здатна адаптуватися до нових задач без повного перенавчання. Модель автоматично створює та аналізує приклади нових типів даних, використовуючи їх схожість з вже відомими категоріями для прийняття рішень. Такий підхід економить до 80% часу та обчислювальних ресурсів при впровадженні нового функціоналу.

Можете навести конкретний приклад впровадження вашої технології?

Наприклад, для автоматизації обробки клієнтських звернень наш метод потребує лише 1,000-2,000 прикладів. Це дозволяє запустити систему за 3-4 тижні з бюджетом $5,000-8,000. При цьому система може швидко адаптуватися до нових типів звернень без необхідності повного перенавчання.

Як це співвідноситься з існуючими рішеннями на ринку?

Традиційні рішення, такі як Rasa чи DialogFlow, вимагають збору та розмітки мінімум 10,000 прикладів звернень, що займає 3-4 місяці та коштує близько $20,000. GPT-подібні моделі, хоч і потужні, потребують значних обчислювальних ресурсів, що виливається в щомісячні витрати від $15,000. Наше рішення дозволяє досягти подібної якості при значно менших витратах, що особливо актуально для українського ринку, де оптимізація витрат на технологічні рішення є критичним фактором.

Як ви бачите майбутнє LLM у бізнесі?

Ми на порозі значних змін. За прогнозами Gartner, через рік 75% бізнесів активно використовуватимуть LLM у своїй роботі. Особливо перспективним є розвиток спеціалізованих моделей – наприклад, для медицини, фінансів чи виробництва. Наше дослідження показує, що такі моделі можуть працювати ефективніше та коштувати в 3-4 рази дешевше, ніж універсальні рішення. По суті, ми робимо крок до того, щоб штучний інтелект став таким же звичним інструментом, як зараз електронна пошта чи офісні програми.

Які галузі можуть отримати найбільшу користь від вашої розробки?

Ми зосередились на трьох ключових сферах, де важлива точність при роботі з обмеженими даними. У медицині наша система дозволяє прискорити аналіз історій хвороб приблизно втричі за рахунок ефективнішої обробки наявних прикладів. У фінансовому секторі ми досягаємо автоматизації обробки клієнтських звернень використовуючи до 80% менше навчальних даних порівняно з традиційними рішеннями. Це особливо важливо для специфічних запитів, де важко зібрати велику кількість прикладів. У юридичній сфері наш підхід дозволяє розпочати роботу з аналізу документів маючи всього 1-2 тисячі прикладів, замість звичних 10-15 тисяч. Такі результати досягаються завдяки нашій технології, яка ефективніше використовує наявні дані та може адаптуватися до нових типів завдань без повного перенавчання.

Дякую за змістовну розмову. Приємно бачити, що українська наука робить такі важливі кроки у розвитку AI-технологій.

І вам дякую. Ми впевнені, що наша розробка допоможе багатьом компаніям зробити перший крок до використання штучного інтелекту. Особливо зараз, коли швидка цифрова трансформація стає ключем до успіху на ринку.