Joelle Pineau, wiceprezes Meta: Rozwój sztucznej inteligencji wymaga jasnych regulacji

Jeśli model AI nie będzie trenowany na danych europejskich, to będzie miał znacznie wyższy poziom halucynacji przy pytaniach, które zadają Europejczycy – mówi Joelle Pineau, wiceprezes ds. badań nad AI w koncernie Meta.

Publikacja: 27.09.2024 05:31

Joelle Pineau, wiceprezes Meta: Rozwój sztucznej inteligencji wymaga jasnych regulacji

Foto: mat. pras.

Meta podpisała się pod listem otwartym wskazującym, że duża niejasność w kwestiach regulacyjnych szkodzi badaniom nad sztuczną inteligencją w Unii Europejskiej. Tymczasem Unia wdrożyła niedawno tzw. AI Act, pierwsze kompleksowe przepisy w tym obszarze. Dlaczego nie są one dla was wystarczające?

AI Act zawiera wiele istotnych treści i nie kontestujemy całości tych przepisów. Jednak jeśli chodzi o wykorzystywanie danych do trenowania naszych modeli sztucznej inteligencji, to nie ma wystarczającej jasności regulacyjnej w tej kwestii w obecnie obowiązujących przepisach. Oczekujemy, że ta klarowność pojawi się w trakcie wdrażania przepisów. Jednak ich wdrażanie może zająć dużo czasu, modele są trenowane, a my nie mamy jasnych wytycznych dotyczących tego, co możemy, a czego nie możemy robić w kontekście trenowania tych modeli.

Dlatego będziemy przestrzegać przepisów AI Act i innych regulacji, ale docenilibyśmy znacznie większą ich klarowność, która ma teraz realne znaczenie. Mamy modele, takie jak Meta AI, które są już wdrażane na przykład w inteligentnych okularach w całej Ameryce Północnej, ale nie są dostępne tutaj, w Europie.

Również Llama 3.1, czyli wasz najnowszy model AI, nie jest obecnie dostępny w UE…

Nasze modele bazowe text-to-text, w tym Llama 3.1, zostały udostępnione globalnie jako open source. Natomiast multimodalny model Llama, który będzie miał premierę wkrótce, nie będzie dostępny w UE ze względu na nieprzewidywalną naturę europejskiego środowiska regulacyjnego. A przecież wiele z ważnej pracy nad tym modelem wykonane zostało przez nasz zespół w Paryżu. Szkoda, że użytkownicy w Europie nie mogą z niego korzystać.

Czytaj więcej

Sztuczna inteligencja? Polskie firmy: Na razie podziękujemy

Niektórzy mówią, że Ameryka dokonuje innowacji, Chiny te innowacje kopiują, a UE reguluje. Zgadza się pani z tym? Czy Europie grozi to, że stanie się obszarem zapóźnionym w kwestii sztucznej inteligencji?

Nasz list otwarty jest z pewnością zaproszeniem dla Europy do innowacji. Zachęca on Europę do przemyślenia, czy chce dokonywać innowacji, ale także do bycia świadomą parametrów, które do tych innowacji są potrzebne. Meta jest jedną z ponad 40 firm, organizacji i liderów w branży, które podpisały list. Większość sygnatariuszy ma siedziby w Europie. Uważam, że w Europie jest wiele niesamowitych talentów i wspaniałych pomysłów. Ale innowacja wymaga specyficznych warunków, szczególnej kultury, która sprzyja jej rozwojowi. Z drugiej strony, w pewnych kwestiach pojawiają się realne kompromisy, które trzeba rozważyć, decydując, jak ustawić pewne parametry. Brak jasności w regulacjach, jest natomiast jednym czynników spowalniających proces innowacji.

Widać to na przykładzie dostępności modelu Llama 3.1. Co w nim jest wyjątkowego?

Llama 3.1, w porównaniu do Llama 3, to znacznie większy model. Llama 3, który został wydany wiosną, miał około 70 mld parametrów, podczas gdy Llama 3.1 ma ich 405 miliardów. Ze względu na większą skalę, Llama 3.1 ma znacznie lepszą zdolność do rozumienia kontekstu, zwłaszcza języka. Dla firm, które chcą wykorzystać Llama do budowy asystentów programistycznych, aby zwiększyć produktywność swoich zespołów, zdolności kodowania w Llama 3.1 są znacznie lepsze niż w poprzednich modelach.

Jeśli natomiast chodzi o okulary Meta AI, to umożliwiają one także rozumienie obrazów. Na przykład, kiedy spacerujesz, mają zdolność do tłumaczenia znaków z angielskiego na niemiecki, polski i inne języki, co wcześniej nie było dostępne.

Dlaczego model Llama jest modelem typu open-source, czyli posiadającym kod dostępny dla wszystkich?

To sięga jeszcze czasów pierwszego modelu Llama, ale nawet wcześniejszych. Prace, które wykonujemy w FAIR (Facebook AI Research), od samego początku opierały się na zaangażowaniu w open source. FAIR zostało otwarte w 2013 r., a częścią naszej misji było prowadzenie badań na najwyższym poziomie w sposób otwarty, dostępny dla wszystkich.

Tworzenie otwartej pracy prowadzi do lepszych rezultatów, ponieważ dokonując innowacji w sposób otwarty, czerpiemy z wkładu całej społeczności. Tworzymy też bardziej bezpieczne i solidne rozwiązania, gdyż społeczność zajmująca się bezpieczeństwem szybko znajduje błędy w programach open source, co pozwala je naprawić.

Dla firmy takiej jak Meta lepiej jest znaleźć błędy w naszej pracy, czy to techniczne, czy związane z bezpieczeństwem, w modelu badawczym niż w produkcie komercyjnym. W przypadku Llama 1, na początku 2023 roku, zastanawialiśmy się, czy otworzyć model dla społeczności. Przeprowadziliśmy wiele rygorystycznych testów, aby sprawdzić, czy jakość modelu jest wystarczająca i czy odpowiedzialne jest jego udostępnienie. Zastanawialiśmy się, jakie potencjalne szkody mogą wyniknąć z jego użycia i czy jesteśmy w stanie je zminimalizować.

Ostatecznie, po ocenie bilansu korzyści i czynników ryzyka, uznaliśmy, że warto go udostępnić. Od czasu wydania Llama 1 mieliśmy 350 mln pobrań w różnych wersjach. Całe firmy opierają swoje oprogramowanie na Llama, budując na jego bazie innowacje. Myślę, że to bardzo mocny dowód na słuszność takiego podejścia. Dzięki temu jakość modeli open source bardzo szybko się poprawiła, i widzimy, że zaczynają doganiać jakość modeli zamkniętych. Llama 3.1 to moment, w którym naprawdę zaczynamy być konkurencyjni wobec takich modeli, jak Claude i GPT. To silne wsparcie dla tego podejścia w Meta na przyszłość.

Wielu ludzi obecnie eksperymentuje z programami opartymi na AI. Każdy, kto to robi, dostrzega, że programy te udzielają czasem bardzo dziwnych lub zadziwiająco błędnych odpowiedzi na pytania. To zjawisko jest nazywane „halucynacjami” AI. Co jest przyczyną tego problemu i czy da się go zminimalizować w przyszłości?

Jednym z kluczowych sposobów na rozwiązanie problemu halucynacji jest dobór danych, których używamy, co jest też częścią dyskusji na temat tego, jakie dane możemy, a jakich nie możemy używać. Zazwyczaj, gdy mówimy o danych, patrzymy na trzy główne aspekty. Pierwszym z nich jest ilość. Jeśli nie mamy wystarczająco danych lub gdy zwiększamy ich ilość, zauważamy, że halucynacje maleją. Istnieje silna korelacja między ilością danych a spadkiem halucynacji. Drugim aspektem jest jakość danych. Poświęcamy dużo czasu na upewnienie się, że dane wprowadzone do naszego modelu są wysokiej jakości i godne zaufania. Wraz z poprawą jakości danych poprawia się także jakość modelu, a halucynacje są redukowane. Trzeci czynnik to różnorodność, czyli to, czy mamy wystarczające pokrycie tematów w naszych danych. Jeśli zaczniemy pytać o tematy, o których model nigdy nie słyszał, to odpowie coś, niezależnie od tego, czy ma na ten temat dane. I tutaj dochodzimy do pytania, jak ustalimy regulacje dotyczące wykorzystania danych europejskich. Jeśli model nie jest trenowany na danych europejskich, będzie miał znacznie wyższy poziom halucynacji przy pytaniach, które zadaje europejska populacja. A nie ma sensu wypuszczać na rynek słabego produktu w Europie.

Wiele rządów mocno skupia się na ryzyku, że modele sztucznej inteligencji będą wykorzystywane do rozpowszechniania dezinformacji lub mowy nienawiści. Czy jednak nadmierna moderacja tych modeli nie zaszkodzi rozwojowi technologii AI?

Dostrzegamy takie ryzyko. Istnieje wiele sposobów, aby upewnić się, że „agent” nie powie nic złego. Oznacza to, że nie mówi prawie nic lub zawsze mówi banały, a w takim przypadku jest to produkt bardzo nudny. Widzimy to w odniesieniu do dezinformacji oraz do innych wektorów ryzyka. Mamy taksonomię ryzyka. Próbujemy się zastanowić, które czynniki stanowią naprawdę poważne ryzyko, a które znacznie łagodniejsze. Na przykład, coś takiego jak materiały przedstawiające seksualne wykorzystanie dzieci, stanowią bardzo poważne ryzyko – absolutnie nie możemy sobie pozwolić na przyjęcie tych danych. Materiały o charakterze dezinformacji są w niektórych przypadkach łagodniejsze, ale ich skutki mogą być dotkliwe. Dlatego staramy się mieć zniuansowane podejście do poziomu ryzyka i zwracać większą uwagę na rzeczy, które stwarzają większy potencjał wyrządzenia szkody w prawdziwym świecie.

CV

Joelle Pineau

Wiceprezeska ds. badań nad sztuczną inteligencją w firmie Meta. Jej badania skupiają się na tworzeniu nowych algorytmów i modeli do kompleksowej nauki. Te modele i algorytmy znajdują następnie zastosowanie w chatbotach, grach, robotyce i ochronie zdrowia. Pineau jest też profesorem na Uniwersytecie McGill, zasiada w radach publikacji naukowych: „Journal of Artificial Intelligence Research” oraz „Journal of Machine Learning Research”. ∑

Meta podpisała się pod listem otwartym wskazującym, że duża niejasność w kwestiach regulacyjnych szkodzi badaniom nad sztuczną inteligencją w Unii Europejskiej. Tymczasem Unia wdrożyła niedawno tzw. AI Act, pierwsze kompleksowe przepisy w tym obszarze. Dlaczego nie są one dla was wystarczające?

AI Act zawiera wiele istotnych treści i nie kontestujemy całości tych przepisów. Jednak jeśli chodzi o wykorzystywanie danych do trenowania naszych modeli sztucznej inteligencji, to nie ma wystarczającej jasności regulacyjnej w tej kwestii w obecnie obowiązujących przepisach. Oczekujemy, że ta klarowność pojawi się w trakcie wdrażania przepisów. Jednak ich wdrażanie może zająć dużo czasu, modele są trenowane, a my nie mamy jasnych wytycznych dotyczących tego, co możemy, a czego nie możemy robić w kontekście trenowania tych modeli.

Pozostało 90% artykułu
2 / 3
artykułów
Czytaj dalej. Subskrybuj
Czym jeździć
Technologia, której nie zobaczysz. Ale możesz ją poczuć
Tu i Teraz
Skoda Kodiaq - nowy wymiar przestrzeni
Media
Sukcesja w grupie Polsatu. Co się dzieje w Liechtensteinie i w Polsce
Media
W III kwartale kina straciły 25 proc. widzów
Media
Zygmunt Solorz odwołał synów z kluczowych firm
Media
Syn Zygmunta Solorza odwołany z rady nadzorczej Cyfrowego Polsatu