Ocena pracowników technicznych przez LLM spalaniem tokenów – błędna metryka

Ocena pracowników technicznych przez LLM spalaniem tokenów – błędna metryka

Oglądałem spotkanie zespołu, na którym ktoś przechwalał się osiągnięciem symbolicznego kamienia milowego, a oklaski brzmiały pusto. Można wyczuć zmianę, gdy liczba na pulpicie staje się wskaźnikiem wydajności; czułem się nieswojo, obserwując, jak talent jest wymieniany na przepustowość. To było jak zdobywanie punktów poprzez rzucanie konfetti, które kosztuje fortunę.

Od lat śledzę, jak zespoły mierzą pracę związaną z uczeniem maszynowym. Teraz wewnętrzne tabele liderów, które pokazują, kto spala najwięcej tokenów LLM, wyciekają z prywatnych kanałów Slack do ocen wyników w miejscach takich jak Meta i Shopify, zgodnie z felietonem Kevina Roose’a w New York Times. Powinieneś się tym przejmować, ponieważ to, co jest liczone, kształtuje sposób, w jaki ludzie spędzają swój czas.

W Meta menedżerowie nagradzają pracowników, którzy intensywnie korzystają z narzędzi A.I.

To konkretna obserwacja, którą zgłosił Roose: wolumen tokenów jest częścią ocen. Zachęta jest oczywista – dostawcy i fundusze VC lubią wskaźniki wzrostu – ale zwróć uwagę na zachowanie, które te zachęty wywołują.

Kiedy konsumpcja tokenów staje się KPI, nie tylko uzyskujesz bardziej efektywne podpowiedzi i gotowe funkcje. Otrzymujesz również szybkie, chaotyczne eksperymenty, wskaźniki zastępcze zastępujące miary wyników, a ludzie grają w system. Może to wyglądać efektywnie na tablicy wyników i być marnotrawstwem w bilansie.

Inżynier w OpenAI podobno użył w tym roku 210 miliardów tokenów.

Liczby mają tu znaczenie, ponieważ opowiadają o skali. Roose mówi, że 210 miliardów tokenów to mniej więcej 33 Wikipedie tekstu.

Tego rodzaju zużycie sygnalizuje dwie rzeczy: po pierwsze, moc skonsumowanych agentów i łańcuchów jest w końcu wystarczająco tania, aby nasycić przepływy pracy; a po drugie, tworzy to perwersyjny wyścig zbrojeń. Inżynierowie i zespoły produktowe gonią za liczbą tokenów tak, jak aplikacje społecznościowe gonią za zaangażowaniem – aż wskaźnik przestanie odpowiadać rzeczywistej wartości.

Czy pracownicy techniczni są oceniani na podstawie liczby używanych tokenów?

Tak, w niektórych firmach. Zobaczysz tabele liderów, szturchnięcia menedżerów i bezpośrednie odniesienia do użycia tokenów w rozmowach o wynikach. To już wyszło poza garstkę startupów i dotarło do dużych pracodawców, gdzie menedżerowie używają wykresów tokenów, aby podwyżki i awanse wydawały się oparte na danych.

Claude Code i OpenClaw wzmacniają zachowanie wewnątrz zespołów.

Claude Code wprowadził kanały przyjazne dla urządzeń mobilnych – kontrolki Telegrama i Discorda – dzięki czemu możesz wysyłać wiadomości z telefonu, a fani traktują platformy agentów, takie jak OpenClaw, jako nowy sposób pracy.

Ten duszek homara lub kraba, którego Thariq wrzucił do promocji, staje się kodem dla permisywnego wydawania tokenów. Kiedy twój asystent jest dostępny z telefonu, łatwiej jest do niego zadzwonić i mniej kuszące jest zadawanie pytania, czy w ogóle trzeba było dzwonić.

W jaki sposób firmy śledzą zużycie tokenów LLM?

Poprzez API, pulpity nawigacyjne użycia i wewnętrzne narzędzia, które agregują wywołania do modeli takich jak GPT-5.4, Claude lub ramy agentów, takie jak OpenClaw. Telemetria platformy pokazuje tokeny na żądanie, długość sesji i skumulowane sumy – tę samą telemetrię, którą twój menedżer może podłączyć do tabeli liderów.

Własne wskaźniki OpenAI stały się częścią publicznej narracji: Greg Brockman ogłosił, że GPT-5.4 osiągnął 5 bilionów tokenów dziennie i roczny wskaźnik przebiegu na poziomie 1 miliarda dolarów (920 milionów euro) w nowych przychodach netto. Ten nagłówek mówi inwestorom, że maszyny są zajęte; nie mówi ci, czy to zajęcie kupuje wartość klienta.

Szwedzki inżynier mówi, że jego firma wydaje więcej na jego tokeny Claude Code niż na jego pensję.

Ten cytat to mikro-historia źle dopasowanych zachęt: firmy, którym odpowiadają wysokie wydatki na API, mogą normalizować ogromne koszty na osobę.

Jeśli twój pracodawca traktuje tokeny jako wskaźnik wzrostu, a nie linię kosztów, otrzymujesz tokenmaxxing: ludzie wykonują tak wiele wywołań, jak to możliwe, ponieważ tabela wyników to nagradza. To jak ocenianie szefów kuchni na podstawie tego, ile patelni rozbiją – dramatyczne, widoczne i ostatecznie nieprzydatne dla smaku.

Nie chcę demonizować narzędzi. Agenci i modele o dużej objętości są potężnymi siłami automatyzacji i kreatywności, gdy są używane z rozeznaniem. Ale kiedy liczba tokenów staje się zarówno tablicą wyników, jak i wypłatą, otrzymujesz kulturę, która ceni szybkość ponad osąd, sygnały ponad wyniki i szum ponad narrację.

Firmy dążące do skali poprzez surowy wolumen tokenów będą musiały zadać trudniejsze pytania: czy kupujemy ulepszenia produktu, czy tylko wypełniamy logi drogimi pogawędkami? Powinieneś im też to zadać – i zadaj to głośno, gdy twoja następna ocena wyników będzie zależeć od tabeli liderów.

Czy zamieniamy rzemiosło techniczne w konkurs na to, kto może wydać najwięcej, czy w pracę, która rzeczywiście służy klientom?

Wesprzyj naszą pracę ❤️

Jeśli spodobał Ci się ten artykuł, rozważ pozostawienie napiwku, aby pomóc nam dalej publikować wartościowe treści.

Bezpieczna płatność przez PayPal
Zobacz także:  Sekretarz Skarbu USA grozi sankcjami chińskim laboratoriom AI za kradzież własności intelektualnej
Moyens I/O Staff zmotywował Cię, udzielając Ci porad na temat technologii, rozwoju osobistego, stylu życia i strategii, które Ci pomogą.