Jack Williams sobre iTero, GIANTX e o futuro do coaching de IA em esportes eletrônicos

Então: produto e retenção em primeiro lugar. Em segundo lugar, a GIANTX deu-nos uma vantagem real como organização espanhola com fortes laços com Espanha. Quase todo o nosso crescimento veio da América Latina de língua espanhola e da Espanha continental. Quando ingressamos na organização, cerca de 20% dos nossos usuários falavam espanhol – agora são cerca de 70%. Se eu listasse nossos cinco principais países por usuários, cada um deles seria principalmente de língua espanhola – Espanha, e acredito que Argentina, Chile, México e mais um na América Latina.

ESI: Acho que você está certo…

Jack: O que conseguimos fazer foi apoiar-nos na nossa própria comunidade: uma empresa cheia de falantes de espanhol com redes genuínas de língua espanhola, para crescer organicamente. Entramos em contato com criadores de conteúdo locais, geralmente pequenos, e trabalhamos com eles em um nível pessoal: “Aqui está a ferramenta, experimente você mesmo, diga-nos honestamente o que você pensa. Não vamos pedir que você exagere. Se você realmente não gosta dela, não vamos trabalhar juntos. Mas se há partes que você gosta, faça um vídeo sobre isso.” Esse tipo de posicionamento orgânico de produto tem um desempenho muito melhor do que um anúncio com script que apenas atinge os pontos de discussão do marketing. Se os criadores gostam genuinamente do produto, eles falam bem sobre ele.

Terceiro, a GIANTX tem seus próprios canais internos de conteúdo educacional – renomeados algumas vezes. Não sei os números exatos, mas estamos falando de centenas de milhões de impressões anuais nesses vídeos – dicas, truques, “como você deve reproduzir isso”, esse tipo de conteúdo. Esse conteúdo naturalmente se presta à promoção do produto: “Aqui está a versão ideal para este patch – se você quiser saber a versão ideal a qualquer momento, baixe o aplicativo.” Colocação muito natural através de canais que já possuímos.

ESI: EU lembre-se – e posso estar parafraseando o texto exato – que a política da Riot impede que ferramentas de terceiros criem uma vantagem injusta que os jogadores não teriam de outra forma. Você já teve essa questão levantada ou teve que retirar um recurso porque a Riot disse não?

Jack: Com a Riot, temos muito cuidado com eles. Provavelmente somos os mais conservadores dos aplicativos de terceiros: se a Riot nos diz para não fazer algo, ou se o texto é ambíguo, nós simplesmente não fazemos isso, porque permanecer do lado certo da Riot é importante para nós. Dada a nossa conexão com o eSports, estamos profundamente enraizados no ecossistema da Riot e não queremos comprometer isso. Também queremos que os jogadores confiem no aplicativo – você não quer que alguém o baixe e se pergunte se ele é funcionalmente semelhante a um aimbot. Portanto, evitamos totalmente quaisquer recursos de área cinzenta; só construímos o que é claramente permitido.

As próprias palavras da Riot não são especialmente precisas – sua política de ferramentas de terceiros diz que as ferramentas não podem fornecer uma “vantagem competitiva”, mas esse é um padrão confuso. Tecnicamente, classificar um site de estatísticas por taxa de vitórias e escolher o melhor campeão também é usar os dados disponíveis para tomar a melhor decisão – o que também é uma vantagem competitiva, por essa lógica. Na minha opinião, o que seria realmente injusto é trazer à tona informações que não são acessíveis pela interface do próprio jogo – extraindo do código subjacente do jogo, capturando eventos que não deveriam ser visíveis e exibindo-os de maneiras que a Riot não sanciona.

Às vezes, as decisões da Riot são um pouco arbitrárias, mas nós apenas as seguimos. Por exemplo, temporizadores de feitiços de invocador – um elemento simples da interface do usuário em que você clica quando alguém usa o Flash, mostrando uma contagem regressiva até que ele volte a funcionar – eram bastante padrão em todas as ferramentas. A Riot decidiu que não os queria mais no ecossistema, então removemos os nossos. Geralmente permanecemos conservadores e, se a Riot nos pedir para mudar alguma coisa, faremos isso imediatamente.

ESI: Como você vê isso mudando à medida que a tecnologia continua a crescer e se desenvolver?

O que ficará mais interessante é quando for mais difícil para a Riot impor esse tipo de controle. No momento, eles me controlam principalmente por meio do acesso à API — se eu perturbar a Riot, eles retiram meu acesso à API e eu não tenho mais um aplicativo. Isso é um impedimento significativo.

Mas as ferramentas que executam modelos avançados de IA diretamente no monitor do jogador, gerando seus próprios dados através da leitura de recursos visuais do jogo em vez de usar a API, são muito mais difíceis de controlar. Essa é uma direção genuinamente preocupante. Talvez menos em League, mais em títulos FPS.

Você pode acabar com algo rodando de forma invisível, não no computador, mas efetivamente lendo o monitor, proporcionando uma vantagem injusta que é muito difícil de detectar. Por exemplo, um monitor de última geração pode ser capaz de identificar exatamente onde a cabeça de alguém está na tela ou fornecer instruções que um jogador não teria de outra forma. Esse é um espaço preocupante para a integridade competitiva. Mas, de modo geral, continuamos mais conservadores do que o estritamente necessário, especificamente para permanecer nas boas graças da Riot.

ESI: Você já se preocupou com a possibilidade de alguém copiar seu recurso, devido à falta de proteção de IP?

A UI é fácil de replicar agora com ferramentas de codificação de IA. Alguém pode capturar uma captura de tela de uma IU, alimentá-la com um modelo de IA e pedir para recriar a interface. O que é verdadeiramente difícil, ou mesmo quase impossível hoje, é recriar os modelos preditivos por trás disso. Esses resultados vêm de muito treinamento, muitos dados e muito tempo. Isso pode se tornar mais fácil para a IA replicar eventualmente, e provavelmente mais cedo do que as pessoas esperam, mas a partir de hoje, você pode copiar nossa UI – você não pode copiar a inteligência subjacente.

ESI: Como funciona estar integrado em uma organização de esportes eletrônicos? Você ainda oferece serviços para outras equipes profissionais ou a confiança se torna um problema devido à sua afiliação à GIANTX?

Jack: Não – trabalhamos inteiramente dentro da GIANTX, incluindo nossa equipe LEC e nossa equipe da liga espanhola (LVP), e estenderíamos a quaisquer outros títulos em que competiremos daqui para frente. Somos apenas internos. Há uma demanda real lá fora. Equipes com orçamentos modestos adorariam uma ferramenta como essa para encontrar jogadores subvalorizados, mas por enquanto não a abrimos para outras equipes, apenas por razões de integridade competitiva. Qualquer equipe com orçamento para pagar por algo assim é uma equipe que provavelmente enfrentaremos em algum momento, então por enquanto a resposta é não, embora isso possa mudar no futuro.

ESI: O seu modelo tenta levar em conta fatores menos quantificáveis ​​– inclinação do jogador, ganância, tendências que não aparecem de forma clara nos dados finais da partida? Você divide as coisas por fases iniciais do jogo e até que ponto a modelagem vai no nível competitivo?

Jack: Exatamente por causa dos problemas que você está descrevendo, tendemos a nos limitar à fila solo – ela é muito mais adequada para modelagem preditiva de IA. Há muito mais dados e você evita o ruído de, digamos, um resultado Fnatic-vs-G2 em um patch com dois rascunhos específicos. Há muito pouco a aprender com um único dado como esse. Na fila solo, você pode observar o mesmo rascunho ou similar repetido em high elo muitas vezes e tirar conclusões reais.

A maior parte do que Itero faz no dia a dia é análise de fila solo, em vez de previsão de jogo profissional. Você está certo ao dizer que o número de variáveis ​​envolvidas na previsão do jogo profissional é enorme – mesmo com dados perfeitos, você provavelmente terá um limite de precisão de 80 a 85%.

E mesmo uma vantagem modesta, digamos, 15% de chance de uma reviravolta, ainda ocorrerá pelo menos uma vez em uma divisão se um time jogar dez partidas. 15% parece baixo, mas em partidas suficientes ele ainda aparece. Existem todos os tipos de histórias, não apenas nos esportes eletrônicos, mas também no futebol, de pessoas que encontram correlações espúrias.

Isso pode assumir a forma de rastrear a atividade de um jogador no Instagram, status de relacionamento, qualquer coisa. Perseguir um “limite” muitas vezes é apenas ruído. Qualquer um pode fazer com que um dado diga quase qualquer coisa se ignorar causalidade versus correlação.

ESI: O seu modelo alguma vez contradisse a teoria preliminar estabelecida – indo contra o que é considerado “meta” – e acabou mudando a própria meta? Ou geralmente reforça o que já é aceito?

Jack: Do lado positivo, não quero exagerar a nossa influência. Essas decisões realmente cabem aos treinadores. Quaisquer decisões ou inovações notáveis ​​​​são da responsabilidade da comissão técnica e dos jogadores; Eu não diria que remodelamos o meta LEC. Onde você provavelmente notaria um padrão é na fila solo. À medida que mais pessoas usam a ferramenta, mais jogadores participam de confrontos objetivamente favoráveis.

Estamos agora num nível de penetração de mercado onde isso é visível nos dados: mesmo em alto elo, onde o uso é comparável em todo o espectro elo, mais rascunhos estão sendo escolhidos de forma otimizada do que antes da existência da ferramenta.

Isso fica interessante em um nível mais profundo, no entanto. Se o draft ideal se tornar tão difundido, através de nós ou de ferramentas concorrentes, que todos possam prever “se eu escolher X, eles escolherão Y”, os jogadores começarão a procurar um terceiro movimento: escolhas flexíveis ou escolhas fora do meta.

Digamos que você seja um jogador top de Vayne, e toda vez que você escolher Vayne top, você sabe que o oponente escolherá um contra-ataque forte como Teemo, você pode começar a trocar de papéis no meio do lobby com mais frequência: “Fui contra-escolhido novamente, vamos mudar – eu vou Vayne ADC, outra pessoa assume o controle.” Portanto, há potencial para esse tipo de interrupção.

Especificamente do lado positivo, acho que nossa abordagem de escotismo tem sido mais interessante. O que fizemos foi identificar jogadores que são fundamentalmente muito bons no jogo mecanicamente e, em seguida, construir apoio técnico em torno deles.

Isso é o oposto da antiga abordagem de escolher jogadores simplesmente porque eles estão no cenário há anos, sabem como lidar com scrims, vivem o estilo de vida de “jogador profissional” ou conseguem lidar com a pressão do palco. Essa abordagem limita você a um pequeno grupo reciclado de jogadores “conhecidos”.

Não estávamos interessados ​​nisso. Procuramos alguém fundamentalmente forte no jogo, o que não significa necessariamente o jogador da fila solo com melhor classificação. A habilidade classificada não se traduz automaticamente em um bom desempenho no palco. Não apenas classificamos por LP e escolhemos o nome principal. Mas construímos um sistema que identifica os jogadores que provavelmente terão um desempenho fundamentalmente forte no palco, trazê-los independentemente da formação e construir os sistemas de apoio em torno deles.

Jackie é nosso melhor exemplo. Ele não vinha de uma equipe LFL ou EU Masters altamente competitiva. Nós o encontramos por meio dos dados, o trouxemos, construímos os sistemas em torno dele, e agora ele é genuinamente nosso MVP nessa função, como resultado de uma abordagem que prioriza os fundamentos, em vez da tradicional observação de esportes eletrônicos.

ESI: Do ponto de vista da experiência do jogador – pré-jogo, dentro do jogo, pós-jogo – qual estágio você acha que é mais importante para alguém que está tentando melhorar? As pessoas usam isso principalmente como uma sobreposição de escolha e seguem em frente, ou as pessoas estão se envolvendo de forma significativa com os relatórios pós-jogo? Você rastreia os padrões de uso para ver quais comportamentos se correlacionam com a maior melhoria?

Jack: É estranho, porque idealmente você mediria pela taxa de vitória, mas a ferramenta é essencialmente projetada para levar todos de volta a uma taxa de vitória de 50% ao longo do tempo. Jogue melhor com a ferramenta e você subirá no elo até se estabilizar novamente – isso é apenas uma realidade estatística.

Portanto, os ganhos da ferramenta tendem a ser de curto prazo por natureza, mas reais. O que sabemos: quando alguém começa a usar a ferramenta, sua taxa de vitórias aumenta como base. E se você seguir de perto as recomendações dos campeões, sua taxa de vitórias aumentará significativamente no curto prazo.

Estamos falando de um aumento de aproximadamente 6%. Isso parece modesto, mas sustentado ao longo do tempo, é o suficiente para passar de, digamos, Ouro para Platina apenas seguindo a sugestão principal de forma consistente.

O atrito principal não é realmente um problema, é mais uma escolha que os jogadores fazem: as pessoas não gostam de jogar sempre exatamente com o mesmo campeão recomendado. Se você for a primeira ou a segunda escolha, a recomendação principal costuma ser semelhante ao que foi sugerido no jogo antes, já que pouca coisa mudou. Talvez você conheça um companheiro de equipe e algumas escolhas inimigas, mas a menos que isso afete diretamente seu confronto na rota, a recomendação não muda drasticamente. Então as pessoas procuram variedade. Isso significa diminuir a ponderação de “priorizar taxa de seleção meta”, por exemplo, para trazer à tona mais opções fora do meta.

O exemplo mais claro é a nossa ponderação de maestria de campeão. Por padrão, ele leva em consideração quanta experiência você tem em um campeão, o que é ideal para vencer. Deixado na configuração padrão, você ganhará mais. Quase todo mundo reduz para zero, tipo, “Não me importo com minha experiência, apenas me diga a melhor escolha”, então um campeão aleatório aparece pela primeira vez na classificação e perde.

Tudo bem, honestamente; o jogo não é apenas para pessoas que tentam otimizar sua escalada. Algumas pessoas querem apenas se divertir e usar isso para descobrir novos campeões. Fundamentalmente, é difícil afirmar que a ferramenta “atinge” uma determinada taxa de vitórias, porque a maioria das pessoas voluntariamente a define como menos ideal, porque isso é mais agradável.

ESI: Para onde você vê o coaching de IA indo em jogos e esportes eletrônicos de forma mais ampla? Você acha que isso se tornará padrão, algo que os próprios editores constroem, e isso poderia ajudar a nivelar o cenário competitivo global?

Jack: Essa é uma pergunta carregada, então deixe-me tentar desempacotá-la. Primeiro: acho que é inequivocamente bom para o envolvimento no jogo em geral, totalmente separado dos esportes eletrônicos. Se League of Legends existisse sem nenhum cenário de esportes eletrônicos, ferramentas como essa ainda tornariam o jogo melhor? Eu acho que sim. E quer isso venha de terceiros como nós ou de editores que a constroem, acho que esta categoria continuará crescendo e melhorando, esperançosamente em uma direção saudável.

Meu ponto de referência favorito é chess.com. É muito bom deixar o jogo inteiramente por sua conta – sem sugestões de movimentos, sem treinamento ao vivo, sem leitura de probabilidade de vitória enquanto você joga. Mas o treino pré-jogo e principalmente a análise pós-jogo são excelentes. Essa é realmente a direção que eu gostaria que os jogos seguissem: deixar mais claro por que você perdeu, para que pareça menos arbitrariamente frustrante.

A parte mais difícil do LoL, se você estiver jogando algumas partidas por dia com uma taxa de vitórias de 51% – o que é genuinamente bom, e eventualmente fará com que você suba, é que cada jogo individual ainda parece próximo de um cara ou coroa, o que é desmoralizante no momento.

O que essas ferramentas permitem é dar aos jogadores algo em que trabalhar que não seja simplesmente “ganhar ou perder”. Temos um treinador macro que analisa seus jogos recentes e diz, por exemplo, “nos últimos cinquenta jogos, aqui está o erro que você cometeu com mais frequência” – para que você possa direcionar seu tempo de treino deliberadamente.

Digamos que o padrão seja: você ganha a pista, mas perde experiência consistentemente entre a marca de 14 e 21 minutos. Você pode ir para o próximo jogo focado especificamente em melhorar esse número, e isso lhe dá uma sensação de controle sobre sua própria melhoria, independentemente de os outros nove jogadores naquele jogo fazerem com que você ganhe ou perca. Você pode perder o jogo e ainda assim se sentir bem com isso, porque a coisa específica em que você estava trabalhando – não desperdiçar sua vantagem inicial – na verdade melhorou. Isso é fundamentalmente melhor para o jogo e para o jogador.

Especificamente para os esportes eletrônicos, isso diminuirá a distância com a Ásia? Provavelmente não, em grande parte porque se trata de questões económicas e de financiamento. Se o seu mercado regional não gerar receitas suficientes, não será possível reinvestir em melhorias e será muito difícil recuperar o atraso.

Não vou fingir que tenho a resposta para consertar a economia dos esportes eletrônicos europeus. Todo mundo sabe que é um ambiente difícil. Fundamentalmente, estas ferramentas custam dinheiro, tal como bons treinadores, bons jogadores, boas instalações. Mesmo coisas como uma academia e um treinador de desempenho vinculado a uma equipe apresentam benefícios mensuráveis. Vimos isso nos dados, e o mesmo acontece com o monitoramento do sono e o trabalho de bem-estar do jogador. As equipes europeias podem arcar com tudo isso? Não. A mesma lógica se aplica às ferramentas de IA. Se você não tem dinheiro para construí-lo, não poderá se beneficiar tanto dele.

Isso melhorará a todos com o tempo? Sim. Vimos isso no futebol, na NFL, no beisebol, no basquete, não importa o esporte. A IA ajuda as equipes a melhorar. Mas ajuda todos a melhorar de forma aproximadamente proporcional, de modo que a lacuna relativa não diminui necessariamente. Provavelmente ainda estaremos perdendo para a Coreia daqui a dez anos. Poderemos ter um bom modelo de IA até então, mas provavelmente terão um melhor.

ESI: Então, parece que o treinamento no jogo é algo que você deseja evitar?

Jack: Mencionei isso com o exemplo do xadrez. Nem todos no mercado compartilham dessa visão, então será interessante ver como a Riot lida com isso à medida que as ferramentas se tornam mais capazes.

É aí que as ferramentas do jogo começam a se voltar para a trapaça assistida por IA, em vez do treinamento legítimo. Já vi um exemplo: um “marcador fantasma” que mostra um ícone no mapa no último local em que um Campeão foi visto, mesmo depois de ele não estar mais visível. Isso é efetivamente lembrar informações de posicionamento para você. Isso está bem além dos limites, na minha opinião. Quase tudo além dos recursos básicos de comparação de estatísticas que já temos – como “como sua fazenda se compara ao jogador médio em seu elo” – começa a cruzar esse território.

Havia outro que usava comandos de voz – literalmente dizendo: “vá fazer o Dragon agora”, “vá fazer o Barão agora”. Isso pareceu um passo claro demais, especialmente quando eles usaram vozes de personalidades reconhecíveis do esporte para isso. Divertido como uma novidade, mas já passou dos limites.

ESI: Com focos de melhoria, como o exemplo de rastreamento de XP de 14 a 21 minutos, os jogadores alguma vez se ajustam a essa métrica específica? Tipo, melhorar seu próprio número de XP enquanto sua equipe desmorona em todas as outras pistas. Existe o risco de que focar tanto nas métricas de desempenho individual prejudique o jogo geral da equipe e a taxa de vitórias?

Jack: Eu também me preocupei com isso, honestamente. O que realmente vimos é quase o oposto. Jogadores que jogaram milhares de jogos desenvolvem hábitos muito fixos, e a parte mais difícil é quebrar essa rotina.

Se pudermos transformar temporariamente um fazendeiro dedicado em um ganker, mesmo que por alguns jogos, acho que isso será positivo. Mesmo que eventualmente voltem ao antigo estilo de jogo, porque adquiriram uma nova habilidade ao longo do caminho.

A mesma lógica de um jogador de suporte no CS que de repente joga como entrada por um período: mesmo que volte para o suporte depois, ele ganhou algo com a experiência e provavelmente entenderá melhor esse estilo de jogo ao enfrentá-lo também. Não há problema se um jogador supera os índices em uma área de melhoria em alguns jogos e mergulha em outra, isso faz parte do aprendizado de equilibrar isso. Quando eles voltam ao seu estilo habitual, eles carregam consigo essa habilidade extra.