Esta semana, a internet chacoalhou com a notícia de que, segundo um funcionário da Google, o chatbot LaMDA, produzido pela empresa, seria senciente. O funcionário acabou afastado depois de suas declarações. O interessante é que uma discussão que está tão presente na filosofia veio à tona por conta disso tudo. Então, o que é que está por trás de desse debate?
A ciência cognitiva é uma área que vem crescendo desde os anos de 1950, e eclodiu bem perto da explosão também da inteligência artificial enquanto área de pesquisa. No início, a IA tinha como foco reproduzir as capacidades humanas. E não era tão difícil crer na viabilidade disso, porque se acreditava que o cérebro poderia ser feito de qualquer material que poderia, de todo jeito, gerar uma mente. Então, teoricamente, um “cérebro” de silício também seria capaz de dar origem a pensamentos, sentimentos, enfim, tudo que compõe a mente.
Com o passar do tempo, as experiências em IA e robótica mostraram que a coisa não era bem assim. Um pesquisador que ajudou a mostrar que a distância entre humanos e máquinas era grande, e que ainda haveria um longo caminho pela frente até que se pudesse instanciar a inteligência humana em sistemas artificiais, foi Hubert Dreyfus. Ele trabalhou no MIT bem próximo a cientistas da computação engajados nessas pesquisas. E era ele quem colocava questões que certamente irritavam os programadores, mas que eram certeiras!
Por exemplo: como um computador poderia prever as milhares de coisas que poderiam acontecer em dada situação da vida cotidiana? Nós conseguimos rapidamente mudar a nossa maneira de agir dependendo do contexto em que nos encontramos: se algo cai no chão, pegamos de volta, colocamos em cima da mesa; se algo se parte, colamos; se alguém se machuca ou chora de repente, vamos acudir. Já sistemas artificiais precisam de mudanças extensas e detalhadas em todo o seu código quando algo muda. Eles não compreendem contextos. Também não compreendem certos atributos simples da vida cotidiana, que fazem parte do senso comum. Tipo: quando atendemos ao telefone, dizemos alô – ou “tô”, se for em Portugal; a pessoa do outro lado responde; combina-se de sair para um bar em alguma rua perto da casa dessas pessoas. O computador precisa de mais do que um simples “Então, vamos lá hoje?” para “entender” o que se passa.
É que na verdade a máquina não “entende”nada, de fato! Todas as informações que as pessoas envolvidas na conversa vão conhecendo ao longo da vida e vão incorporando em seu repertório – o que significa alô, o que é um bar, onde ele fica, de que bar estão falando, o que significa vamos lá etc. etc. – o computador precisa receber como inputs (até mesmo a informação de que duas pessoas são pessoas, conversam ao telefone, o que é telefone, o que é conversar etc. etc., já pensou?!). Isso precisa estar na programação do sistema. E, mesmo assim, o computador efetivamente não saberá nada: ele vai manipular aquelas informações, mas elas não vão significar nada para ele.
E a filosofia no meio de tudo isso?
A filosofia é uma área que investiga a inteligência humana, a cognição, a mente, a consciência. Para isso procura, antes de tudo, entender como se pode compreender ou conceituar cada uma delas. A maneira como se conceitua algo, afinal, faz muita diferença para os debates. Para pensar se uma IA pode ser consciente ou não, se é senciente ou não, cabe perguntar: o que é ter consciência? O que é senciência?
Há pesquisadores, por exemplo, que buscam na biologia as raízes para se compreender a mente humana. Para eles, a mente é como uma extensão da vida; onde há vida há atividade mental. Consequentemente, onde não há vida não há mente. Também, se não há mente, não há sentimentos ou experiência. Por essa lógica, se robôs não são seres com vida biológica, não poderiam ter consciência ou senciência, nem sentir ou experimentar nada.
Esses pesquisadores acreditam, ainda, que a mente humana inclui muito mais do que o cérebro: o corpo como um todo constitui a mente. E é com a nossa atividade corporal, em acoplamento direto com o mundo natural, que vamos descobrindo e entendendo o que há no ambiente que nos cerca: assim é que fazemos sentido daquilo que está a nossa volta. Esses pesquisadores a que me refiro são estudiosos da cognição enativa. Alguns dos nomes mais importantes da área são Ezequiel Di Paolo, Hanne De Jaegher e Evan Thompson. Na minha tese de doutorado, eu abordo machine learning e enativismo. Se quiser saber mais, clica aqui.
Veja também o post especial no Instagram: @algoritmosfera
Você provavelmente conhece alguém que se casou com uma pessoa que conheceu pelo Tinder, OKCupid ou outro app de relacionamentos. Talvez esteja cansado ou cansada da sua vida de solteiro/a e esteja até pensando em dar uma chance para um desses aplicativos, ou já é usuário ativo e engajado. Quem sabe aparece alguém bacana? Pode ser. Mas você já parou para pensar em como funcionam esses apps?
Tudo o que você faz quando está logado/a num app como o Tinder serve para que esse app lhe traga possíveis matches. Até mesmo as suas mensagens “privadas” trocadas com os possíveis “candidatos” a dates entram na análise de dados dos algoritmos. E não é só o que você faz dentro do aplicativo que alimenta a base de dados desse software. Por exemplo, se você topa sincronizar as suas contas de redes sociais como o Instagram, elas passam a servir também como fonte para que o app “conheça” você melhor e dê as suas flechadas para ajudar na busca pelo grande amor. Tudo em que você clica nessas redes é detectado, rastreado e armazenado para ser devorado pelos sistemas de machine learning por trás desses apps.
Claro que, como esses aplicativos são parecidos com álbuns de figurinhas em que o usuário avalia o que lhe chama a atenção, são as características físicas aparentemente mais desejadas que vão criando filtros para que sejam mostrados perfis de acordo. Além disso, a opinião comum dos usuários, no sentido da percepção conjunta, também é levada em consideração. Isso significa que as preferências e similaridades entre usuários são usadas para fazer recomendações. E isso pode ser bem estranho.
Como funciona a “filtragem colaborativa”?
Vieses, preconceitos e a circularidade em que você acaba preso
“A maioria (dos aplicativos de relacionamentos) depende de uma combinação de preferências declaradas – o que você diz ao app que pretende num parceiro, seja explicitamente nas suas definições ou implicitamente através de engajamento – e de algo chamado filtragem colaborativa. Isto significa que uma aplicação procura padrões a partir das pessoas a quem os utilizadores disseram sim ou não, e depois tenta perceber como se assemelham a outros utilizadores para fazer previsões sobre quem vai acabar por gostar de quem. É semelhante à forma como o TikTok seleciona vídeos para você ver e a Amazon empurra você para as compras” (fonte: Wired)
Sabe os preconceitos e vieses que existem no discurso das atrações em geral, no mundo não virtual, mas físico mesmo? As características físicas que costumam ser enaltecidas nos filmes, no Instagram, no TikTok, enquanto outras são marginalizadas? Então. Essas tendências acabam ainda mais fortalecidas quando os algoritmos entram em jogo, especialmente a partir desse mecanismo que citei, da captura de percepções coletivas. Se você dá “like” em determinadas pessoas, com certas características, acabam aparecendo para você mais e mais pessoas com aquelas mesmas características, e menos com outras; mas isso é pior quando os algoritmos se baseiam não exatamente em você para fazer isso, mas em pessoas que eles consideram parecidas com você.
Isso gera uma circularidade que pode acabar lhe mantendo longe de pessoas que poderiam ser interessantes para o seu perfil.
Tem uma outra questão: todo mundo tem direito a mudar de ideia, e assim as nossas preferências podem simplesmente mudar no decorrer do tempo. Enquanto as pessoas podem mudar rápido, os algoritmos demoram um bom tempo para incorporar essas mudanças.
Para além da atração física
Na minha opinião, o problema maior de deixar os cupidos virtuais acertarem suas flechas por você é que nesses apps entram em jogo apenas a aparência física e aqueles gostos mais superficiais, que estão ao alcance dos algoritmos. Claro que muitos relacionamentos começam mesmo com uma troca de olhares baseada em aparência e atração física. Mas, e aqueles elementos que não conseguimos bem dizer de onde vêm, e às vezes são arrebatadores, decisivos para ficarmos com alguém? Quantas vezes acabamos na cama com um sujeito ou sujeita que nunca imaginávamos, ou nos vemos beijando uma boca absolutamente imprevisível – e gostando?! Amigos, pessoas com quem temos afinidades, trocas de ideias mágicas e com quem de repente nos vemos envolvidos.
Será que os algoritmos nos levariam a encontros assim, ou nós mesmos acabaríamos nos traindo, selecionando apolos e afrodites que são colírios para os olhos mas não dizem nada à alma?
Claro que há aí também uma boa dose do componente sorte. A roleta do amor gira em todos os lugares, e pode girar – e até acertar! – na algoritmosfera, também. Mas será que as nossas chances de nos dar bem não diminuem já que os algoritmos deixam de “ver” tanta coisa – e não são capazes de sentir nada? Ainda por cima, corremos o risco enorme de ter decepções como aquela de adorar uma casa online e, ao visitá-la pessoalmente, achar péssima…
Aliás, sobre os desapontamentos, uma notícia ruim: eles acontecem com muita frequência. O Tinder e o Grindr estão na lista dos apps que mais deixam as pessoas tristes!
Parece que as minhas intuições sobre por que os apps de dates falham tanto estão na direção certa. Eis algumas hipóteses sobre isso (com informações deste link):
Sistemas de machine learning operam estritamente a partir daquilo que lhes é fornecido. Alguns elementos são altamente previsíveis, enquanto outros não são. E ainda não se sabe exatamente de onde a atração vem, como destaca a pesquisadora Samantha Joel, da Western University, no Canadá, que investiga a maneira como as pessoas tomam decisões relacionadas ao amor.
Quando tentamos analisar os fatores que realmente pesam para nós, enquanto tentamos entender o que sentimos por alguém, podemos sentir vergonha dos fatores que nos são atraentes ou até mesmo ser completamente inconscientes a respeito de uma certa preferência que temos.
Se questionados sobre fatores que nos atraem, podemos, por exemplo, dizer que é o nível de escolaridade de alguém ou até declarar que altura é um fator inegociável; e aí, quando encontramos as pessoas na vida real, aparentemente mudamos tudo. Quem disse que nunca namoraria alguém que não fez faculdade se apaixona por um artista que aprendeu fazendo, e quem disse que nunca ficaria com alguém baixinho se apaixona pelo Charles Chaplin.
Enfim! Quando se trata de amor, nós mesmos não nos conhecemos direito, então… como os algoritmos haveriam de dar conta desse recado extremamente espinhoso?
Ainda assim, é preciso arriscar. Então, independentemente da loteria em que você vai jogar, desejo-lhe sorte. Ops, mas dizem que é sorte no jogo e azar no amor… então, melhor não jogar na Mega Sena. Vai que você ganha. Como ficará o amor? Você não vai querer alguém que só esteja interessado na sua conta bancária, né? Pois os algoritmos conhecem o estado da nossa saúde financeira também. Temos que ser cautelosos 😉
Concluí uma pós-graduação lato sensu (tipo MBA) em Marketing Digital em 2008. À vezes me perguntam se a pós não ficou “datada”, uma vez que os processos relativos ao mundo digital mudam rapidamente. Não, a pós não ficou datada, porque eu aprendi sobre a lógica de muitos processos, e essa lógica está valendo.
Por exemplo, as boas práticas de arquitetura de informação: a gente aprende, observa, põe em prática – como fiz com projetos como o do Acervo O GLOBO (2010 a 2014), a intranet da Oi (2014 a 2016) e venho fazendo mais recentemente com trilhas de aprendizagem online, por exemplo. Os recursos mudam, as ferramentas e plataformas se diversificam, mas os pressupostos se mantêm.
Outro exemplo: a lógica dos links patrocinados/das mídias pagas versus o SEO orgânico; boa parte dessa lógica vem de quando ainda trabalhava com Yahoo!, antes de trabalhar com Google AdSense… e usava Statcounter e não Google Analytics!
O que se preconiza como bons resultados para a navegação de um site pode mudar, de acordo com os KPIs (Key Performance Indicators) estabelecidos para cada projeto/empresa – por exemplo, o tempo que um usuário passa, em média, navegando num site: pode ser desejável que passe horas e horas, se for um site de e-commerce, ou que passe ‘voando’ pelas páginas, se for um site com informações sobre atendimentos médicos urgentes. No segundo caso, o sucesso está em levar informação rápida ao usuário para salvar vidas, enquanto no primeiro a ideia é tornar a experiência agradável, sem pressa e mostrando o máximo de opções possíveis. Aplica-se então o que se sabe sobre as boas práticas a cada caso específico, e avalia-se as métricas para ver se o empenho resultou como desejado. E por aí vai.
A lógica vale para SEO, Arquitetura da Informação, acessibilidade, user experience, CRM, webwriting etc.
Acho importante, porém, o seguinte: a lógica geral da comunicação pode não ter mudado muito, porque os paradigmas sobre os quais a Web se apoia estão mantidos. Mas… agora temos a dimensão do machine learning e do big data. São muitas e profundas camadas de dados que temos que tratar e gerir. Claro, nem todos os sistemas, sites, apps estão neste momento alavancados por #machinelearning. Mas as redes sociais e os sites de busca estão, e isso mexe com os sites e apps que se encontram inseridos nesse contexto maior. Afeta os caminhos que são feitos para se chegar a eles; afinal, os algoritmos “decidem” (com muitas aspas) muita coisa por nós.
A inteligência artificial cada vez mais permeia e influencia nossas vidas. Afeta decisões das mais relevantes: quem pode conseguir um empréstimo ou financiamento, quem deve conseguir um emprego ou ser demitido, quem deve ser preso. Conecta indivíduos em apps de relacionamentos, podendo influenciar nos rumos sentimentais das vidas das pessoas, também.
Diante da presença crescente da IA em nossas vidas, cresce também a importância de compreender o que significa vivermos entrelaçados a sistemas que se alimentam dos nossos dados. Por isso, crescem as preocupações com os riscos a que potencialmente somos expostos.
Há uma mobilização enorme para que se analise esses riscos e para que sejam mitigados.
Nesse contexto, são preocupantes os mecanismos opacos de tomada de decisão embutida em sistemas algorítmicos.
Transparência é importante quando se trata de sistemas de #IA. A questão da transparência aparece nos documentos do AI HLEG – the European Commission’s High-Level Expert Group on Artificial Intelligence, de 2018.
“Os modelos de negócios baseados em dados, sistemas e AI devem ser transparentes: mecanismos de rastreabilidade podem ajudar nisso. Além disso, os sistemas de IA e suas decisões devem ser explicados de uma maneira adaptada às partes interessadas. Os seres humanos precisam estar cientes de que estão interagindo com um sistema de IA, e devem ser informados acerca das capacidades e limitações desse sistema”, diz documento do AI HLEG de 2019.
Vou mais além e defendo, com base em teorias da cognição em que venho me aprofundando no doutorado, que “interação” é humano-humano; quando lidamos com sistemas de IA temos uma troca, mas não é exatamente uma “interação” como seria uma interação social. Há algo que só humanos têm, ainda bem 😉
No artigo acadêmico disponível neste link, o qual inspirou este meu post, há uma discussão interessante sobre “variedades de transparência” em sistemas de IA. Foi escrito por Gloria Andrada, Robert Clowes e Paul Smart.
Audrey escreveu um livro sobre os antecedentes das “máquinas de ensinar” que existem atualmente: “Teaching Machines”, lançado em 2021 pela MIT Press. Ela escolheu falar sobre o passado para nos fazer refletir sobre o futuro.
Como Watters comentou, para compreender as tecnologias e a nossa relação com elas é preciso olhar para a história, para o passado, não apenas para o futuro. Ao motivar-se para escrever esse livro, ela estava interessada em saber como chegamos até aqui. Sentia-se incomodada com a falsa sensação de que “de repente a tecnologia educacional surgiu”, como se fosse “do nada”. Não podemos desconectar o passado do que o futuro é e de como o futuro será.
“I see behaviorism everywhere”, Watters disse se referindo ao filme “O Sexto Sentido”. B. F. Skinner é muito atual quando se trata de como concebemos a aprendizagem ainda hoje. A ideia de que se deve recompensar os estudantes imediatamente ela aprendizagem “bem sucedida” continua atualizada, e tem tudo a ver com o behaviorismo. Ainda somos fortemente orientados a esse processo de recompensa. Basta olhar ara o nosso comportamento online, evidente na dependência tecnológica que temos desenvolvido. Quando rolamos a tela do celular ávidos pela próxima informação ou aguardamos ansiosamente por novas mensagens, o que queremos, de certo modo, é ser recompensados.
“Não vejo a tecnologia como os vetores das mudanças, mas as pessoas”, disse Audrey. Concordo super com ela.
Este post é um complemento à aula que dei no XI Curso de Verão do INCOg/PUC-Rio sobre a Tese da Mente Estendida. Coloquei aqui os links, imagens, vídeos e inspirações que usei na apresentação, para que ficassem disponíveis para quem deseja saber mais.
A aula está disponível no vídeo a seguir.
O que vemos quando olhamos para uma obra de arte, um quadro, uma pintura, é o resultado de muitas tentativas e erros, trabalhos e retrabalhos. Esboços. Rascunhos. E, mesmo depois dos rascunhos, a obra de arte em si é constituída a partir de muitas camadas.
A tese da mente estendida desenvolvida por Andy Clark nos convida a ter essa perspectiva da mente e da cognição humana, como se estivéssemos sempre fazendo um processo de tentativa e erro para entender o mundo e as coisas que acontecem com a gente e em torno de nós. A abordagem nos leva a entender a formação da mente humana em camadas, que vamos adicionando na medida em que experimentamos as mais diversas atividades de estar no mundo e de conhecer o meio.
Abaixo há uma série de referências e vídeos para quem deseja saber mais sobre a tese e descobrir como a atividade mental humana é mais ativa, fluida e imaginativa do que talvez pudéssemos conceber:
No livro DESEDUCANDO A EDUCAÇÃO: MENTES, MATERIALIDADES E METÁFORAS, lançado por um grupo de professores do Departamento de Educação da PUC-Rio (prof. Ralph Bannell, Mylene Mizrahi e Giselle Ferreira) em 2021, há um capítulo que se chama Para além do cérebro nu. Trata-se da tradução do capítulo 8 do livro Mindware, de Andy Clark. Este capítulo é fundamental para compreender mais sobre as ideias que apresentei no Curso de Verão do INCOg (em breve posto o vídeo da apresentação aqui);
O livro pode ser baixado gratuitamente no site da Editora PUC-Rio http://www.editora.puc-rio.br/
2. A artista que aparece pintando, e cujas imagens usei para ilustrar a questão das camadas na pintura, é canadense e se chama Lori Mirabelli. Assista a este vídeo completo dela e ouça as explicações sobre as camadas; mesmo para quem nao é artista, é o maior barato acompanhá-la mostrando esse processo interessantíssimo:
3. O livro cuja capa aparece no quarto slide é o “Oxford Handbook of 4E Cognition”, editado por Albert Newen, Leon De Bruin e Shaun Gallagher; saiba mais sobre a publicaçãoaqui.
4. O livro em que Andy Clark aprofunda a questão das previsões cerebrais e como elas se acomodam com sua teoria da mente estendida se chama Surfing Uncertainty – Prediction, Action and the Embodied Mind e você pode saber mais sobre ele aqui.
5. Abaixo está o vídeo completo sobre as previsões cerebrais, cujos trechos apresentei na minha aula. O vídeo é ótimo, o único inconveniente é que não tem legendas em português (e nem mesmo em inglês). Mas vale a pena assistir – e você pode usar o recurso de abrir a transcrição do vídeo e depois traduzi-la num tradutor online, se precisar. A aula do vídeo é dada por Anil Kumar Seth, professor britânico de Neurociência Cognitiva e Computacional na Universidade de Sussex.
6. O desenho de Otto e Inga, reproduzido abaixo, foi feito por Helen de Cruz, filósofa e artista, e faz parte de uma série de ilustrações que ela fez para tentar materializar visualmente experiências filosóficas. Esses desenhos incríveis podem ser vistos neste link aqui.
7. A imagem abaixo, que achei poderosa para ilustrar a ideia de andaimes introduzida por Clark para abordar as extensões da mente, está numa matéria da Scientific America apropriadamente intitulada How Room Designs Affect Your Work and Mood.
8. A imagem do post, lá em cima, e que abre a apresentação, eu achei aqui
9. A apresentação em Power Point está disponível aqui
10. Referências Bibliográficas da apresentação/aula:
CLARK, A.; CHALMERS, D. The extended
mind. Analysis, 58
(1), p. 7-19, 1998.
CLARK, A. Para além do cérebro nu. In Bannell, R.
I., Mizrahi, M.,
Martins dos
Santos Ferreira, G. (Orgs.) (Des)educando
a
educação: Mentes, Materialidades e Metáforas. Tradução de Camila De Paoli
Leporace. Rio de Janeiro: PUC-Rio, 2021.
CLARK, A. Being there: putting brain, body,
and world together again.
Cambridge, MA: MIT Press, 1998.
_________. Natural-Born Cyborgs. Minds,
Technologies and the Future of Human Intelligence, New York: Oxford University Press,
2003.
_________. Supersizing the mind: embodiment,
action, and cognitive extension. Oxford: Oxford University Press, 2011.
_________. A. Mindware. Cambridge: MIT Press, 2014.
DELLERMANN, D., EBELl, P.,
SÖLLNER, M., & LEIMEISTER, J. M. (2019). Hybrid Intelligence. Business
andInformation
Systems Engineering, 61(5),
637–643. https://doi.org/10.1007/s12599-019-00595-2
GALLAHER, S. Philosophical Antecedents of
Situated Cognition. In: ROBBINS, Philip, e AYDEDE, Murat. The
Cambridge Handbook of Situated Cognition. Cambridge University Press, 2009.
NEWEN, A,; DE BRUIN, L.; GALLAGHER, S. The
Oxford Handbook of 4Es Cognition. New York: Oxford University Press,
2018.
ROBBINS, P., e AYDEDE, M. The
Cambridge Handbook of Situated Cognition. Cambridge University Press, 2009).
RUPERT, R. Cognitive Systems and the Extended
Mind. New
York: Oxford University Press, 2009.
SOEKADAR, S., CHANDLER, J., IENCA, M.,
& BUBLITZ, C. (2021). On The Verge of the Hybrid Mind. Morals
& Machines, 1(1),
32–45. https://doi.org/10.5771/2747-5182-2021-1-32.
Você já se perguntou por que o design daquele site que deveria ser ótimo é tão ruim? Definitivamente, uma má experiência do usuário com um site nem sempre acontece porque a equipe de User Experience/Arquitetura de Informação precisa ser trocada. Veja como o Facebook e a Amazon irritam quando precisamos achar algo como desativar a nossa conta. É tão ruim ou pior do que cancelar a NET.
O que acontece é que a experiência está sendo boa para alguém que não é você, mas a empresa por trás daquele site. Estou falando dos chamados “Dark Patterns“, que são estratégias e maneiras de apresentar o conteúdo e de conduzir o usuário por um website que, em vez de ajudá-lo, o confundem. A experiência é desastrosa, mas o usuário faz o que a companhia quer, e então… bem, a meta está batida.
Quando fiz minha pós em Marketing Digital em 2008, uau, User Experience era realmente sobre deixar o usuário feliz. Era sobre tornar as coisas mas simples para o usuário, deixar a navegação intuitiva, levá-lo ao conteúdo que ele precisa acessar. As coisas mudaram muito na internet nos últimos anos. Quer dizer, não precisa ser assim. Há empresas e empresas. Dark Patterns me lembram as técnicas de “Black Hat SEO”, que eram códigos inseridos nos sites para que chegássemos até eles por meio das buscas; mas, quando chegávamos, os sites não tinham o que esperávamos. Uma frustração, porém isso ajudava a impulsionar os números de visitas e visitantes dos sites.
Hoje, técnicas aplicadas para que os usuários tomem decisões que beneficiam as companhias, em vez de beneficiarem aos usuários, têm uma ajudinha extra: a aprendizagem de máquina. Nossos dados ao infinito, processados por redes profundas com uma capacidade nunca vista antes de aproveitar esses dados para produzir mais dados ainda.
No entanto, a internet não é, ou não deveria ser, uma terra sem lei. A experiência que a gente tem navegando em sites, fazendo buscas etc deveria ser, efetivamente, boa. E, se todas as empresas na internet competem pela sua atenção, algumas deixam suas intenções mais claras, outras preferem te empurrar na direção que elas desejam. Saber o que está acontecendo a nossa volta nos ajuda a cobrar serviços melhores e isso inclui sites que funcionam pelo ponto de vista dos usuários, não somente das empresas. A quem trabalha com internet, bem, acho que vale se questionar: você deixou de ser consumidor para ser designer, arquiteto de informação, programador, empresário, empreendedor? Não. E você gostaria de encontrar Dark Patterns pela sua frente ao tentar fazer coisas que clientes fazem em sites de empresas?
Precisamos de uma WWW democrática. Uma rede de conexões reais no espaço virtual.
Esta semana, recebi de diversas pessoas o vídeo que alardeia aquilo que na prática todos temos notado: a nossa navegação na Web é completamente rastreada pelo Facebook. Se você acessou um site e viu algo de que gostou mas não se lembra direito qual foi, esqueceu o nome etc, pode usar o histórico do seu navegador para reencontrá-lo ou… pode usar o histórico do Facebook. Vá em Configurações > Sua atividade no Facebook > Atividade fora do Facebook e verá que está tudo lá.
O Facebook está se tornando a própria World Wide Web, que não é mais tão vasta, ampla ou grande no melhor sentido da coisa e, diga-se de passagem, está cada vez mais chata, comercial e robotizada – no sentido literal. O que temos é um território mapeado, em que um chip com nossos logins (na forma de app do Facebook) funciona como uma espécie de arco íris que leva ao tesouro: nossos dados.
O problema nao está só no Facebook. Até porque ele está acompanhado da Amazon, Google, Apple. E alguns podem dar de ombros e dizer que esse rastreamento das lojas e sites que visitamos, em particular, pode nem ser tão preocupante, apenas irritante.
Mas é fato que, pela nossa sanidade, pela longa vida às artes, à filosofia, à política, ao cinema, às reais trocas de ideias, precisamos de uma internet democrática. Uma World Wild Web, isto é, uma Web “selvagem” no bom sentido, ampla de fato, democrática, capaz de se abrir à vastidão da natureza humana, dos nossos desejos e sonhos, ajudando-nos a criar e a fortalecer nossas reais conexões. Para usar esse termo busco como referência o pesquisador Edwin Hutchins, autor de Cognition in the Wild, este livro aqui. A ideia é a de analisar a cognição humana em seu habitat natural, a natureza, a cultura, as relações sociais, em vez de fazer isso apenas em laboratórios/ambientes controlados – o que poderia levar a uma dimensão bem mais fiel dos nossos processos cognitivos.
Penso enquanto escrevo numa Web que reflita as múltiplas realidades que vivemos, que se conecte melhor com o mundo que habitamos e que construimos todos os dias, em vez de apenas tentar construir esse mundo para nós – fazendo-o puramente devotado à venda, um palco em que se discute basicamente o que vale mais e quanto se quer pagar. Um mercado das pulgas em que as pulgas somos nós (isso é pior ainda do que ser as os cacarecos à venda – ou não…). Sim, eu sei que o mundo “real” também o coloca o capital acima de tudo, mas é exatamente por isso que precisamos mudar a Web (e o mundo) antes que o mundo que a Web tenha para refletir seja exatamente esse mundo chato e vazio como ela!
Um exemplo: para um músico “independente” – uma classificação que considero um tanto falha (por vários motivos) mas que apenas quer dizer no senso comum um artista que faz seu próprio percurso sem esperar as grandes gravadoras/o mainstream etc (o que acho louvável) – usar o YouTube para divulgar seu trabalho tornou-se praticamente impossível. Se tem dúvidas, converse com um deles e confira a odisseia que é ter um canal e conseguir alguns míseros seguidores., mesmo que você tenha uma carreira consolidada, muitos fãs, muitos shows no currículo e muitos álbuns lançados. As redes sociais que usamos são mainstream. Elas criam o seu próprio mainstream. O problema é que elas definem as prioridades e descartam o que não é prioridade para elas. Os “grandes” seguem “grandes”, com muitas aspas, e os “pequenos”… os pequenos que lutem.
Esse é só um exemplo. Se você nunca estranhou o alcance ínfimo de uma determinada publicação sua no FB quando esperava muitos likes, é porque provavelmente só posta gatinhos. O FB adora gatinhos. Aliás, aposto que Zucker fez algo de bom, pelo menos, que foi popularizar os gatos e fazer mais pessoas adotá-los, porque agora parece que todos têm gatos. O FB adora gatos porque as pessoas passam HORAS vendo vídeos de gatos.
Voltando à Web democrática: ela era a ideia original de Tim Berners Lee, mas simplesmente não aconteceu. Mas ele não desistiu: Tim tem uma startup chamada Inrupt e está trabalhando por uma nova estrutura de rede, chamada SOLID. A ideia é repensar a maneira como aplicativos armazenam e compartilham dados pessoais. Para isso, em vez de armazenar dados em servidores de uma empresa que se interessa apenas em lucrar a partir deles, os usuários teriam um pequeno servidor exclusivo, localizado no Solid, um servidor grande. O problema dessa história é que ela parece levar ao problema do regresso infinito, isto é, Berners-Lee acabaria por ter os dados de todos armazenados em seu mega servidor com vários mini servidorezinhos; mas ele diz que não, que os dados estariam somente no servidor de cada um. De todo modo, as motivações de Tim me parecem sem dúvida melhores do que as de Zucker e sua turma, que não sabem mais onde colocar seu dinheiro. E continuam querendo faturar mais e mais às custas não apenas da nossa privacidade como do esvaziamento total da graça que a internet um dia teve, quando prometia ser a terra da criatividade que representava uma real alternativa ao caminho até então monótono do broadcasting.
Berners-Lee e o CEO (odeio estas siglas) da empresa dele – que não é ele, mas sim um cara chamado John Bruce – não esperam que o modelo descentralizado que estão tentando materializar desmorone as tech giants num passe de mágica, como bem lembra este artigo aqui da Wired. Até porque Zucker e os amigos não querem largar o osso carnudo dos nossos dados. O que a dupla Berners-Bruce quer é lançar uma alternativa, que possa se popularizar ao menos entre quem está preocupado com tudo isso que estou expondo neste texto e anseie por uma rede mais bacana, mais leve, aberta e criativa. Não sei exatamente como isso vai funcionar, se vai funcionar, mas esse caminho me parece bastante interessante e pretendo acompanhar. Sugiro que façam o mesmo. Até porque o problema não é apenas você gostar de hambúrguer com cheddar, e ficar toda hora aparecendo hambúrguer com cheddar para você nos anúncios na “sua internet”. O problema é que assim você vai viver num mar de hambúrgueres de cheddar com pequenas variações (com ou sem cebola…) em vez de conhecer um mundo que também tem hotdogs, pipocas doces, salsichas alemãs, saladas, pizzas ou seja o que for.
É bom pensar nisso antes que sua pressão arterial saia do controle.
Navegando pela rede, você certamente já se viu diante de anúncios de algo que andou procurando, como se o seu navegador tivesse “adivinhado” o que você queria. Ou já recebeu uma sugestão de filme ou série que a Netflix achou que seria “a sua cara”…
(Bem, nem sempre funciona tão bem…)
… pois os nossos dados têm sido utilizados em sistemas de machine learning para fazer previsões e identificar tendências.
Muito se tem falado sobre as potencialidades do big data para a educação. Para quem não está familiarizado com o termo, trata-se dessas “coleções maciças de dados” (segundo os autores do artigo Tecnologias digitais na educação: a máquina, o humano e os espaços de resistência; clique para ler) que são geradas na medida em que navegamos por sistemas digitais e deixamos os nossos rastros nessas plataformas.
O que isso pode significar quando se trata de educação? A pergunta ainda é uma caixa preta, mas é preciso um esforço para abri-la.
Apesar do oceano de implicações positivas que vêm sendo apontadas para o uso de machine learning e de big data na educação, é preciso ir devagar com esse andor porque o santo é de barro. O que (vem sendo propagado que) o big data promete?
Quando se trata do uso de plataformas de aprendizagem baseadas em machine learning, basicamente o que se destaca é que, tendo mais informação sobre o desempenho e o ritmo individual de cada aluno, se poderá oferecer conteúdos mais apropriados à sua aprendizagem, no tempo e na sequência mais adequados para cada um. Com isso, se alcançaria “melhores” resultados, aproveitando ao máximo as potencialidades de cada aluno, resolvendo problemas e dificuldades que eles eventualmente tenham etc. Parece perfeito – e alinhado ao discurso da tecnologia como panaceia para tudo aquilo que se tem tentado solucionar na educação há tantos anos. Bem, esse, em si, já é um indício de que é preciso olhar para o tema com mais atenção.
Um exemplo, tirado deste livro aqui, intitulado Learning with Big Data – The Future of Education, é o rastreamento do comportamento de alunos em relação a vídeos de palestras numa plataforma online de atividades: é possível saber quando eles assistem aos vídeos, quando pausam, se aceleram para ver mais rápido, se os abandonam antes de terminar de assistir. Com base na identificação desses padrões, professores poderiam ajustar lições, decidir reforçar conceitos que aparentemente os alunos não entenderam bem ou mudar a maneira de explicar determinado assunto, por exemplo.
Mas, isso quer dizer que esteja ocorrendo um processo de aprendizagem melhor, realmente? Antes, aliás, isso significa que está ocorrendo, de fato, aprendizagem? O discurso costuma ser de que sim, mas… essa é uma conclusão que não se deve apressar.
Um artigo do New York Times – ‘The Machines Are Learning, and So Are the Students’ (“As Maquinas estão aprendendo, e também os alunos”), de Craig Smith, publicado em dezembro do ano passado – já no título traz um pressuposto enviesado para o uso de inteligência artificial na forma de machine learning: a ideia de que as máquinas aprendem. Mais audaciosamente, indica que os alunos estão aprendendo, também, graças a essas máquinas e sua suposta sagacidade. Smith diz:
Slowly, algorithms are making their way into classrooms, taking over repetitive
tasks like grading, optimizing coursework to fit individual student
needs and revolutionizing the preparation for College Board exams like
the SAT. A plethora of online courses and tutorials also have freed teachers
from lecturing and allowed them to spend class time working on problem
solving with students instead.
Aqui, já vemos uma outra face do discurso: para além de individualizar o ensino, o uso de sistemas baseados em algoritmos poderia poupar os professores de tarefas como avaliar seus alunos e até de dar aulas expositivas (hum… alguém perguntou aos professores se eles querem parar de dar suas aulas?), podendo usar o tempo para trabalhar com seu alunos em “resolução de problemas”. Perceba que o discurso é sempre de usar melhor o tempo, aprender melhor, mas, não se sabe o que esse “melhor” de fato significa. Com frequência, a ideia adjacente é a de que o professor pode ser substituído, ao menos em certas atividades (tão diferentes quanto dar aulas expositivas e corrigir avaliações…).
Em outro trecho, que reproduzo a seguir, o jornalista aponta pesquisas (sem especificar quais) que teriam mostrado a superioridade de tutores na forma de inteligência artificial em relação a tutores humanos. Isso se daria porque “o computador é mais paciente” que o professor, além de mais insightful – o que poderia significar ter ideias melhores ou ser mais criativo (?)
Studies show that these systems can raise student performance well
beyond the level of conventional classes and even beyond the level achieved by
students who receive instruction from human tutors. A.I. tutors
perform better, in part, because a computer is more patient and often more
insightful.
Será?
Num cenário em que predomina o discurso sobre os efeitos positivos da inteligência artificial na educação, esse artigo é apenas um exemplo. São muitos os que trazem algo nessa mesma linha.
Somente com estas breves referências que apontei até aqui, já abrimos uma infinidade de questões a serem postas em xeque tanto sobre o uso efetivo da IA na educação na forma de [machine learning + big data] quanto sobre o discurso. Predomina uma argumentação acrítica e pasteurizada, que costuma assinalar os ganhos sem pesar as possíveis consequências advindas do uso massivo de dados.
Não se procura saber, nem mesmo, o que são esses dados. Isto é, o que quer dizer, efetivamente, o tempo que um estudante levou para fazer uma lição? Quando esse tempo é fornecido a partir do rastreamento da atividade desse aluno, ele não parece dizer muita coisa. O que realmente aconteceu com o aluno durante o tempo em que ele estava logado? Não somos meros logins, somos pessoas, num determinado espaço, em determinado momento. Talvez não possamos ser representados somente por números.
De volta para o futuro
Mesmo que se pudesse prever todas as adversidades envolvidas em dada situação cujo objetivo é o ensino e a aprendizagem, aí já está um x da questão: a previsão. Especialistas com um olhar crítico à IA na educação vêm indicando que isso pode gerar um passado cristalizado e prender os alunos a um futuro rígido, imutável.
Uma vez que o machine learning trabalha a partir de tais previsões, já que se utiliza de dados gerados pelos estudantes para que, com esses dados, possa identificar tendências, há o risco de os estudantes se tornarem eternamente atados ao seu passado – carregando uma espécie de mochila pesada de históricos escolares detalhados a seu respeito que nunca são esquecidos e podem permanecer acessíveis por mais tempo do que seria desejável.
Seu futuro lhes faria vítimas das previsões justamente baseadas em dados estáticos, os quais podem não corresponder mais à sua realidade. Somos, afinal, seres em constante transformação e evolução. Envolvidas nisso há diversas implicações, especialmente, para a privacidade dos alunos – já que os dados podem ficar acessíveis para fins questionáveis, o que pode prejudicar sua vida profissional e pessoal.
Neutralidade tecnológica?
De onde vêm os dados gerados a partir da atividade dos alunos em uma plataforma baseada em machine learning? Dados não surgem por acaso, não são espontâneos e nem existem por si só. Eles surgem nas interações entre alunos e máquinas, e essas interações são limitadas pela maneira como o sistema é construído, pelo que se espera dele, pelo que é injetado em seus algoritmos. Isto é, dados emergem a partir de decisões tomadas no desenvolvimento dos algoritmos para os sistemas de IA utilizados nas plataformas.
Nesse desenvolvimento, priorizam-se determinados aspectos em detrimento de outros.
Fatalmente, também por sua vez, os resultados obtidos trarão consigo a priorização de certo aspectos e não de outros. Um problema relevante, por trás disso, é que frequentemente somos avaliados por fórmulas secretas que não compreendemos, como ressalta a matemática Cathy O’Neil. Se o que se avalia não fica claro, é certo que, como O’Neil explica: “Para construir um algoritmo, são necessárias duas coisas: dados – o que aconteceu no passado – e uma definição de sucesso, aquilo que estamos procurando e pelo que estamos geralmente esperando”.
A definição de sucesso adotada estará instilada nos algoritmos. A suposta neutralidade tecnológica não existe...
Vieses
Pode-se facilmente compreender como pode haver (e há, muitos) vieses em algoritmos quando se trata do preconceito racial em alguns sistemas de reconhecimento facial, por exemplo. Esses são casos contundentes e que têm adquirido notoriedade, tornando-se o centro de preocupações éticas concernentes ao campo.
A IBM afirmou que abandonaria pesquisa em reconhecimento facial por conta das implicações éticas e da falta de regulamentação – Leia
Na educação, mencionei questões sobre a privacidade dos dados dos estudantes e ao fato de os sistemas não serem claros quanto às variáveis relacionadas ao que é avaliado. Mas, ainda não falei dos professores. Há também iniciativas que procuram avaliá-los a partir de big data, com consequências que merecem (muita!) atenção.
Em sua palestra no TED, O’Neil cita a diretora de um colégio no Brooklyn que, em 2011, disse a ela que sua escola estava avaliando os professores a partir de um algoritmo complexo – e secreto. A diretora relata que tentou conseguir a fórmula para entender os critérios envolvidos naquela avaliação, mas o que ouviu da secretaria de educação foi que não adiantava lhe explicar porque ela não entenderia, já que se tratava de matemática.
Conclusão (conheça a história no TED): professores daquela escola foram demitidos por causa da tal fórmula secreta, uma caixa preta que a diretora tentou abrir, sem sucesso.
Como O’Neil destaca, o poder de destruição de um algoritmo projetado de maneira equivocada é imenso, e essa destruição pode se arrastar por bastante tempo. Mas, quando o assunto é uma modelagem envolvendo algoritmos, o pior de tudo é a falta de transparência. Por isso ela cunhou o termo “armas de destruição matemática”.
Não somos somente pontinhos em um grande mapa de dados… (Imagem: Maria Bobrova @ Unsplash)
O big data na educação é uma caixa preta devido à dificuldade, em geral, de entendimento do que a inteligência artificial, na forma do machine learning, significa ou pode significar para processos educacionais. E se torna ainda mais obscura quando, sem que se conheça os critérios utilizados, alunos e educadores sejam submetidos a avaliações e análises frequentemente injustas; e o pior, sem poder contestá-las.
O’Neil dá vários exemplos de como o uso indevido de dados tem prejudicado pessoas em variadas situações. Para entender isso melhor, é preciso olhar para a noção de modelo; o que é um modelo e por que ele pode se tornar uma arma de destruição matemática? Explicarei isso em outro post.
Agradeço à Giselle Ferreira, professora da PUC-Rio que está ministrando uma disciplina sobre big data e educação este semestre, pelos ricos debates que tanto colaboraram com insights para que este(s) post(s) fossem escritos. Leia o blog dela, no qual é possível obter uma perspectiva crítica sobre as tecnologias educacionais: https://visoesperifericas.blog/
