Os novos cupidos: os apps e seus algoritmos

Você provavelmente conhece alguém que se casou com uma pessoa que conheceu pelo Tinder, OKCupid ou outro app de relacionamentos. Talvez esteja cansado ou cansada da sua vida de solteiro/a e esteja até pensando em dar uma chance para um desses aplicativos, ou já é usuário ativo e engajado. Quem sabe aparece alguém bacana? Pode ser. Mas você já parou para pensar em como funcionam esses apps?

Tudo o que você faz quando está logado/a num app como o Tinder serve para que esse app lhe traga possíveis matches. Até mesmo as suas mensagens “privadas” trocadas com os possíveis “candidatos” a dates entram na análise de dados dos algoritmos. E não é só o que você faz dentro do aplicativo que alimenta a base de dados desse software. Por exemplo, se você topa sincronizar as suas contas de redes sociais como o Instagram, elas passam a servir também como fonte para que o app “conheça” você melhor e dê as suas flechadas para ajudar na busca pelo grande amor. Tudo em que você clica nessas redes é detectado, rastreado e armazenado para ser devorado pelos sistemas de machine learning por trás desses apps.

Claro que, como esses aplicativos são parecidos com álbuns de figurinhas em que o usuário avalia o que lhe chama a atenção, são as características físicas aparentemente mais desejadas que vão criando filtros para que sejam mostrados perfis de acordo. Além disso, a opinião comum dos usuários, no sentido da percepção conjunta, também é levada em consideração. Isso significa que as preferências e similaridades entre usuários são usadas para fazer recomendações. E isso pode ser bem estranho.

Como funciona a “filtragem colaborativa”?

Vieses, preconceitos e a circularidade em que você acaba preso

“A maioria (dos aplicativos de relacionamentos) depende de uma combinação de preferências declaradas – o que você diz ao app que pretende num parceiro, seja explicitamente nas suas definições ou implicitamente através de engajamento – e de algo chamado filtragem colaborativa. Isto significa que uma aplicação procura padrões a partir das pessoas a quem os utilizadores disseram sim ou não, e depois tenta perceber como se assemelham a outros utilizadores para fazer previsões sobre quem vai acabar por gostar de quem. É semelhante à forma como o TikTok seleciona vídeos para você ver e a Amazon empurra você para as compras” (fonte: Wired)

Sabe os preconceitos e vieses que existem no discurso das atrações em geral, no mundo não virtual, mas físico mesmo? As características físicas que costumam ser enaltecidas nos filmes, no Instagram, no TikTok, enquanto outras são marginalizadas? Então. Essas tendências acabam ainda mais fortalecidas quando os algoritmos entram em jogo, especialmente a partir desse mecanismo que citei, da captura de percepções coletivas. Se você dá “like” em determinadas pessoas, com certas características, acabam aparecendo para você mais e mais pessoas com aquelas mesmas características, e menos com outras; mas isso é pior quando os algoritmos se baseiam não exatamente em você para fazer isso, mas em pessoas que eles consideram parecidas com você.

Isso gera uma circularidade que pode acabar lhe mantendo longe de pessoas que poderiam ser interessantes para o seu perfil.

Tem uma outra questão: todo mundo tem direito a mudar de ideia, e assim as nossas preferências podem simplesmente mudar no decorrer do tempo. Enquanto as pessoas podem mudar rápido, os algoritmos demoram um bom tempo para incorporar essas mudanças.

Para além da atração física

Na minha opinião, o problema maior de deixar os cupidos virtuais acertarem suas flechas por você é que nesses apps entram em jogo apenas a aparência física e aqueles gostos mais superficiais, que estão ao alcance dos algoritmos. Claro que muitos relacionamentos começam mesmo com uma troca de olhares baseada em aparência e atração física. Mas, e aqueles elementos que não conseguimos bem dizer de onde vêm, e às vezes são arrebatadores, decisivos para ficarmos com alguém? Quantas vezes acabamos na cama com um sujeito ou sujeita que nunca imaginávamos, ou nos vemos beijando uma boca absolutamente imprevisível – e gostando?! Amigos, pessoas com quem temos afinidades, trocas de ideias mágicas e com quem de repente nos vemos envolvidos.

Será que os algoritmos nos levariam a encontros assim, ou nós mesmos acabaríamos nos traindo, selecionando apolos e afrodites que são colírios para os olhos mas não dizem nada à alma?

Claro que há aí também uma boa dose do componente sorte. A roleta do amor gira em todos os lugares, e pode girar – e até acertar! – na algoritmosfera, também. Mas será que as nossas chances de nos dar bem não diminuem já que os algoritmos deixam de “ver” tanta coisa – e não são capazes de sentir nada? Ainda por cima, corremos o risco enorme de ter decepções como aquela de adorar uma casa online e, ao visitá-la pessoalmente, achar péssima…

Aliás, sobre os desapontamentos, uma notícia ruim: eles acontecem com muita frequência. O Tinder e o Grindr estão na lista dos apps que mais deixam as pessoas tristes!

Leia mais
Grindr, Tinder, Scruff: A Recipe for Loneliness
High Levels Of Unhappiness For Grindr Users Study Finds

Parece que as minhas intuições sobre por que os apps de dates falham tanto estão na direção certa. Eis algumas hipóteses sobre isso (com informações deste link):

  • Sistemas de machine learning operam estritamente a partir daquilo que lhes é fornecido. Alguns elementos são altamente previsíveis, enquanto outros não são. E ainda não se sabe exatamente de onde a atração vem, como destaca a pesquisadora Samantha Joel, da Western University, no Canadá, que investiga a maneira como as pessoas tomam decisões relacionadas ao amor.
  • Quando tentamos analisar os fatores que realmente pesam para nós, enquanto tentamos entender o que sentimos por alguém, podemos sentir vergonha dos fatores que nos são atraentes ou até mesmo ser completamente inconscientes a respeito de uma certa preferência que temos.
  • Se questionados sobre fatores que nos atraem, podemos, por exemplo, dizer que é o nível de escolaridade de alguém ou até declarar que altura é um fator inegociável; e aí, quando encontramos as pessoas na vida real, aparentemente mudamos tudo. Quem disse que nunca namoraria alguém que não fez faculdade se apaixona por um artista que aprendeu fazendo, e quem disse que nunca ficaria com alguém baixinho se apaixona pelo Charles Chaplin.

Enfim! Quando se trata de amor, nós mesmos não nos conhecemos direito, então… como os algoritmos haveriam de dar conta desse recado extremamente espinhoso?

Ainda assim, é preciso arriscar. Então, independentemente da loteria em que você vai jogar, desejo-lhe sorte. Ops, mas dizem que é sorte no jogo e azar no amor… então, melhor não jogar na Mega Sena. Vai que você ganha. Como ficará o amor? Você não vai querer alguém que só esteja interessado na sua conta bancária, né? Pois os algoritmos conhecem o estado da nossa saúde financeira também. Temos que ser cautelosos 😉

Pós-Graduação em Marketing Digital fica “datada”?

Concluí uma pós-graduação lato sensu (tipo MBA) em Marketing Digital em 2008. À vezes me perguntam se a pós não ficou “datada”, uma vez que os processos relativos ao mundo digital mudam rapidamente. Não, a pós não ficou datada, porque eu aprendi sobre a lógica de muitos processos, e essa lógica está valendo.

Por exemplo, as boas práticas de arquitetura de informação: a gente aprende, observa, põe em prática – como fiz com projetos como o do Acervo O GLOBO (2010 a 2014), a intranet da Oi (2014 a 2016) e venho fazendo mais recentemente com trilhas de aprendizagem online, por exemplo. Os recursos mudam, as ferramentas e plataformas se diversificam, mas os pressupostos se mantêm.

Outro exemplo: a lógica dos links patrocinados/das mídias pagas versus o SEO orgânico; boa parte dessa lógica vem de quando ainda trabalhava com Yahoo!, antes de trabalhar com Google AdSense… e usava Statcounter e não Google Analytics!

O que se preconiza como bons resultados para a navegação de um site pode mudar, de acordo com os KPIs (Key Performance Indicators) estabelecidos para cada projeto/empresa – por exemplo, o tempo que um usuário passa, em média, navegando num site: pode ser desejável que passe horas e horas, se for um site de e-commerce, ou que passe ‘voando’ pelas páginas, se for um site com informações sobre atendimentos médicos urgentes. No segundo caso, o sucesso está em levar informação rápida ao usuário para salvar vidas, enquanto no primeiro a ideia é tornar a experiência agradável, sem pressa e mostrando o máximo de opções possíveis. Aplica-se então o que se sabe sobre as boas práticas a cada caso específico, e avalia-se as métricas para ver se o empenho resultou como desejado. E por aí vai.

A lógica vale para SEO, Arquitetura da Informação, acessibilidade, user experience, CRM, webwriting etc.

Acho importante, porém, o seguinte: a lógica geral da comunicação pode não ter mudado muito, porque os paradigmas sobre os quais a Web se apoia estão mantidos. Mas… agora temos a dimensão do machine learning e do big data. São muitas e profundas camadas de dados que temos que tratar e gerir. Claro, nem todos os sistemas, sites, apps estão neste momento alavancados por #machinelearning. Mas as redes sociais e os sites de busca estão, e isso mexe com os sites e apps que se encontram inseridos nesse contexto maior. Afeta os caminhos que são feitos para se chegar a eles; afinal, os algoritmos “decidem” (com muitas aspas) muita coisa por nós.

Transparência na IA

A inteligência artificial cada vez mais permeia e influencia nossas vidas. Afeta decisões das mais relevantes: quem pode conseguir um empréstimo ou financiamento, quem deve conseguir um emprego ou ser demitido, quem deve ser preso. Conecta indivíduos em apps de relacionamentos, podendo influenciar nos rumos sentimentais das vidas das pessoas, também.  

Diante da presença crescente da IA em nossas vidas, cresce também a importância de compreender o que significa vivermos entrelaçados a sistemas que se alimentam dos nossos dados. 
Por isso, crescem as preocupações com os riscos a que potencialmente somos expostos.

Há uma mobilização enorme para que se analise esses riscos e para que sejam mitigados. 

Nesse contexto, são preocupantes os mecanismos opacos de tomada de decisão embutida em sistemas algorítmicos.

Transparência é importante quando se trata de sistemas de #IA
A questão da transparência aparece nos documentos do AI HLEG – the European Commission’s High-Level Expert Group on Artificial Intelligence, de 2018.

“Os modelos de negócios baseados em dados, sistemas e AI devem ser transparentes: mecanismos de rastreabilidade podem ajudar nisso. Além disso, os sistemas de IA e suas decisões devem ser explicados de uma maneira adaptada às partes interessadas. Os seres humanos precisam estar cientes de que estão interagindo com um sistema de IA, e devem ser informados acerca das capacidades e limitações desse sistema”, diz documento do AI HLEG de 2019. 

Vou mais além e defendo, com base em teorias da cognição em que venho me aprofundando no doutorado, que “interação” é humano-humano; quando lidamos com sistemas de IA temos uma troca, mas não é exatamente uma “interação” como seria uma interação social. Há algo que só humanos têm, ainda bem 😉 

No artigo acadêmico disponível neste link, o qual inspirou este meu post, há uma discussão interessante sobre “variedades de transparência” em sistemas de IA. Foi escrito por Gloria Andrada, Robert Clowes e Paul Smart.

Audrey Watters: ‘não são as tecnologias os vetores das mudanças, mas as pessoas’

Tive o prazer de ouvir Audrey Watters falar hoje na conferência Digital Education Governance Beyond International Comparative Assessments – complex histories, contested presents, and contingent futures, promovida pelo Centre for Research in Digital Education, da Universidade de Edimburgo, no Reino Unido.

Audrey escreveu um livro sobre os antecedentes das “máquinas de ensinar” que existem atualmente: “Teaching Machines”, lançado em 2021 pela MIT Press. Ela escolheu falar sobre o passado para nos fazer refletir sobre o futuro.

Teaching Machines

Como Watters comentou, para compreender as tecnologias e a nossa relação com elas é preciso olhar para a história, para o passado, não apenas para o futuro. Ao motivar-se para escrever esse livro, ela estava interessada em saber como chegamos até aqui. Sentia-se incomodada com a falsa sensação de que “de repente a tecnologia educacional surgiu”, como se fosse “do nada”. Não podemos desconectar o passado do que o futuro é e de como o futuro será.

“I see behaviorism everywhere”, Watters disse se referindo ao filme “O Sexto Sentido”. B. F. Skinner é muito atual quando se trata de como concebemos a aprendizagem ainda hoje. A ideia de que se deve recompensar os estudantes imediatamente ela aprendizagem “bem sucedida” continua atualizada, e tem tudo a ver com o behaviorismo. Ainda somos fortemente orientados a esse processo de recompensa. Basta olhar ara o nosso comportamento online, evidente na dependência tecnológica que temos desenvolvido. Quando rolamos a tela do celular ávidos pela próxima informação ou aguardamos ansiosamente por novas mensagens, o que queremos, de certo modo, é ser recompensados.

“Não vejo a tecnologia como os vetores das mudanças, mas as pessoas”, disse Audrey. Concordo super com ela.

A Mente Estendida: Esboços do Mundo

Este post é um complemento à aula que dei no XI Curso de Verão do INCOg/PUC-Rio sobre a Tese da Mente Estendida. Coloquei aqui os links, imagens, vídeos e inspirações que usei na apresentação, para que ficassem disponíveis para quem deseja saber mais.

A aula está disponível no vídeo a seguir.

O que vemos quando olhamos para uma obra de arte, um quadro, uma pintura, é o resultado de muitas tentativas e erros, trabalhos e retrabalhos. Esboços. Rascunhos. E, mesmo depois dos rascunhos, a obra de arte em si é constituída a partir de muitas camadas.

A tese da mente estendida desenvolvida por Andy Clark nos convida a ter essa perspectiva da mente e da cognição humana, como se estivéssemos sempre fazendo um processo de tentativa e erro para entender o mundo e as coisas que acontecem com a gente e em torno de nós. A abordagem nos leva a entender a formação da mente humana em camadas, que vamos adicionando na medida em que experimentamos as mais diversas atividades de estar no mundo e de conhecer o meio.

Abaixo há uma série de referências e vídeos para quem deseja saber mais sobre a tese e descobrir como a atividade mental humana é mais ativa, fluida e imaginativa do que talvez pudéssemos conceber:

  1. No livro DESEDUCANDO A EDUCAÇÃO: MENTES, MATERIALIDADES E METÁFORAS, lançado por um grupo de professores do Departamento de Educação da PUC-Rio (prof. Ralph Bannell, Mylene Mizrahi e Giselle Ferreira) em 2021, há um capítulo que se chama Para além do cérebro nu. Trata-se da tradução do capítulo 8 do livro Mindware, de Andy Clark. Este capítulo é fundamental para compreender mais sobre as ideias que apresentei no Curso de Verão do INCOg (em breve posto o vídeo da apresentação aqui);
O livro pode ser baixado gratuitamente no site da
Editora PUC-Rio
http://www.editora.puc-rio.br/

2. A artista que aparece pintando, e cujas imagens usei para ilustrar a questão das camadas na pintura, é canadense e se chama Lori Mirabelli. Assista a este vídeo completo dela e ouça as explicações sobre as camadas; mesmo para quem nao é artista, é o maior barato acompanhá-la mostrando esse processo interessantíssimo:

3. O livro cuja capa aparece no quarto slide é o “Oxford Handbook of 4E Cognition”, editado por Albert Newen, Leon De Bruin e Shaun Gallagher; saiba mais sobre a publicação aqui.

The Oxford Handbook of 4E Cognition

4. O livro em que Andy Clark aprofunda a questão das previsões cerebrais e como elas se acomodam com sua teoria da mente estendida se chama Surfing Uncertainty – Prediction, Action and the Embodied Mind e você pode saber mais sobre ele aqui.

5. Abaixo está o vídeo completo sobre as previsões cerebrais, cujos trechos apresentei na minha aula. O vídeo é ótimo, o único inconveniente é que não tem legendas em português (e nem mesmo em inglês). Mas vale a pena assistir – e você pode usar o recurso de abrir a transcrição do vídeo e depois traduzi-la num tradutor online, se precisar. A aula do vídeo é dada por Anil Kumar Seth, professor britânico de Neurociência Cognitiva e Computacional na Universidade de Sussex.

6. O desenho de Otto e Inga, reproduzido abaixo, foi feito por Helen de Cruz, filósofa e artista, e faz parte de uma série de ilustrações que ela fez para tentar materializar visualmente experiências filosóficas. Esses desenhos incríveis podem ser vistos neste link aqui.

7. A imagem abaixo, que achei poderosa para ilustrar a ideia de andaimes introduzida por Clark para abordar as extensões da mente, está numa matéria da Scientific America apropriadamente intitulada How Room Designs Affect Your Work and Mood.

8. A imagem do post, lá em cima, e que abre a apresentação, eu achei aqui

9. A apresentação em Power Point está disponível aqui

10. Referências Bibliográficas da apresentação/aula:

CLARK, A.; CHALMERS, D. The extended mind. Analysis, 58 (1), p. 7-19, 1998.

CLARK, A. Para além do cérebro nu. In Bannell, R. I., Mizrahi, M., Martins dos Santos Ferreira, G. (Orgs.) (Des)educando a educação: Mentes, Materialidades e Metáforas. Tradução de Camila De Paoli Leporace. Rio de Janeiro: PUC-Rio, 2021.

CLARK, A. Being there: putting brain, body, and world together again. Cambridge, MA: MIT Press, 1998.

_________. Natural-Born Cyborgs. Minds, Technologies and the Future of Human Intelligence, New York: Oxford University Press, 2003.

_________. Supersizing the mind: embodiment, action, and cognitive extension. Oxford: Oxford University Press, 2011.

_________. A. Mindware. Cambridge: MIT Press, 2014.

DELLERMANN, D., EBELl, P., SÖLLNER, M., & LEIMEISTER, J. M. (2019). Hybrid Intelligence. Business and Information Systems Engineering, 61(5), 637–643. https://doi.org/10.1007/s12599-019-00595-2

GALLAHER, S. Philosophical Antecedents of Situated Cognition. In: ROBBINS, Philip, e AYDEDE, Murat. The Cambridge Handbook of Situated Cognition. Cambridge University Press, 2009.

NEWEN, A,; DE BRUIN, L.; GALLAGHER, S. The Oxford Handbook of 4Es Cognition. New York: Oxford University Press, 2018.

ROBBINS, P., e AYDEDE, M. The Cambridge Handbook of Situated Cognition. Cambridge University Press, 2009).

RUPERT, R. Cognitive Systems and the Extended Mind. New York: Oxford University Press, 2009.

SOEKADAR, S., CHANDLER, J., IENCA, M., & BUBLITZ, C. (2021). On The Verge of the Hybrid Mind. Morals & Machines, 1(1), 32–45. https://doi.org/10.5771/2747-5182-2021-1-32.

Big Data na Educação: é preciso abrir essa caixa preta

Navegando pela rede, você certamente já se viu diante de anúncios de algo que andou procurando, como se o seu navegador tivesse “adivinhado” o que você queria. Ou já recebeu uma sugestão de filme ou série que a Netflix achou que seria “a sua cara”…

(Bem, nem sempre funciona tão bem…)

… pois os nossos dados têm sido utilizados em sistemas de machine learning para fazer previsões e identificar tendências.

Muito se tem falado sobre as potencialidades do big data para a educação. Para quem não está familiarizado com o termo, trata-se dessas “coleções maciças de dados” (segundo os autores do artigo Tecnologias digitais na educação: a máquina, o humano e os espaços de resistência; clique para ler) que são geradas na medida em que navegamos por sistemas digitais e deixamos os nossos rastros nessas plataformas.

O que isso pode significar quando se trata de educação? A pergunta ainda é uma caixa preta, mas é preciso um esforço para abri-la.

Apesar do oceano de implicações positivas que vêm sendo apontadas para o uso de machine learning e de big data na educação, é preciso ir devagar com esse andor porque o santo é de barro. O que (vem sendo propagado que) o big data promete?

Quando se trata do uso de plataformas de aprendizagem baseadas em machine learning, basicamente o que se destaca é que, tendo mais informação sobre o desempenho e o ritmo individual de cada aluno, se poderá oferecer conteúdos mais apropriados à sua aprendizagem, no tempo e na sequência mais adequados para cada um. Com isso, se alcançaria “melhores” resultados, aproveitando ao máximo as potencialidades de cada aluno, resolvendo problemas e dificuldades que eles eventualmente tenham etc. Parece perfeito – e alinhado ao discurso da tecnologia como panaceia para tudo aquilo que se tem tentado solucionar na educação há tantos anos. Bem, esse, em si, já é um indício de que é preciso olhar para o tema com mais atenção.

Um exemplo, tirado deste livro aqui, intitulado Learning with Big Data – The Future of Education, é o rastreamento do comportamento de alunos em relação a vídeos de palestras numa plataforma online de atividades: é possível saber quando eles assistem aos vídeos, quando pausam, se aceleram para ver mais rápido, se os abandonam antes de terminar de assistir. Com base na identificação desses padrões, professores poderiam ajustar lições, decidir reforçar conceitos que aparentemente os alunos não entenderam bem ou mudar a maneira de explicar determinado assunto, por exemplo.

Mas, isso quer dizer que esteja ocorrendo um processo de aprendizagem melhor, realmente? Antes, aliás, isso significa que está ocorrendo, de fato, aprendizagem? O discurso costuma ser de que sim, mas… essa é uma conclusão que não se deve apressar.

Um artigo do New York Times – ‘The Machines Are Learning, and So Are the Students (“As Maquinas estão aprendendo, e também os alunos”), de Craig Smith, publicado em dezembro do ano passado – já no título traz um pressuposto enviesado para o uso de inteligência artificial na forma de machine learning: a ideia de que as máquinas aprendem. Mais audaciosamente, indica que os alunos estão aprendendo, também, graças a essas máquinas e sua suposta sagacidade. Smith diz:

Slowly, algorithms are making their way into classrooms, taking over repetitive tasks like grading, optimizing coursework to fit individual student needs and revolutionizing the preparation for College Board exams like the SAT. A plethora of online courses and tutorials also have freed teachers from lecturing and allowed them to spend class time working on problem solving with students instead.

Aqui, já vemos uma outra face do discurso: para além de individualizar o ensino, o uso de sistemas baseados em algoritmos poderia poupar os professores de tarefas como avaliar seus alunos e até de dar aulas expositivas (hum… alguém perguntou aos professores se eles querem parar de dar suas aulas?), podendo usar o tempo para trabalhar com seu alunos em “resolução de problemas”. Perceba que o discurso é sempre de usar melhor o tempo, aprender melhor, mas, não se sabe o que esse “melhor” de fato significa. Com frequência, a ideia adjacente é a de que o professor pode ser substituído, ao menos em certas atividades (tão diferentes quanto dar aulas expositivas e corrigir avaliações…).

Em outro trecho, que reproduzo a seguir, o jornalista aponta pesquisas (sem especificar quais) que teriam mostrado a superioridade de tutores na forma de inteligência artificial em relação a tutores humanos. Isso se daria porque “o computador é mais paciente” que o professor, além de mais insightful – o que poderia significar ter ideias melhores ou ser mais criativo (?)

Studies show that these systems can raise student performance well beyond the level of conventional classes and even beyond the level achieved by students who receive instruction from human tutors. A.I. tutors perform better, in part, because a computer is more patient and often more insightful.

Será?

Num cenário em que predomina o discurso sobre os efeitos positivos da inteligência artificial na educação, esse artigo é apenas um exemplo. São muitos os que trazem algo nessa mesma linha.

Somente com estas breves referências que apontei até aqui, já abrimos uma infinidade de questões a serem postas em xeque tanto sobre o uso efetivo da IA na educação na forma de [machine learning + big data] quanto sobre o discurso. Predomina uma argumentação acrítica e pasteurizada, que costuma assinalar os ganhos sem pesar as possíveis consequências advindas do uso massivo de dados.

Não se procura saber, nem mesmo, o que são esses dados. Isto é, o que quer dizer, efetivamente, o tempo que um estudante levou para fazer uma lição? Quando esse tempo é fornecido a partir do rastreamento da atividade desse aluno, ele não parece dizer muita coisa. O que realmente aconteceu com o aluno durante o tempo em que ele estava logado? Não somos meros logins, somos pessoas, num determinado espaço, em determinado momento. Talvez não possamos ser representados somente por números.

De volta para o futuro

Mesmo que se pudesse prever todas as adversidades envolvidas em dada situação cujo objetivo é o ensino e a aprendizagem, aí já está um x da questão: a previsão. Especialistas com um olhar crítico à IA na educação vêm indicando que isso pode gerar um passado cristalizado e prender os alunos a um futuro rígido, imutável.

This image has an empty alt attribute; its file name is antonino-visalli-Fu-K5VwabM8-unsplash-683x1024.jpg

Uma vez que o machine learning trabalha a partir de tais previsões, já que se utiliza de dados gerados pelos estudantes para que, com esses dados, possa identificar tendências, há o risco de os estudantes se tornarem eternamente atados ao seu passado – carregando uma espécie de mochila pesada de históricos escolares detalhados a seu respeito que nunca são esquecidos e podem permanecer acessíveis por mais tempo do que seria desejável.

Seu futuro lhes faria vítimas das previsões justamente baseadas em dados estáticos, os quais podem não corresponder mais à sua realidade. Somos, afinal, seres em constante transformação e evolução. Envolvidas nisso há diversas implicações, especialmente, para a privacidade dos alunos – já que os dados podem ficar acessíveis para fins questionáveis, o que pode prejudicar sua vida profissional e pessoal.

Neutralidade tecnológica?

De onde vêm os dados gerados a partir da atividade dos alunos em uma plataforma baseada em machine learning? Dados não surgem por acaso, não são espontâneos e nem existem por si só. Eles surgem nas interações entre alunos e máquinas, e essas interações são limitadas pela maneira como o sistema é construído, pelo que se espera dele, pelo que é injetado em seus algoritmos. Isto é, dados emergem a partir de decisões tomadas no desenvolvimento dos algoritmos para os sistemas de IA utilizados nas plataformas.

Nesse desenvolvimento, priorizam-se determinados aspectos em detrimento de outros.

Fatalmente, também por sua vez, os resultados obtidos trarão consigo a priorização de certo aspectos e não de outros. Um problema relevante, por trás disso, é que frequentemente somos avaliados por fórmulas secretas que não compreendemos, como ressalta a matemática Cathy O’Neil. Se o que se avalia não fica claro, é certo que, como O’Neil explica: “Para construir um algoritmo, são necessárias duas coisas: dados – o que aconteceu no passado – e uma definição de sucesso, aquilo que estamos procurando e pelo que estamos geralmente esperando”.

A definição de sucesso adotada estará instilada nos algoritmos. A suposta neutralidade tecnológica não existe...

Vieses

Pode-se facilmente compreender como pode haver (e há, muitos) vieses em algoritmos quando se trata do preconceito racial em alguns sistemas de reconhecimento facial, por exemplo. Esses são casos contundentes e que têm adquirido notoriedade, tornando-se o centro de preocupações éticas concernentes ao campo.

A IBM afirmou que abandonaria pesquisa em reconhecimento facial por conta das implicações éticas e da falta de regulamentação – Leia

Na educação, mencionei questões sobre a privacidade dos dados dos estudantes e ao fato de os sistemas não serem claros quanto às variáveis relacionadas ao que é avaliado. Mas, ainda não falei dos professores. Há também iniciativas que procuram avaliá-los a partir de big data, com consequências que merecem (muita!) atenção.

Em sua palestra no TED, O’Neil cita a diretora de um colégio no Brooklyn que, em 2011, disse a ela que sua escola estava avaliando os professores a partir de um algoritmo complexo – e secreto. A diretora relata que tentou conseguir a fórmula para entender os critérios envolvidos naquela avaliação, mas o que ouviu da secretaria de educação foi que não adiantava lhe explicar porque ela não entenderia, já que se tratava de matemática.

Conclusão (conheça a história no TED): professores daquela escola foram demitidos por causa da tal fórmula secreta, uma caixa preta que a diretora tentou abrir, sem sucesso.

Como O’Neil destaca, o poder de destruição de um algoritmo projetado de maneira equivocada é imenso, e essa destruição pode se arrastar por bastante tempo. Mas, quando o assunto é uma modelagem envolvendo algoritmos, o pior de tudo é a falta de transparência. Por isso ela cunhou o termo “armas de destruição matemática”.

Não somos somente pontinhos em um grande mapa de dados…
(Imagem: Maria Bobrova @ Unsplash)

O big data na educação é uma caixa preta devido à dificuldade, em geral, de entendimento do que a inteligência artificial, na forma do machine learning, significa ou pode significar para processos educacionais. E se torna ainda mais obscura quando, sem que se conheça os critérios utilizados, alunos e educadores sejam submetidos a avaliações e análises frequentemente injustas; e o pior, sem poder contestá-las.

O’Neil dá vários exemplos de como o uso indevido de dados tem prejudicado pessoas em variadas situações. Para entender isso melhor, é preciso olhar para a noção de modelo; o que é um modelo e por que ele pode se tornar uma arma de destruição matemática? Explicarei isso em outro post.

Agradeço à Giselle Ferreira, professora da PUC-Rio que está ministrando uma disciplina sobre big data e educação este semestre, pelos ricos debates que tanto colaboraram com insights para que este(s) post(s) fossem escritos. Leia o blog dela, no qual é possível obter uma perspectiva crítica sobre as tecnologias educacionais: https://visoesperifericas.blog/

Imagem principal do post: Franki Chamaki @ Unsplash

Eis o Dilemma

Documentário “The Social Dilemma“, da Netflix, está dando o que falar. Ficou pessimista depois de assistir? Leia este post.

The Social Dilemma (O Dilema das Redes, em português), que aborda a manipulação de nossos dados pelas redes sociais online, traz depoimentos de pessoas que desistiram de trabalhar nas gigantes de tecnologia – Google, Instagram, Facebook, Pinterest e afins. Os entrevistados perceberam, pode-se dizer, que os valores das empresas em que eles vinham trabalhando não estavam mais de acordo com aquilo que eles acreditam, e resolveram tomar outros rumos na vida.

Mas, então, onde é que essas pessoas estão hoje? O que elas estão fazendo de suas vidas? E os outros entrevistados que aparecem no doc, quem são e qual tem sido o seu papel no universo da tecnologia? Muitos deles estão fazendo coisas bem legais, algumas bastante inspiradoras, que podem ajudar a mudar significativamente a nossa relação com a tecnologia, tanto individual como coletivamente. Outros escreveram livros com temáticas excelentes.

Essas pessoas têm em comum a desconfiança quanto a esse status quo do universo tecnológico, e são movidas por suas experiências e pela vontade de levar mais gente a se preocupar com a maneira como fazemos e consumimos tecnologias.

Então, antes de ficar pessimista, ou de achar que não dá para fazer nada “porque o mundo agora é assim mesmo”, talvez valha conhecer algumas das iniciativas que têm surgido a partir dessa vontade de mudança. Escrevi sobre algumas delas, aqui – e pretendo escrever sobre as demais (pessoas do doc e iniciativas) num outro post. Vale pensar em se envolver em algum(ns) projetos capitaneados por essa galera ou, ao menos, ler alguns livros e/ou assistir a outros documentários. Quem sabe começar desativando suas notificações? Aproveita e ainda evita que a bateria do seu celular gaste à toa 😉 Se estamos preocupados, precisamos nos envolver, conhecer mais sobre o assunto e assumir uma postura diferente. Evitar o tema não é uma opção.

Tristan Harris

Ele passou anos no Google como Google Design Ethicist. No documentário, conta um pouco dessa sua experiência, que demonstra a falta de preocupação da empresa com questões éticas e de privacidade. Harris é fundador e presidente da ONG Center for Humane Technology A página que apresenta a iniciativa diz:

We envision a world where technology is realigned with humanity’s best interests. Our work expands beyond tech addiction to the broader societal threats that the attention economy poses to our well-being, relationships, democracy, and shared information environment. We must address these threats to conquer our biggest global challenges like pandemics, inequality, and climate change.

A ONG convida quem quiser ajudar a remodelar a maneira como construímos e consumimos tecnologias: https://www.humanetech.com/get-involved – e ressalta que não precisa ser empreendedor, programador ou o que quer que seja para se envolver; se você for da área de tecnologia é bem-vindo, mas basta ser “cidadão, educador ou pai/mãe”. Para saber o que exatamente dá para fazer junto a eles, é preciso fazer um cadastro inicial.

Shoshana Zuboff

Shoshana Zuboff é professora em Harvard e autora do livro “The Age of Surveillance Capitalism”, sobre o qual você pode ler neste link – https://shoshanazuboff.com/book/about/. Este documentário que postei aqui explica muito bem a ideia do capitalismo de vigilância de que ela fala.

Justin Rosenstein

Com mais de 170 mil seguidores no LinkedIn (o que não quer dizer nada por si só e nem sei por que citei aqui, mas ok), Justin, que estudou em Stanford (isso também não quer dizer lá muita coisa, por si só), foi da Google e do Facebook, e depois seguiu fazendo seus projetos pessoais: o Asana, um software independente que tem a função de melhorar a produtividade das pessoas, e o One Project, voltado para o design de governança e sistemas econômicos mais “equitativos, ecológicos e efetivos”, segundo ele informa no LinkedIn. O site dele é este: https://justinrosenstein.com/ e no vídeo ele fala sobre a Asana.

Roger McNamee

McNamee é um investidor no Vale do Silício. Ele injetou dinheiro no Facebook e ajudou Zuckerberg a crescer, mas, hoje, como o documentário da Netflix mostra, é um ferrenho crítico ao modo como a empresa orienta suas atividades. Ele afirma que o Facebook é uma ameaça à democracia, e acusa a rede de espalhar as chamadas fake news.

McNamee escreveu um livro chamado Zucked: Waking up to the Facebook Catastrophe. Vale dizer que, no vídeo que postei aqui, ele diz que a Apple, de maneira bem diferente do Facebook, é responsável com os usuários em relação a questões de privacidade – o que mostra que as opiniões de todas estas pessoas podem ser diferentes em relação às companhias de tecnologia envolvidas em todas essas temáticas. Serve para construirmos o nosso próprio pensamento crítico.

Tim Kendall

Kendall foi presidente do Pinterest e Diretor de Monetização do Facebook. Ele criou um app chamado Moment, desenvolvido para ajudar as pessoas a fazerem “detox” de seus smartphones. O aplicativo está disponível para ser baixado de graça na App Store e aqui há mais informações –  https://inthemoment.io

Rashida Richardson

Ela trabalhou no Facebook e em vários outros lugares, e hoje é a diretora de Policy Research no AI NOW – um instituto de pesquisa em inteligência artificial que examina as implicações da IA para a sociedade ligado à New York University; o site é este aqui: https://ainowinstitute.org/ e a página do site que fala sobre a Richardson é esta: https://ainowinstitute.org/people/rashida-richardson.html .

O instituto dedica-se a pesquisas que contribuam para que sejam criados mecanismos, políticas, leis etc. para que haja responsabilidade/responsabilização pelo uso e a produção de tecnologias envolvendo inteligência artificial. Atualmente, as quatro principais frentes de pesquisa do núcleo são: direitos e liberdade; trabalho e automação; preconceito e inclusão; segurança e infraestrutura crítica.

Jaron Lanier

Lanier, que é cientista da computação e filósofo, trabalhou na Microsoft até 2009. Depois, ele escreveu vários livros além do citado “Ten arguments for deleting your social media accounts right now”; escreveu um chamado “Who own the future?” e ainda “You are not your gadget”, entre outros, apresentados em seu site: http://www.jaronlanier.com/ . Aliás, no site ele reforça que não tem (mesmo!) contas em redes sociais.

Cathy O’Neil

Cathy é uma matemática americana, autora do site/blog mathbabe: https://mathbabe.org/ e do livro “Weapons of Math Destruction”, sobre o impacto dos modelos matemáticos e dos algoritmos de IA em diversas áreas da sociedade (destaque especial para a educação e para o mercado financeiro). O mais legal desse livro é que ela usa uma linguagem super corriqueira, inteligível, para nos explicar os modelos matemáticos e suas implicações (como jornalista e doutoranda, já estava desacostumando de livros que explicam as coisas de uma maneira mais, digamos, objetiva…). A obra ainda não está disponível em português, porém. De todo modo, a palestra dela no TED dá uma boa introdução à perspectiva de O’Neil.

Uma última curiosidade: Jeff Orlowski, o cineasta norte-americano realizador do doc, já tinha feito dois outros documentários, “Chasing Ice” (de 2012) e “Chasing Coral” (de 2017), que são ligados a temáticas de responsabilização, por assim dizer, mostrando impactos que a humanidade exerce sobre a natureza.

Para assistir ao doc na Netflix: https://www.netflix.com/title/81254224

Imagem do post: Markus Spiske @ Unsplash

Vou participar do Ladies that UX dia 20 de agosto

Dia 20/8 estarei num papo online sobre UX – User Experience, tudo o que diz respeito a navegação pela web, conteúdo digital, acessibilidade etc. O encontro é promovido pelo Ladies That UX, Edição Rio de Janeiro.

A ideia é reunir e dar voz a mulheres da tecnologia, desta vez a edição é exclusiva do Rio de Janeiro. Fui convidada para falar de UX e IA, juntando a área com a qual trabalho há muitos anos com a que venho pesquisando mais recentemente.

O desafio é grande e estou animada. Será uma fala curtinha, porque várias outras ladies também vão falar de suas experiências incríveis, e haverá espaço para debate. Se tiver interesse, faça sua inscrição com antecedência neste link. Nos vemos lá!

Como a distância impacta a educação? E o que podemos fazer?

Quais as diferenças entre aprender/ensinar a distância e presencialmente? Do que sentimos falta quando estamos distantes, fisicamente, uns dos outros? A internet pode ser utilizada de maneiras diferentes, de modo a unir mais as pessoas envolvidas em processos de ensino-aprendizagem por elearning? Como reduzimos a frieza das máquinas e aproximamos mais as pessoas nesse cenário, aumentando a afetividade, o compartilhamento?

Essas questões serão debatidas em uma apresentação que farei online com o professor Eduardo Santos no dia 18, às 10h (Brasil), na Here and Now, uma conferência organizada pela Social Pedagogy Associaton.

As inscrições gratuitas podem ser feitas online pelo link https://lnkd.in/eJ9B-cX