Hubert Dreyfus’ “What computers Can’t Do” will be 50 years old in 2022. Despite having been released half a century ago, it is still pertaining when it comes to the gap between human cognition and artificial intelligence. I like Dreyfus’ critique to artificial reason mostly because he was actually concerned with human intelligence, not so much machines’ intelligence. The book (which got a second edition, amplified, in 1992) is compelling for those interested in comprehending some of the most important challenges faced by AI – and that have not yet been overcome.
Inspired by phenomenologists like Heidegger and Merleau-Ponty, Dreyfus (who unfortunately died in 2017 at 87) advocated that human intelligence is far beyond computation and representation. He suggested that we are “skillful copers”, i.e., highly skilled embodied agents capable of dealing with the world’s uncertainties and unsteadiness in a remarkably fine-grained way, anchored in the body and in the emotions. Because it is coupled to the environment, this being-in-the-world is more direct and less dependent on mediators (representations).
I also encourage readers to watch some of Dreyfus’ great interviews, lectures and talks available online.
PT
Hubert Dreyfus’ “What computers Can’t Do” fará 50 anos em 2022. Apesar de ter sido lançado há meio século, ele ainda é pertinente quando se trata do gap entre a cognição humana e a inteligência artificial. Eu gosto da crítica de Dreyfus à razão artificial principalmente porque ele estava realmente preocupado com a inteligência humana, não tanto com a inteligência das máquinas. O livro (que teve uma segunda edição, ampliada, em 1992) é muito pertinente para aqueles interessados em compreender alguns dos desafios mais importantes enfrentados pela IA – e que ainda não foram superados.
Inspirado por fenomenólogos como Heidegger e Merleau-Ponty, Dreyfus (que infelizmente morreu em 2017 aos 87 anos) defendeu que a inteligência humana está muito além da computação e da representação. Ele sugeriu que somos “skillful copers”, isto é, agentes corporificados altamente habilidosos capazes de lidar com as incertezas e instabilidades do mundo de uma forma altamente refinada, ancorada no corpo e nas emoções. Por estar acoplado ao meio ambiente, este being-in-the-world é mais direto e menos dependente de mediadores (representações).
Eu também encorajo os leitores a assistir algumas das grandes entrevistas e palestras da Dreyfus disponíveis on-line.
Hubert Dreyfus on Embodiment (II-II)
Conversations with History: Hubert Dreyfus
Hubert Dreyfus Interview – AI, Heidegger, Meaning in the Modern World
Speakers: Catarina Dutilh Novaes, J. Adam Carter, Manuel Curado, Ron Chrisley, Steven Fuller, Vincent Müller, Paul Smart among others
We are living through a new phase in human development where much of everyday life – at least in the most technologically developed parts of the world – has come to depend upon our interaction with “smart” artefacts. Alongside this increasing adoption and ever-deepening reliance on intelligent machines, important changes have been taking place, often in the background, as to how we think of ourselves and how we conceptualize our relationship with technology. As we design, create and learn to live with a new order of artefacts which exhibit behavior that, were it to be carried out by human beings would be seen as intelligent, the ways in which we conceptualize intelligence, minds, reasoning and related notions such as self and agency are undergoing profound shifts. Indeed, it is possible to argue that the basic background assumptions informing, and the underlying conceptual scheme structuring our reasoning about minds has recently been transformed. This shift has changed the nature and quality of both our folk understanding of mind, our scientific psychology, and the philosophical problems that the interaction of these realms produce. These new conceptualizations – sometimes implicit, sometimes explicit – about the nature of mind and its relationships to the artefacts we build has given rise to a new constellation of basic philosophical problems about the very nature of mind. This constellation we call, The Mind-Technology Problem. The mind-technology problem should be understood as the successor to the mind-body problem, engaging with the mind in a digital era. Distinctive questions include: What properties of mind may be enabled, transformed or extended by technology? What properties of mind may be diminished, outsourced or curtailed? Is human agency being primarily constrained or enabled by our encounter with 21st Century technology and especially by our interaction with AI? How might the nature of human agency, memory, knowledge, responsibility, and consciousness be changed through this interaction? These can all be viewed as problems of where our minds stop, and our artefacts begin. Deciding the limits of mind seem to recast the nature of the other philosophical problems around it.
Programa
21 de Outubro, Quinta-feira
09:30 – 10:00 Registration 10:00 – 10:20 Robert Clowes – Intro: Why the Mind Technology Problem? Why Now? 10:20 – 11:30 Steven Fuller – Humans 2.0 and tMTP (Final Title TBC) 11:30 – 11:50 COFFEE BREAK 11:50 – 13:00 Catarina Dutilh Novaes [online] – Attention and Trust in Online Argumention. 13:00 – 14:30 ALMOÇO 14.30 – 15:40 Manuel Curado – The Mind-Technology Problem in the Context of Evolutionary Psychology: The Challenge of on demand Mind Designs 15:40 – 16:00 COFFEE BREAK 16:00 – 17:10 Ron Chrisley – “I contain multitudes”: Can minds nest?
22 de Outubro, Sexta-feira
09:30 – 11:00 Vincent Müller – Epistemology, AI and Human Minds (Final Title TBC) 11:00 – 11:30 COFFEE BREAK 11:30 – 13:00 J. Adam Carter [online] – “Digital knowledge and the norms of AI delegation (or: leave it all to the machines?)” 13:00 – 14:30 ALMOÇO 14:30 – 15:30 Steven Gouveia – Minds, Persons and the Mind-Uploading Hypothesis 15:30 – 16:00 COFFEE BREAK 16:00 – 17:00 Paul Smart [online] – Minding Society: Social Machines, Predictive Processing, and the Cognitive Incorporation of Humanity 17:00 – 17:30 Robert W. Clowes (chairing) – Closing discussion: The Future(s) of the tMTP
Informações O simpósio será realizado em formato híbrido: presencialmente, no Anfiteatro da FCiências.ID, e online, via Zoom. A participação é gratúita, mas carece de incrição.
(Aula inaugural CES – Universidade de Coimbra / PRESENCIAL)
October 22 2021
Speaker: Sheila Jasanoff (Harvard University)
Since the early twentieth century, philosophers and sociologists of technology have bemoaned the power of science and technology to empty our world of meaning: through devices such as rationalization, standardization, massification, and routine. Humans are seen as subjugated to machineries of production, and deprived of voice and agency, so that innovation suffers and democracy itself is in deficit. I will argue to the contrary that the turn of the twentieth century brought enormous gains in our capacity to reflect on what it means to be citizens of scientific and technological societies. Drawing on concepts such as co-production, constitutionalism, and sociotechnical imaginaries, I will show how this rise in social reflexivity has equipped us to rethink the politics of science and technology. I will use illustrations from work in science and technology studies (STS) on environment, biotechnology, and AI to show how advances in theories of science and technology in society open up new vistas for social creativity and political action.
Sheila Jasanoff is Pforzheimer Professor of Science and Technology Studies at the John F. Kennedy School of Government at Harvard University. She is affiliated with the Department of the History of Science and Harvard Law School. Previously, she was Professor of Science Policy and Law at Cornell University and founding chair of Cornell’s Department of Science and Technology Studies. At Harvard, she founded and directs the Kennedy School’s Program on Science, Technology and Society (STS). In 2002, she founded the Science and Democracy Network, an international community of STS scholars dedicated to improving scholarly understanding of the relationships among science, technology, law, and political power.
Jasanoff has been a pioneer in building the field of Science and Technology studies (STS). Through her many administrative, pedagogical, and editorial roles, she has helped define the field for a generation of younger scholars in STS. Her works on law and science, risk management, the comparative politics of regulation, and science in environmental decisionmaking count as basic texts on those topics
In this talk I will provide an overview of my previous work on the bodily roots of conscious experiences throughout the lifespan. I will then briefly look at alterations of self-awareness in depersonalisation, a condition that makes people feel detached from one’s self, body and the world. I will present some recent findings from our group regarding the relationship between depersonalisation and the bodily self. I will conclude by presenting my ongoing projects and experiments that will test these ideas empirically in humans and artificial agents.
Transmissão em direto via Zoom (password: 553547).
Nesta sexta dia 10 vou apresentar ideias relacionadas a minha pesquisa no 4º CONGRESSO INTERNACIONAL DA SOCIEDADE PORTUGUESA DE FILOSOFIA, promovido pela Universidade do Minho. O evento começa na 5a feira, dia 9. O programa completo está neste link.
Você já se perguntou por que o design daquele site que deveria ser ótimo é tão ruim? Definitivamente, uma má experiência do usuário com um site nem sempre acontece porque a equipe de User Experience/Arquitetura de Informação precisa ser trocada. Veja como o Facebook e a Amazon irritam quando precisamos achar algo como desativar a nossa conta. É tão ruim ou pior do que cancelar a NET.
O que acontece é que a experiência está sendo boa para alguém que não é você, mas a empresa por trás daquele site. Estou falando dos chamados “Dark Patterns“, que são estratégias e maneiras de apresentar o conteúdo e de conduzir o usuário por um website que, em vez de ajudá-lo, o confundem. A experiência é desastrosa, mas o usuário faz o que a companhia quer, e então… bem, a meta está batida.
Quando fiz minha pós em Marketing Digital em 2008, uau, User Experience era realmente sobre deixar o usuário feliz. Era sobre tornar as coisas mas simples para o usuário, deixar a navegação intuitiva, levá-lo ao conteúdo que ele precisa acessar. As coisas mudaram muito na internet nos últimos anos. Quer dizer, não precisa ser assim. Há empresas e empresas. Dark Patterns me lembram as técnicas de “Black Hat SEO”, que eram códigos inseridos nos sites para que chegássemos até eles por meio das buscas; mas, quando chegávamos, os sites não tinham o que esperávamos. Uma frustração, porém isso ajudava a impulsionar os números de visitas e visitantes dos sites.
Hoje, técnicas aplicadas para que os usuários tomem decisões que beneficiam as companhias, em vez de beneficiarem aos usuários, têm uma ajudinha extra: a aprendizagem de máquina. Nossos dados ao infinito, processados por redes profundas com uma capacidade nunca vista antes de aproveitar esses dados para produzir mais dados ainda.
No entanto, a internet não é, ou não deveria ser, uma terra sem lei. A experiência que a gente tem navegando em sites, fazendo buscas etc deveria ser, efetivamente, boa. E, se todas as empresas na internet competem pela sua atenção, algumas deixam suas intenções mais claras, outras preferem te empurrar na direção que elas desejam. Saber o que está acontecendo a nossa volta nos ajuda a cobrar serviços melhores e isso inclui sites que funcionam pelo ponto de vista dos usuários, não somente das empresas. A quem trabalha com internet, bem, acho que vale se questionar: você deixou de ser consumidor para ser designer, arquiteto de informação, programador, empresário, empreendedor? Não. E você gostaria de encontrar Dark Patterns pela sua frente ao tentar fazer coisas que clientes fazem em sites de empresas?
Precisamos de uma WWW democrática. Uma rede de conexões reais no espaço virtual.
Esta semana, recebi de diversas pessoas o vídeo que alardeia aquilo que na prática todos temos notado: a nossa navegação na Web é completamente rastreada pelo Facebook. Se você acessou um site e viu algo de que gostou mas não se lembra direito qual foi, esqueceu o nome etc, pode usar o histórico do seu navegador para reencontrá-lo ou… pode usar o histórico do Facebook. Vá em Configurações > Sua atividade no Facebook > Atividade fora do Facebook e verá que está tudo lá.
O Facebook está se tornando a própria World Wide Web, que não é mais tão vasta, ampla ou grande no melhor sentido da coisa e, diga-se de passagem, está cada vez mais chata, comercial e robotizada – no sentido literal. O que temos é um território mapeado, em que um chip com nossos logins (na forma de app do Facebook) funciona como uma espécie de arco íris que leva ao tesouro: nossos dados.
O problema nao está só no Facebook. Até porque ele está acompanhado da Amazon, Google, Apple. E alguns podem dar de ombros e dizer que esse rastreamento das lojas e sites que visitamos, em particular, pode nem ser tão preocupante, apenas irritante.
Mas é fato que, pela nossa sanidade, pela longa vida às artes, à filosofia, à política, ao cinema, às reais trocas de ideias, precisamos de uma internet democrática. Uma World Wild Web, isto é, uma Web “selvagem” no bom sentido, ampla de fato, democrática, capaz de se abrir à vastidão da natureza humana, dos nossos desejos e sonhos, ajudando-nos a criar e a fortalecer nossas reais conexões. Para usar esse termo busco como referência o pesquisador Edwin Hutchins, autor de Cognition in the Wild, este livro aqui. A ideia é a de analisar a cognição humana em seu habitat natural, a natureza, a cultura, as relações sociais, em vez de fazer isso apenas em laboratórios/ambientes controlados – o que poderia levar a uma dimensão bem mais fiel dos nossos processos cognitivos.
Penso enquanto escrevo numa Web que reflita as múltiplas realidades que vivemos, que se conecte melhor com o mundo que habitamos e que construimos todos os dias, em vez de apenas tentar construir esse mundo para nós – fazendo-o puramente devotado à venda, um palco em que se discute basicamente o que vale mais e quanto se quer pagar. Um mercado das pulgas em que as pulgas somos nós (isso é pior ainda do que ser as os cacarecos à venda – ou não…). Sim, eu sei que o mundo “real” também o coloca o capital acima de tudo, mas é exatamente por isso que precisamos mudar a Web (e o mundo) antes que o mundo que a Web tenha para refletir seja exatamente esse mundo chato e vazio como ela!
Um exemplo: para um músico “independente” – uma classificação que considero um tanto falha (por vários motivos) mas que apenas quer dizer no senso comum um artista que faz seu próprio percurso sem esperar as grandes gravadoras/o mainstream etc (o que acho louvável) – usar o YouTube para divulgar seu trabalho tornou-se praticamente impossível. Se tem dúvidas, converse com um deles e confira a odisseia que é ter um canal e conseguir alguns míseros seguidores., mesmo que você tenha uma carreira consolidada, muitos fãs, muitos shows no currículo e muitos álbuns lançados. As redes sociais que usamos são mainstream. Elas criam o seu próprio mainstream. O problema é que elas definem as prioridades e descartam o que não é prioridade para elas. Os “grandes” seguem “grandes”, com muitas aspas, e os “pequenos”… os pequenos que lutem.
Esse é só um exemplo. Se você nunca estranhou o alcance ínfimo de uma determinada publicação sua no FB quando esperava muitos likes, é porque provavelmente só posta gatinhos. O FB adora gatinhos. Aliás, aposto que Zucker fez algo de bom, pelo menos, que foi popularizar os gatos e fazer mais pessoas adotá-los, porque agora parece que todos têm gatos. O FB adora gatos porque as pessoas passam HORAS vendo vídeos de gatos.
Voltando à Web democrática: ela era a ideia original de Tim Berners Lee, mas simplesmente não aconteceu. Mas ele não desistiu: Tim tem uma startup chamada Inrupt e está trabalhando por uma nova estrutura de rede, chamada SOLID. A ideia é repensar a maneira como aplicativos armazenam e compartilham dados pessoais. Para isso, em vez de armazenar dados em servidores de uma empresa que se interessa apenas em lucrar a partir deles, os usuários teriam um pequeno servidor exclusivo, localizado no Solid, um servidor grande. O problema dessa história é que ela parece levar ao problema do regresso infinito, isto é, Berners-Lee acabaria por ter os dados de todos armazenados em seu mega servidor com vários mini servidorezinhos; mas ele diz que não, que os dados estariam somente no servidor de cada um. De todo modo, as motivações de Tim me parecem sem dúvida melhores do que as de Zucker e sua turma, que não sabem mais onde colocar seu dinheiro. E continuam querendo faturar mais e mais às custas não apenas da nossa privacidade como do esvaziamento total da graça que a internet um dia teve, quando prometia ser a terra da criatividade que representava uma real alternativa ao caminho até então monótono do broadcasting.
Berners-Lee e o CEO (odeio estas siglas) da empresa dele – que não é ele, mas sim um cara chamado John Bruce – não esperam que o modelo descentralizado que estão tentando materializar desmorone as tech giants num passe de mágica, como bem lembra este artigo aqui da Wired. Até porque Zucker e os amigos não querem largar o osso carnudo dos nossos dados. O que a dupla Berners-Bruce quer é lançar uma alternativa, que possa se popularizar ao menos entre quem está preocupado com tudo isso que estou expondo neste texto e anseie por uma rede mais bacana, mais leve, aberta e criativa. Não sei exatamente como isso vai funcionar, se vai funcionar, mas esse caminho me parece bastante interessante e pretendo acompanhar. Sugiro que façam o mesmo. Até porque o problema não é apenas você gostar de hambúrguer com cheddar, e ficar toda hora aparecendo hambúrguer com cheddar para você nos anúncios na “sua internet”. O problema é que assim você vai viver num mar de hambúrgueres de cheddar com pequenas variações (com ou sem cebola…) em vez de conhecer um mundo que também tem hotdogs, pipocas doces, salsichas alemãs, saladas, pizzas ou seja o que for.
É bom pensar nisso antes que sua pressão arterial saia do controle.
Navegando pela rede, você certamente já se viu diante de anúncios de algo que andou procurando, como se o seu navegador tivesse “adivinhado” o que você queria. Ou já recebeu uma sugestão de filme ou série que a Netflix achou que seria “a sua cara”…
(Bem, nem sempre funciona tão bem…)
… pois os nossos dados têm sido utilizados em sistemas de machine learning para fazer previsões e identificar tendências.
Muito se tem falado sobre as potencialidades do big data para a educação. Para quem não está familiarizado com o termo, trata-se dessas “coleções maciças de dados” (segundo os autores do artigo Tecnologias digitais na educação: a máquina, o humano e os espaços de resistência; clique para ler) que são geradas na medida em que navegamos por sistemas digitais e deixamos os nossos rastros nessas plataformas.
O que isso pode significar quando se trata de educação? A pergunta ainda é uma caixa preta, mas é preciso um esforço para abri-la.
Apesar do oceano de implicações positivas que vêm sendo apontadas para o uso de machine learning e de big data na educação, é preciso ir devagar com esse andor porque o santo é de barro. O que (vem sendo propagado que) o big data promete?
Quando se trata do uso de plataformas de aprendizagem baseadas em machine learning, basicamente o que se destaca é que, tendo mais informação sobre o desempenho e o ritmo individual de cada aluno, se poderá oferecer conteúdos mais apropriados à sua aprendizagem, no tempo e na sequência mais adequados para cada um. Com isso, se alcançaria “melhores” resultados, aproveitando ao máximo as potencialidades de cada aluno, resolvendo problemas e dificuldades que eles eventualmente tenham etc. Parece perfeito – e alinhado ao discurso da tecnologia como panaceia para tudo aquilo que se tem tentado solucionar na educação há tantos anos. Bem, esse, em si, já é um indício de que é preciso olhar para o tema com mais atenção.
Um exemplo, tirado deste livro aqui, intitulado Learning with Big Data – The Future of Education, é o rastreamento do comportamento de alunos em relação a vídeos de palestras numa plataforma online de atividades: é possível saber quando eles assistem aos vídeos, quando pausam, se aceleram para ver mais rápido, se os abandonam antes de terminar de assistir. Com base na identificação desses padrões, professores poderiam ajustar lições, decidir reforçar conceitos que aparentemente os alunos não entenderam bem ou mudar a maneira de explicar determinado assunto, por exemplo.
Mas, isso quer dizer que esteja ocorrendo um processo de aprendizagem melhor, realmente? Antes, aliás, isso significa que está ocorrendo, de fato, aprendizagem? O discurso costuma ser de que sim, mas… essa é uma conclusão que não se deve apressar.
Um artigo do New York Times – ‘The Machines Are Learning, and So Are the Students’ (“As Maquinas estão aprendendo, e também os alunos”), de Craig Smith, publicado em dezembro do ano passado – já no título traz um pressuposto enviesado para o uso de inteligência artificial na forma de machine learning: a ideia de que as máquinas aprendem. Mais audaciosamente, indica que os alunos estão aprendendo, também, graças a essas máquinas e sua suposta sagacidade. Smith diz:
Slowly, algorithms are making their way into classrooms, taking over repetitive
tasks like grading, optimizing coursework to fit individual student
needs and revolutionizing the preparation for College Board exams like
the SAT. A plethora of online courses and tutorials also have freed teachers
from lecturing and allowed them to spend class time working on problem
solving with students instead.
Aqui, já vemos uma outra face do discurso: para além de individualizar o ensino, o uso de sistemas baseados em algoritmos poderia poupar os professores de tarefas como avaliar seus alunos e até de dar aulas expositivas (hum… alguém perguntou aos professores se eles querem parar de dar suas aulas?), podendo usar o tempo para trabalhar com seu alunos em “resolução de problemas”. Perceba que o discurso é sempre de usar melhor o tempo, aprender melhor, mas, não se sabe o que esse “melhor” de fato significa. Com frequência, a ideia adjacente é a de que o professor pode ser substituído, ao menos em certas atividades (tão diferentes quanto dar aulas expositivas e corrigir avaliações…).
Em outro trecho, que reproduzo a seguir, o jornalista aponta pesquisas (sem especificar quais) que teriam mostrado a superioridade de tutores na forma de inteligência artificial em relação a tutores humanos. Isso se daria porque “o computador é mais paciente” que o professor, além de mais insightful – o que poderia significar ter ideias melhores ou ser mais criativo (?)
Studies show that these systems can raise student performance well
beyond the level of conventional classes and even beyond the level achieved by
students who receive instruction from human tutors. A.I. tutors
perform better, in part, because a computer is more patient and often more
insightful.
Será?
Num cenário em que predomina o discurso sobre os efeitos positivos da inteligência artificial na educação, esse artigo é apenas um exemplo. São muitos os que trazem algo nessa mesma linha.
Somente com estas breves referências que apontei até aqui, já abrimos uma infinidade de questões a serem postas em xeque tanto sobre o uso efetivo da IA na educação na forma de [machine learning + big data] quanto sobre o discurso. Predomina uma argumentação acrítica e pasteurizada, que costuma assinalar os ganhos sem pesar as possíveis consequências advindas do uso massivo de dados.
Não se procura saber, nem mesmo, o que são esses dados. Isto é, o que quer dizer, efetivamente, o tempo que um estudante levou para fazer uma lição? Quando esse tempo é fornecido a partir do rastreamento da atividade desse aluno, ele não parece dizer muita coisa. O que realmente aconteceu com o aluno durante o tempo em que ele estava logado? Não somos meros logins, somos pessoas, num determinado espaço, em determinado momento. Talvez não possamos ser representados somente por números.
De volta para o futuro
Mesmo que se pudesse prever todas as adversidades envolvidas em dada situação cujo objetivo é o ensino e a aprendizagem, aí já está um x da questão: a previsão. Especialistas com um olhar crítico à IA na educação vêm indicando que isso pode gerar um passado cristalizado e prender os alunos a um futuro rígido, imutável.
Uma vez que o machine learning trabalha a partir de tais previsões, já que se utiliza de dados gerados pelos estudantes para que, com esses dados, possa identificar tendências, há o risco de os estudantes se tornarem eternamente atados ao seu passado – carregando uma espécie de mochila pesada de históricos escolares detalhados a seu respeito que nunca são esquecidos e podem permanecer acessíveis por mais tempo do que seria desejável.
Seu futuro lhes faria vítimas das previsões justamente baseadas em dados estáticos, os quais podem não corresponder mais à sua realidade. Somos, afinal, seres em constante transformação e evolução. Envolvidas nisso há diversas implicações, especialmente, para a privacidade dos alunos – já que os dados podem ficar acessíveis para fins questionáveis, o que pode prejudicar sua vida profissional e pessoal.
Neutralidade tecnológica?
De onde vêm os dados gerados a partir da atividade dos alunos em uma plataforma baseada em machine learning? Dados não surgem por acaso, não são espontâneos e nem existem por si só. Eles surgem nas interações entre alunos e máquinas, e essas interações são limitadas pela maneira como o sistema é construído, pelo que se espera dele, pelo que é injetado em seus algoritmos. Isto é, dados emergem a partir de decisões tomadas no desenvolvimento dos algoritmos para os sistemas de IA utilizados nas plataformas.
Nesse desenvolvimento, priorizam-se determinados aspectos em detrimento de outros.
Fatalmente, também por sua vez, os resultados obtidos trarão consigo a priorização de certo aspectos e não de outros. Um problema relevante, por trás disso, é que frequentemente somos avaliados por fórmulas secretas que não compreendemos, como ressalta a matemática Cathy O’Neil. Se o que se avalia não fica claro, é certo que, como O’Neil explica: “Para construir um algoritmo, são necessárias duas coisas: dados – o que aconteceu no passado – e uma definição de sucesso, aquilo que estamos procurando e pelo que estamos geralmente esperando”.
A definição de sucesso adotada estará instilada nos algoritmos. A suposta neutralidade tecnológica não existe...
Vieses
Pode-se facilmente compreender como pode haver (e há, muitos) vieses em algoritmos quando se trata do preconceito racial em alguns sistemas de reconhecimento facial, por exemplo. Esses são casos contundentes e que têm adquirido notoriedade, tornando-se o centro de preocupações éticas concernentes ao campo.
A IBM afirmou que abandonaria pesquisa em reconhecimento facial por conta das implicações éticas e da falta de regulamentação – Leia
Na educação, mencionei questões sobre a privacidade dos dados dos estudantes e ao fato de os sistemas não serem claros quanto às variáveis relacionadas ao que é avaliado. Mas, ainda não falei dos professores. Há também iniciativas que procuram avaliá-los a partir de big data, com consequências que merecem (muita!) atenção.
Em sua palestra no TED, O’Neil cita a diretora de um colégio no Brooklyn que, em 2011, disse a ela que sua escola estava avaliando os professores a partir de um algoritmo complexo – e secreto. A diretora relata que tentou conseguir a fórmula para entender os critérios envolvidos naquela avaliação, mas o que ouviu da secretaria de educação foi que não adiantava lhe explicar porque ela não entenderia, já que se tratava de matemática.
Conclusão (conheça a história no TED): professores daquela escola foram demitidos por causa da tal fórmula secreta, uma caixa preta que a diretora tentou abrir, sem sucesso.
Como O’Neil destaca, o poder de destruição de um algoritmo projetado de maneira equivocada é imenso, e essa destruição pode se arrastar por bastante tempo. Mas, quando o assunto é uma modelagem envolvendo algoritmos, o pior de tudo é a falta de transparência. Por isso ela cunhou o termo “armas de destruição matemática”.
Não somos somente pontinhos em um grande mapa de dados… (Imagem: Maria Bobrova @ Unsplash)
O big data na educação é uma caixa preta devido à dificuldade, em geral, de entendimento do que a inteligência artificial, na forma do machine learning, significa ou pode significar para processos educacionais. E se torna ainda mais obscura quando, sem que se conheça os critérios utilizados, alunos e educadores sejam submetidos a avaliações e análises frequentemente injustas; e o pior, sem poder contestá-las.
O’Neil dá vários exemplos de como o uso indevido de dados tem prejudicado pessoas em variadas situações. Para entender isso melhor, é preciso olhar para a noção de modelo; o que é um modelo e por que ele pode se tornar uma arma de destruição matemática? Explicarei isso em outro post.
Agradeço à Giselle Ferreira, professora da PUC-Rio que está ministrando uma disciplina sobre big data e educação este semestre, pelos ricos debates que tanto colaboraram com insights para que este(s) post(s) fossem escritos. Leia o blog dela, no qual é possível obter uma perspectiva crítica sobre as tecnologias educacionais: https://visoesperifericas.blog/
Documentário “The Social Dilemma“, da Netflix, está dando o que falar. Ficou pessimista depois de assistir? Leia este post.
The Social Dilemma (O Dilema das Redes, em português), que aborda a manipulação de nossos dados pelas redes sociais online, traz depoimentos de pessoas que desistiram de trabalhar nas gigantes de tecnologia – Google, Instagram, Facebook, Pinterest e afins. Os entrevistados perceberam, pode-se dizer, que os valores das empresas em que eles vinham trabalhando não estavam mais de acordo com aquilo que eles acreditam, e resolveram tomar outros rumos na vida.
Mas, então, onde é que essas pessoas estão hoje? O que elas estão fazendo de suas vidas? E os outros entrevistados que aparecem no doc, quem são e qual tem sido o seu papel no universo da tecnologia? Muitos deles estão fazendo coisas bem legais, algumas bastante inspiradoras, que podem ajudar a mudar significativamente a nossa relação com a tecnologia, tanto individual como coletivamente. Outros escreveram livros com temáticas excelentes.
Essas pessoas têm em comum a desconfiança quanto a esse status quo do universo tecnológico, e são movidas por suas experiências e pela vontade de levar mais gente a se preocupar com a maneira como fazemos e consumimos tecnologias.
Então, antes de ficar pessimista, ou de achar que não dá para fazer nada “porque o mundo agora é assim mesmo”, talvez valha conhecer algumas das iniciativas que têm surgido a partir dessa vontade de mudança. Escrevi sobre algumas delas, aqui – e pretendo escrever sobre as demais (pessoas do doc e iniciativas) num outro post. Vale pensar em se envolver em algum(ns) projetos capitaneados por essa galera ou, ao menos, ler alguns livros e/ou assistir a outros documentários. Quem sabe começar desativando suas notificações? Aproveita e ainda evita que a bateria do seu celular gaste à toa 😉 Se estamos preocupados, precisamos nos envolver, conhecer mais sobre o assunto e assumir uma postura diferente. Evitar o tema não é uma opção.
Tristan Harris
Ele passou anos no Google como Google Design Ethicist. No documentário, conta um pouco dessa sua experiência, que demonstra a falta de preocupação da empresa com questões éticas e de privacidade. Harris é fundador e presidente da ONG Center for Humane Technology A página que apresenta a iniciativa diz:
We envision a world where technology is realigned with humanity’s best interests. Our work expands beyond tech addiction to the broader societal threats that the attention economy poses to our well-being, relationships, democracy, and shared information environment. We must address these threats to conquer our biggest global challenges like pandemics, inequality, and climate change.
A ONG convida quem quiser ajudar a remodelar a maneira como construímos e consumimos tecnologias: https://www.humanetech.com/get-involved – e ressalta que não precisa ser empreendedor, programador ou o que quer que seja para se envolver; se você for da área de tecnologia é bem-vindo, mas basta ser “cidadão, educador ou pai/mãe”. Para saber o que exatamente dá para fazer junto a eles, é preciso fazer um cadastro inicial.
Shoshana Zuboff
Shoshana Zuboff é professora em Harvard e autora do livro “The Age of Surveillance Capitalism”, sobre o qual você pode ler neste link – https://shoshanazuboff.com/book/about/. Este documentário que postei aqui explica muito bem a ideia do capitalismo de vigilância de que ela fala.
Justin Rosenstein
Com mais de 170 mil seguidores no LinkedIn (o que não quer dizer nada por si só e nem sei por que citei aqui, mas ok), Justin, que estudou em Stanford (isso também não quer dizer lá muita coisa, por si só), foi da Google e do Facebook, e depois seguiu fazendo seus projetos pessoais: o Asana, um software independente que tem a função de melhorar a produtividade das pessoas, e o One Project, voltado para o design de governança e sistemas econômicos mais “equitativos, ecológicos e efetivos”, segundo ele informa no LinkedIn. O site dele é este: https://justinrosenstein.com/ e no vídeo ele fala sobre a Asana.
Roger McNamee
McNamee é um investidor no Vale do Silício. Ele injetou dinheiro no Facebook e ajudou Zuckerberg a crescer, mas, hoje, como o documentário da Netflix mostra, é um ferrenho crítico ao modo como a empresa orienta suas atividades. Ele afirma que o Facebook é uma ameaça à democracia, e acusa a rede de espalhar as chamadas fake news.
McNamee escreveu um livro chamado Zucked: Waking up to the Facebook Catastrophe. Vale dizer que, no vídeo que postei aqui, ele diz que a Apple, de maneira bem diferente do Facebook, é responsável com os usuários em relação a questões de privacidade – o que mostra que as opiniões de todas estas pessoas podem ser diferentes em relação às companhias de tecnologia envolvidas em todas essas temáticas. Serve para construirmos o nosso próprio pensamento crítico.
Tim Kendall
Kendall foi presidente do Pinterest e Diretor de Monetização do Facebook. Ele criou um app chamado Moment, desenvolvido para ajudar as pessoas a fazerem “detox” de seus smartphones. O aplicativo está disponível para ser baixado de graça na App Store e aqui há mais informações – https://inthemoment.io
Rashida Richardson
Ela trabalhou no Facebook e em vários outros lugares, e hoje é a diretora de Policy Research no AI NOW – um instituto de pesquisa em inteligência artificial que examina as implicações da IA para a sociedade ligado à New York University; o site é este aqui: https://ainowinstitute.org/ e a página do site que fala sobre a Richardson é esta: https://ainowinstitute.org/people/rashida-richardson.html .
O instituto dedica-se a pesquisas que contribuam para que sejam criados mecanismos, políticas, leis etc. para que haja responsabilidade/responsabilização pelo uso e a produção de tecnologias envolvendo inteligência artificial. Atualmente, as quatro principais frentes de pesquisa do núcleo são: direitos e liberdade; trabalho e automação; preconceito e inclusão; segurança e infraestrutura crítica.
Jaron Lanier
Lanier, que é cientista da computação e filósofo, trabalhou na Microsoft até 2009. Depois, ele escreveu vários livros além do citado “Ten arguments for deleting your social media accounts right now”; escreveu um chamado “Who own the future?” e ainda “You are not your gadget”, entre outros, apresentados em seu site: http://www.jaronlanier.com/ . Aliás, no site ele reforça que não tem (mesmo!) contas em redes sociais.
Cathy O’Neil
Cathy é uma matemática americana, autora do site/blog mathbabe: https://mathbabe.org/ e do livro “Weapons of Math Destruction”, sobre o impacto dos modelos matemáticos e dos algoritmos de IA em diversas áreas da sociedade (destaque especial para a educação e para o mercado financeiro). O mais legal desse livro é que ela usa uma linguagem super corriqueira, inteligível, para nos explicar os modelos matemáticos e suas implicações (como jornalista e doutoranda, já estava desacostumando de livros que explicam as coisas de uma maneira mais, digamos, objetiva…). A obra ainda não está disponível em português, porém. De todo modo, a palestra dela no TED dá uma boa introdução à perspectiva de O’Neil.
Uma última curiosidade: Jeff Orlowski, o cineasta norte-americano realizador do doc, já tinha feito dois outros documentários, “Chasing Ice” (de 2012) e “Chasing Coral” (de 2017), que são ligados a temáticas de responsabilização, por assim dizer, mostrando impactos que a humanidade exerce sobre a natureza.
O que Arquitetura de Informação e UX têm a ver com Inteligência Artificial?
A arquitetura de informação é um conceito que se relaciona com um outro, mais amplo: o de Experiência do Usuário, ou UX – User Experience. Quando você navega em um ambiente virtual e consegue fazer tudo o que precisa, encontra as informações que esperava num tempo razoável, se sente bem navegando ali sem se perder e tudo o mais, você tem uma boa EXPERIÊNCIA com aquele ambiente digital, que pode ser um site, um ambiente de aprendizagem virtual ou um aplicativo. Quando é assim, e a sua experiência flui bem, curiosamente, você provavelmente quase nem percebe a forma como aquele site se estrutura. Mas, se algo sai errado, logo vamos perceber o que a arquitetura de informação teve a ver com isso (além do conteúdo em si, é claro).
Arquitetura de informação, então, é a maneira como organizamos as informações em um determinado ambiente para que elas se tornem alcançáveis, visíveis; para que não somente o Google e outros buscadores as encontrem (sim, os buscadores encontram melhor e mais rapidamente sites bem construídos, tanto em termos do código bem feito como da organização das informações; isso também tem a ver com SEO, as técnicas de otimização para buscas) como para que pessoas, em diversas condições, as encontrem também – independentemente de estarem usando um celular para isso ou um computador, e de terem ou não uma deficiência, por exemplo. O ramo dedicado a questões específicas de usabilidade para pessoas com deficiência é o da acessibilidade – aliás, um campo de estudo muito vasto e incrivelmente sedutor.
Bem, mas, voltando: o que é que toda essa ciência de organizar dados e informações de uma maneira que nós conseguimos nos entender com eles tem a ver com inteligência artificial? Bem, a inteligência artificial é muitas coisas, e não venho aqui defini-la, mas, de um modo geral, a IA se baseia na maneira como funcionamos ou, ao menos, como se acredita que funcionamos. Isso ela tem em comum com a arquitetura de informação: ao construir um ambiente digital, levamos em conta o mindset das pessoas (os usuários); a maneira como geralmente as pessoas classificam informações, fazem buscas etc. Para compreender isto, usamos métricas que vão nos mostrando os caminhos realizados.
Do mesmo modo, na inteligência artificial, procura-se construir sistemas a partir daquilo que se entende acerca do funcionamento cognitivo de seres humanos – seja para construir sistemas à semelhança de nossos sistemas cognitivos, seja para construir sistemas que nos atendam na realização de nossas tarefas que envolvem cognição.
Vamos pensar num exemplo que envolva uma questão de arquitetura de informação para depois analisá-lo à luz da IA: ao construir um site de decoração, pode-se imaginar que o usuário interessado em decorar sua casa vai chegar e buscar por “abajur amarelo”, porque deseja comprar um abajur amarelo, ora pois. Se ele assim o fizer, e a busca do site funcionar, verá resultados para abajures exatamente dessa cor. Mas, e se esse usuário que quer decorar sua casa chegar ao site sem ter tanta ideia de qual cor de abajur ficaria bom no ambiente da casa dele, ou se ele nem mesmo souber direito quais os elementos que deseja usar para decorar seu lar – uma luminária, uma mesinha, um tapete? Que tipo de busca ele vai fazer? Ele provavelmente nem vai ficar só na busca. Ele vai clicar em muitas coisas. Vai escrever vários termos no campo de busca. Vai ver muitas fotos, e por aí vai; até ter as ideias de que necessita para sua decoração.
O ponto é que, no geral, nós parecemos ser muito mais como o segundo decorador do que como o primeiro, quando se trata de viver experiências no mundo. Não temos tudo definido e perfeitamente organizado em nossas cabeças. Quando falamos, não tínhamos previamente todos os pensamentos organizados, que vão então sendo expelidos: nós pensamos ao falar e, ao falar, vamos pensando. Quando caminhamos, não temos mapas internos de todos os lugares para onde vamos, que acessamos quando precisamos: nós nos baseamos no entorno, nas pistas visuais que nos ajudam em nossa localização. Quando lidamos com uma certa situação, não temos listas mentais de opções quanto ao que fazer para acessar e fazer nossas escolhas: quando tomamos decisões e fazemos opções, entram em jogo nossas experiências anteriores, a maneira como nos sentimos – as emoções e sentimentos, e tantos outros fatores.
O engraçado é que, quando algo dá errado, passamos às vezes a refazer os nossos passos, rever mentalmente nossas opções, e até tentamos buscar um mapa mental para evitar nos perdermos. Quando isso acontece, ficamos mais parecidos com o que falei no começo do texto; parece que algo dá errado na fluidez da nossa experiência, de maneira parecida com aquele momento em que algo parece errado na arquitetura de informação de um site. Ficamos mais “robóticos”? Será que isso não revela bastante sobre a maneira como um robô trabalha, versus a maneira como nós lidamos com o mundo em que estamos inseridos?
Essas são questões que, acredito, podem nos levar a decisões importantes sobre a construção de espaços digitais. Como a minha maior preocupação é com a educação, volto-me mais para a construção de espaços de aprendizagem (mas creio que a internet toda é um espaço de aprendizagem!). Precisamos descobrir como a cognição humana funciona, se quisermos construir bons ambientes de aprendizagem virtuais. Conhecer e pensar sobre tudo isso ajuda também a quem deseja melhorar a experiência de seus consumidores em uma loja virtual, por exemplo; ou em um app dedicado a um serviço. Por vezes, as métricas são suficientes, mas na maior parte do tempo há muito que elas não revelam, principalmente se não estiverem ajustadas para os KPIs corretos e baseadas em premissas que façam sentido. Mas isso é tema para outro post 😉
Anotei e trago aqui alguns pontos interessantíssimos do debate que assisti nesta quarta, 29 de julho, com a pesquisadora em IA e ética Dora Kaufmane o CCO da Figtree, Ricardo Figueira, sobre inteligência artificial e inteligência emocional. O debate rolou no Instagram do Clube de Criação (@clubedecriacao).
Você quer usar tecnologias de IA na sua empresa/no seu negócio, num empreendimento, num sistema de ensino? Pense no problema que você precisa resolver, antes de pensar na tecnologia. Isso vale para qualquer tecnologia: ela vem para ajudar a resolver alguma questão, dificuldade etc. É preciso um propósito, sempre! Super concordo com isso. Precisamos sempre refletir e analisar aquilo que precisamos resolver para, então, tomar uma decisão sobre qual tecnologia escolher ou desenvolver. Já passei por diversas situações em que foi preciso relembrar os envolvidos no projeto acerca disso. A IA, da mesma forma, é atraente e tem muitas utilidades, mas é preciso pensar para que se quer utilizá-la, e então tomar uma decisão.
A IA não é, portanto, uma decisão da TI de uma empresa: é preciso mudar a cultura. E é o propósito que impulsiona a transformação digital de uma empresa. Cada negócio tem a sua necessidade e traz diferentes necessidades de usos de tecnologias. A cultura só muda a partir daí. Vivi bastante isso quando trabalhei num grande jornal que estava implementando a sua transformação digital, por exemplo. Não me refiro particularmente ao uso da IA, que não era o foco da empresa, mas de tecnologias digitais em geral, que foram alvo de muita resistência por parte de funcionários e até gerentes. A cultura, se emperrada não traz transformação.
Por trás das grandes empresas de tecnologias está a IA: Google, Amazon etc. O modelo de negócios delas é a inteligência de dados, e os modelos de IA são usados para extrair informações para a criação de serviços mais adaptados a seus públicos. Desse modo, a IA permeia diversas soluções tecnológicas que já estão entre nós;
A tecnologia dos bots/chatbots é a mais popular entre as empresas hoje (ex. a IA Bia do Bradesco). Mas as pessoas, segundo pesquisas, não gostam de se relacionar com máquinas e sim com pessoas (mesmo que humanos falhem mais!). Isso aponta para uma questão cultural. Um exemplo dado por Kaufman foi o do Japão: devido à crença no animismo (segundo a qual objetos também têm espírito), os robôs cuidadores são comuns, por exemplo; enquanto, para nós no Brasil, o valor das relações passa pelo olho no olho. Conheço pesquisas sobre robôs cuidadores em Portugal, também, algumas estavam indo bem até onde sei. Mas esse ponto levantado me fez repensar alguns aspectos que venho pesquisando em Hubert Dreyfus, filósofo que desenvolveu uma crítica à IA e sempre defendeu a ideia de que emoções são essenciais para a cognição. Ele menciona a questão do olho no olho na sala de aula: quando estamos online, acaba faltando esse cara a cara, típico do presencial. Quais as consequências disso? São mais relevantes/complexas quando se trata de educação do que de aplicações comerciais e/ou de entretenimento? Tendo a pensar que sim, mas sigo investigando.
Também temos, por outro lado, a característica de nos adaptar às transformações. Quanto ao uso de bots, por exemplo, 90% das perguntas feitas por usuários são perguntas padrão: podem, assim, ser previstas. Então, será que não podemos ter robôs respondendo a 95% delas, rápida e precisamente, e pessoas respondendo aos outros 5%, sem prejuízos para nossas interações e resoluções de problemas? Parece que sim. Outro dia, em meio à pandemia, troquei de operadora de celular e fiz tudo pela IA das operadoras, online. Gostei da experiência.
Entre os principais pontos de atenção da IA estão as questões éticas advindas do grande acúmulo e circulação de dados, pois eles podem sair do controle. Questões de privacidade surgem aí. Surgem também desigualdades no mercado de trabalho, que coloca as pessoas mais qualificadas (em menor quantidade) em uma ponta e um grande conjunto da população em outra ponta, muito mais numerosa, impactada pela perda de empregos em que a substituição pela tecnologia passa a predominar. Adiciono a essa questão ética uma que mencionei outro dia nesta live da TV PUC, e que diz respeito a educação e democracia: o acesso a tecnologias pode potencializar a cognição, especialmente no caso de tecnologias assistivas (utilizadas por pessoas com deficiência). Mas, como fica o caso das pessoas que não podem acessar essas tecnologias? Isso ficou bastante explícito e radicalmente posto no momento da pandemia, quando inúmeros estudantes, sem acesso à internet, ficaram sem poder assistir às aulas da escola ou faculdade, ou seguir estudando online de alguma maneira. Temos um problema ético, ou melhor, vários.
O modelo de deep learning é um modelo estatístico que tem uma capacidade de fornecer um conjunto de milhões de dimensões, enquanto modelos estatísticos tradicionais têm uma capacidade muito menor de fazer isso. Para sistemas de reconhecimento facial, por exemplo, isso faz toda a diferença. As expressões são captadas em detalhes, até mesmo em entrevistas de emprego em que algoritmos agem para identificar a forma como candidato se expressa (já tinha pensado nesse uso da IA? Eu não tinha!)
Esses modelos de aprendizagem de máquina correlacionam variáveis que fogem às ações do próprio programador. Eles não usam apenas variáveis pré-programadas. Esse é um ponto bastante importante e que deixa várias dúvidas, uma espécie de caixa preta da IA. Andy Clark fala sobre isso, se não me engano, em Mindware, este livro aqui.
Kaufman destacou que precisamos criar uma parceria com os modelos de IA, e podemos fazer isso compreendendo-os, conhecendo esse sistemas minimamente. Não só concordo com ela como falei sobre isso também na live da TV PUC, que já mencionei, bem como nos meus trabalhos acadêmicos. Conhecendo a IA, ainda que de maneira limitada; compreendendo seus usos possíveis, podemos nos posicionar criticamente em relação a essas tecnologias. Isso é fundamental. Temos que conhecer nossas potencialidades, nossas limitações e as potencialidades das tecnologias quando nos unimos a elas. A educação precisa conhecer essas tecnologias. Tememos o que não conhecemos…
Figueira destacou que precisamos compreender como as pessoas funcionam, sentem etc, para conseguirmos progredir mais nas tecnologias e em nossa relação com elas. Eu não podia concordar mais, tanto que dedico minha pesquisa de doutorado ao estudo da cognição na educação com foco nas emoções e no corpo. E Kaufman destacou que precisamos também conhecer sobre como as máquinas funcionam. Sim, totalmente. Os dois lados da mesma moeda, como a mente e o mundo na fenomenologia.
Hubert Dreyfus foi um filósofo que deixou como legado uma interpretação de conceitos da fenomenologia advindos de Husserl, Heidegger e Merleau-Ponty aplicados à inteligência artificial. Descobrir os conceitos da fenomenologia por meio dos ensinamentos desse filósofo é uma aventura bastante interessante e rica, que promete subverter muitas ideias pré concebidas que possamos ter da nossa existência no mundo.
Fiz aqui uma seleção de vídeos em que Dreyfus comenta alguns conceitos fundamentais da fenomenologia, que podem ser úteis para quem deseja entrar nesse universo.
Gap sujeito-objeto
Neste primeiro vídeo, na primeira parte da entrevista (chamada Fenomenologia), Dreyfus comenta sobre os movimentos de Heidegger contra a distinção sujeito-objeto cartesiana. Para a fenomenologia, não há um abismo entre sujeito e objeto, ou um gap; sujeito e objeto precisam um do outro para existir. Como aprendemos sobre o mundo? Não é armazenando uma série de fatos em nossas cabeças. Nós aprendemos na medida em que vamos discriminando o mundo, e assim ele vai se descortinando para nós. Merleau-Ponty compara esse fenômeno a uma cidade que a princípio não conhecemos e então nos parece caótica. Na medida em que a experimentamos, na medida em que a conhecemos, nós nos apropriamos dessa cidade e passamos a ser capazes de caminhar, de nos localizar por ela. Não precisamos de modelos do mundo armazenados em nossas mentes porque o mundo é o melhor modelo de si mesmo, diz Dreyfus, em clara referência à frase famosa do roboticista Rodney Brooks, “The world is its own best model”.
Na parte chamada de Inteligência Artificial, Dreyfus comenta sobre a premissa equivocada da IA, que partiu da ideia de que armazenamos representações do mundo, e sobre como isso não poderia dar certo porque não é assim que humanos funcionam. Ele explica o frame problem na IA (mais ou menos aos 13′ do vídeo) e comenta sobre a dificuldade de incutir, nas máquinas, conhecimentos do senso comum.
