Transparência Hackday Porto

Sessão dedicada à discussão dos projectos, realização do ponto de situação e também à produção.

Análise da “concorrência”
Um dos pontos abordados foi a discussão da pertinência do Transparência Hackday após o lançamento do projecto Parlamento transparente, iniciativa do jornal Público.
Esta coincidência no tratamento do mesmo objecto, o sítio do parlamento.pt, e a associação à procura de maior transparência e proximidade dos cidadãos, não o é mais que na forma e intenção, porque as abordagens são distintas. Antes de mais, o grupo saudou a “concorrência” e reconhece que efectivamente o tema transparência está na moda. Analisando o trabalho do Público, verifica-se que é uma filtragem cirúrgica de alguns dados do Parlamento.pt e a criação de listas, cuja consulta em detalhe remete de novo para o Parlamento, com uma muito ligeira infografia e estatísticas.
Discutiram-se os pontos comuns e encontraram-se várias características diferenciadoras que continuam a justificar o mesmo entusiasmo e pertinência do projecto Transparência Hackday delineado anteriormente.

• Primeira: o grande trunfo do Transparência Hackday reside no facto de disponibilizar os datasets, algo que o jornal Público não faz nem é a guerra do jornalismo; a nossa meta principal é chegar aos dados e dar acesso para que as pessoas possam livremente usá-los e relacioná-los como entenderem;
• Segundo: a cobertura retrospectiva não parece estar contemplada no projecto do Público, o que ocorre no Transparência Hackday;
• Terceiro: a visualização de dados pretende ser uma das vertentes mais marcantes do Transparência;
• Quarto: a leitura e o filtro dos dados no Público é a que o jornal decide, mas no Transparência, procura-se que os filtros sejam as pessoas que decidam. Para ilustrar a diferença de posicionamento, referiu-se mesmo o top dos deputados com mais propostas legislativas e mais intervenções. O Transparência não quer ficar por um mero número. Os números são importantes, mas dar a possibilidade de os cruzar com outros dados pode fazer toda a diferença. Ou seja, a quantidade pode não ser sinónimo de qualidade. Permitir essa leitura dupla é uma mais-valia do Transparência.

Em suma, o Parlamento transparente só vem confirmar a relevância do tema e mostrar que a recolha e tratamento dos dados da Assembleia dizem muito da actividade parlamentar.

Futuro Transparência Hackday
Sobre o futuro do projecto Transparência, abordaram-se alguns aspectos:

• Alojamento: embora sem premência imediata, é preciso ir preparando uma solução pois um serviço aberto pode estar sujeito a muitas requests. Numa fase anterior, optar-se-á por um servidor beta e cedência de password a um grupo de pessoas.
• Apoio institucional: procurou-se o apoio da ANSOL, mas até à data não se obteve qualquer feedback. Portanto, esse esforço de contacto vai ser abandonado.
• Registo: o registo dos datasets em domínio público ou com licença Creative Commons Share Alike é provavelmente a via mais recomendável para salvaguardar a neutralidade, abertura, acesso e reutilização dos dados no interesse da cidadania e participação dos cidadãos.
• Parcerias: Transparência e Integridade, Associação Cívica contactou o Hacklaviva e mostrou-se interessada em conhecer pormenores dos planos na área da Transparência. O grupo saudou o interesse e forneceu informação, mas acha que é precoce estar a formalizar uma cooperação no imediato, já que a própria Associação Transparência e Integridade está ainda a criar o seu programa. A seu tempo poder-se-á concretizar aproximações num ou noutro ponto. A apresentação da associação na Universidade Lusófona em Novembro pode ser uma ocasião para estudar possíveis trabalhos em conjunto. Existe a possibilidade de disponibilizar servidor para o Transparência.
• Plataforma: acerca do backend, o grupo tem a ideia muito bem definida – datasets, abertura, neutralidade. Acerca do Frontend, considera-se que não é desejável apontar uma única solução.

Ponto de situação dos trabalhos

• Tratamento das sessões parlamentares – o Ricardo está na fase de corrigir os bugs do script para estender a sua aplicação a um corpus mais alargado de documentos. A Cláudia e a Ana já delinearam a próxima frente de trabalho, dar início ao tratamento temático ao material das sessões. O plano consiste em criar um ficheiro de palavras vazias que seja dado ao sistema no momento da indexação dos termos. Todas as palavras que se encontrem na lista vão ser rejeitadas e excluídas do índice. A estratégia será listar as palavras por categorias gramaticais, por forma a deixar como palavras nucleares e significativas do ponto de vista do conteúdo, os nomes e os verbos. Assim, preposições, advérbios, pronomes, nomes cujo uso repetido nas circunstâncias de um discurso, por si só não acrescentem à análise do tema abordado, ex. “senhor deputado”, “afirmou”, “disse”, etc. A leitura atenta das transcrições de algumas sessões dará certamente mais pistas da melhor forma de criar o ficheiro de texto de palavras vazias.
• Visualização de dados - o Victor afirmou ter estado a ver o potencial do mapping para o projecto. Continua a tratar dados para a visualização dos deputados por legislatura.
• Importação da informação dos deputados para Drupal - depois de testes com módulos como o Feeds, Table Wizard e Node import, a Cláudia e o Tiago consideram que o sucesso do import depende dos csv e da relação entre as tabelas na origem. O ideal é que todas as tabelas na BD estejam interligadas entre si de modo a evitar esse esforço de junção posterior. Nesta sessão, editaram um csv que conjugou os campos de duas tabelas (portanto 2 csv) e a importação foi transparente e bem sucedida. Neste facto, pode estar a acontecer uma de duas situações: as queries para obter os csv à BD não estão a ser bem feitas, estando a retirar-se um csv por tabela, quando é possível fazer uma consulta na BD multi-tabela; a gestão de registos criados a partir de multi-tabelas e com campos multi-valor é perfeitamente possível ao nível do Drupal, mas requer uma expertise e solicita imenso o sistema, sobretudo se pensarmos nos milhares de nós com que o sistema tem de lidar. A percepção do Tiago e da Cláudia é a da que seria muito importante haver o máximo de flexibilidade na saída dos dados: resultados de uma tabela completa; resultados de alguns campos de uma tabela; resultados da combinação de tabelas.
• Documentação e diversos – A Ana e o Daniel estiveram a acertar questões de configuração de ficheiros, encoding e a analisar a documentação do projecto. O Daniel criou um espaço no GitHub para que seja possível guardar aí código, sources, de forma mais clara e acessível. O endereço é: http://github.com/idnael/transparenciapt
• Listagens a criar – duas listas devem ser objecto da atenção dos elementos. Neste momento ninguém está a tratar disso…
  • Fotografias dos deputados – o parlamento.pt não tem retratos. Fontes possíveis são a Wikipédia e o Parlamento transparente, embora esta última tenha o inconveniente de ser apenas referente à actual legislatura e poder tratar-se de fotos do arquivo do jornal e sujeito às leis de direito autoral.
  • Nomes abreviados – no parlamento.pt a forma dos nomes é a forma completa. Porém, para a análise das sessões vai interessar ter a lista de todos os deputados pela forma abreviada, pela qual são designados e conhecidos. A Wikipédia tem as duas formas, sendo uma boa fonte para essa recolha. Nesse sentido, quem tiver meios e ideias para automatizar o processo, comunique a intenção e avance.

Redes comunitárias wi-fi
O último tema tratado foram as redes comunitárias sem fios, tendo estado o Sérgio a inteirar-se da documentação relativa à Unimos.net e Guifi.net
Em grupo, começou-se por referir os locais de instalação das antenas, todos eles altos, de acesso fácil e consentimento possível junto dos responsáveis. A saber: último andar de um prédio a 30 metros do Hacklaviva, espaço Musas (no Marquês), Alves Redol, edifício da Gest.
O Sérgio, com bastantes conhecimentos nesta área, recomendou que se acrescentasse às fontes, o Fórum Wireless.pt que era (e pensa que ainda é) bastante dinâmico. Disse ainda que a sul, no Algarve, existem várias comunidades locais fervilhantes.
O próximo passo consiste em montar algumas antenas para conseguir access points para testes. Nessa altura, vai ser mais fácil avaliar as necessidades de localização e se a topografia portuense afecta muito ou não o sucesso da empresa. Porque apesar do Porto não ser uma cidade muito dispersa geograficamente, tem prédios bastante altos e ruas muito estreitas que podem dificultar muito a chegada de sinal.
O Ricardo contactou por email o José Monteiro da Unimos para agendar uma ligação Skype mais técnica. Foi criada uma página na wiki do Hacklaviva para este projecto. Desta forma, fica mais fácil o acesso à informação e à edição da mesma sempre que se justifique.

As sessões do Hacklaviva sucedem-se a bom ritmo, intercaladas por encontros como a das Redes comunitárias wi-fi no dia 15 com a presença de Al da Guifi.net e José Monteiro da Unimos.net

O saldo desse evento foi muito positivo e estimulante, pela natureza do projecto, pelos comunicadores e pelos contornos que o panorama das redes e da grande rede Internet podem vir a tomar nos tempos mais próximos. Esse foi aliás um tema abordado neste 4º encontro do Transparência, já que actualmente se fala no Internet kill switch nos EUA. Cada vez faz mais sentido a neutralidade, a rede livre e aberta, como praticado pelos projectos acima mencionados e exposto pelos seus representantes.

Foram discutidos alguns aspectos do plano do Hacklaviva para concretizar um projecto desta natureza com o apoio da Unimos e da Guifi. Visto estarem poucos elementos (Ricardo, Tiago, Cláudia e Vítor), apenas se delinearam algumas ideias:

• o projecto contará com o apoio técnico e institucional das duas entidades;
• a Unimos tem possibilidade de ceder algum material de 1ª geração para as experiências iniciais da comunidade Hacklaviva;
• a documentação base para levar a cabo o projecto encontra-se tanto no site da Guifi como no da Unimos
• a ligação por Skype poderá ser uma boa solução para uma fase em que o apoio técnico terá de ser mais próximo
• a comunidade Hacklaviva integra elementos com conhecimentos específicos em redes e/ou administração de redes, pelo que serão directamente consultados no sentido de conhecer a sua disponibilidade;
• o contacto com a UP pode ser bastante interessante numa fase pós-arranque, em que se tenha já algo no terreno e alguns dados de 2 ou 3 meses de monitorização. A UP tem bastante material wi-fi encostado e é uma entidade que daria grande visibilidade e viabilidade ao projecto;
• a cooperação Galiza/ Norte de Portugal (inclui Porto) na Euroregião Eixo Atlântico abre possibilidades de ligar Vigo e outros centros, já com redes comunitárias, a Portugal;
• a estreia de uma rede comunitária sem fios entre Aliados e Clérigos, com escolha de ponto alto para localização estratégica de antena. Uma designação como “Nós na Baixa” seria duplamente curiosa pela força do nós. Acesso para todos sem barreiras e controlo pelos utilizadores.

No âmbito do projecto Future Places, ficou agendado o dia 2 de Outubro para reunir os materiais e “produtos” a levar ao evento. A mostra da tag cloud das profissões, a apresentação do motion chart das legislaturas/ partidos, tudo em vídeo ou imagem, para não haver necessidade de usar navegador e apresentação ao vivo.

O trabalho realizado nesta sessão focalizou-se numa alternativa ao módulo Feeds para Drupal. Foi instalado um módulo muito mais potente e versátil para trabalhar com múltiplas tabelas – o Table Wizard. As 3 tabelas (MP, Caucus e Facts) foram introduzidas na BD do Drupal de testes e foram relacionadas entre si. Isto permite criar views (displays) dos dados, mas ainda há aspectos a limar, como ganhar mais controlo na visualização dos dados e evitar as múltiplas entradas de um mesmo deputado, quando o que se pretende é a reunião num mesmo ponto da informação relacionada com a chave-primária (o id do deputado).

Mais um encontro Hacklaviva-Transparência com algum trabalho e realização do ponto de situação. E foram vários os pontos abordados.
No que se refere a actividade próxima, a presença no evento Future Places (de 12 a 16 de Outubro, Porto) ficará assinalada mais pela exposição do conceito do que propriamente pela apresentação de resultados. Contamos poder mostrar já alguns produtos como a visualização de profissões mas o forte vai incidir na explicação do projecto em si e na metodologia seguida.
Sobre o projecto propriamente dito, foram discutidos alguns aspectos que brevemente começarão a ter de ter contornos mais precisos. A questão do servidor com capacidade para processar pedidos vai ter de ser muito bem trabalhada. Também a disponibilização da BD, que numa primeira fase estará apenas acessível a poucos, em versão beta e para testes, será um ponto de honra. Vemos o tronco principal do projecto como a reunião e disponibilização dos dados de forma neutra e acrítica. Paralelamente, podem ser trabalhadas miniaplicações com selecção e análise de dados que visem pôr a descoberto facetas da realidade: aberrações, distorções, desequilíbrios nos padrões, que desmascarem situações de eventuais promiscuidades, falta de transparência, favorecimentos, etc. Assim, a recolha dos dados não deve visar pessoas em específico ou partir de pressupostos tidos como certos.
Para o interface, existem muitas possibilidades, entre as quais um simples motor de pesquisa à semelhança do Google, uma colecção de widgets com diferentes visualizações e tratamento dos dados. Este segundo modelo parece ser mais condizente com a natureza da equipa e o processo de trabalho implementado. O mais natural é cada pessoa ou pequeno grupo acrescentar uma solução que enriquece o conjunto, não ficando constrangido pelo ritmo de desenvolvimento dos demais nem pelas soluções tecnológicas adoptadas.
A propósito da frente de trabalho do Diário da República, agora numa fase de testes e correcção de bugs, discutiu-se a necessidade de começar a apostar com método na análise de temas e língua. Neste sentido, voltámos ao tema da criação de listagens prévias, espécie de índices, que possam ser contrastados com o texto extraído das sessões. A prioridade vai para uma lista de empresas, tendo para o efeito realizado contacto junto da Ansol e do projecto Transparência AP, no sentido de obter uma matriz que poderia abreviar o tempo de investigação. Caso não seja possível, existem as seguintes bases de recursos: base.gov.pt, INE, PorData (tem, contudo, ficheiros excel muito formatados).

Outra lista que é importante realizar é a dos nomes abreviados dos deputados, pois é por essa designação que são referidos nas sessões parlamentares. A Ana descobriu que na Wikipédia existe uma página dos deputados portugueses com nome completo e nome pelo qual são conhecidos. Recolher esses dados e eventualmente outros aí disponibilizados automaticamente seria óptimo. Nesse sentido, vai tentar usar a ferramenta Dapper.

Relativamente ao trabalho concretizado, o Bernardo prosseguiu a investigação em torno do modelo inglês. À semelhança do que acontece no RU com o País de Gales, Escócia e Irlanda do Norte, chamou a atenção para não ser esquecida a realidade dos parlamentos das regiões, cujas sessões estão também disponíveis.
O Ricardo esteve a corrigir bugs no script que faz o parsing dos ficheiros dos Diários da República e redigiu um excelente artigo a apelar à colaboração e à comunicação de erros. A Ana escreveu à Ansol e esteve com a Cláudia a fazer o levantamento de falhas nos ficheiros extraídos da BD, pois na importação dos .csv para o Drupal foram detectados pequenos erros que impedem que o parsing e a criação dos conteúdos saia perfeita. Listamos as falhas abaixo que decorrem dos ficheiros php resultantes das queries à BD (todas realizadas no dia 1o de setembro). O ficheiro mais explorado foi o da tabela MP.

• ocorrência de quebras de linha a meio de uma linha de dados (geralmente entre os caracteres 68 e 73)
• salto de linha no ficheiro informacaoDeputado.php (linha 3077 não existe!)
• falta de normalização das profissões (género, maiúsculas/ minúsculas, texto descritivo irrelevante). Verificámos ainda que na importação por csv, usando a , (vírgula) como separador, quando existe referência a mais do que uma profissão, a pontuação usada é ;  / e , Esta vírgula revelou-se fatal. Achámos que seria conveniente retirar toda e qualquer pontuação neste campo para não entrar em conflito com a pontuação do sistema.

O Victor ajudou na importação dos ficheiros .csv no Drupal e esteve a normalizar o ficheiro com todas as legislaturas e partidos (tabela Caucus) para aplicar a visualização em Drupal. Neste levantamento, necessitou de pesquisar informação sobre o número de deputados elegíveis para cada legislatura, porque os deputados eleitos são sempre em número superior. Esses dados encontrou-os no Portal do Cidadão e vão dar mais sentido ao que se visualiza.