Resumo 11º Encontro de Usuários de BI

 

O tema do debate foi: “Como fazer com que Big Data tenha aplicações práticas de sucesso e efetivas nas empresas”.

 

Chegamos ao nosso 11º Encontro de Usuários de BI e o debate teve como tema “Como fazer com que Big Data tenha aplicações práticas de sucesso e efetivas nas empresas”.

Nesta edição, contamos com a presença de mais de 60 representantes de diversas empresas, todos em diferentes ramos, tais como, varejo, indústria e serviços; todas com iniciativas na área de Big Data e suas tecnologias.

Diferentemente das outras edições, o 11º Encontro seguiu um formato de debate mais aberto, com perguntas e respostas entre os participantes, com apoio do mediador. Os questionamentos, para efeito deste resumo, foram agrupados nos seguintes tópicos:

O primeiro ponto abordado foram os casos práticos do uso de Big Data em empresas. Alguns participantes destacaram exemplos em que essas tecnologias ajudam seus negócios de forma efetiva. Profissionais de TI e de negócios trouxeram para o debate modelos e experiências em suas operações.

O primeiro exemplo veio de um dos participantes que atua como gestor de uma área de especialistas em captura/armazenamento de dados e um grupo de analistas de dados, os quais estão atualmente na área de TI, mas que tem um foco exclusivo de atendimento ao time de negócios da corporação. Essa equipe atua em diversas áreas atendendo a todo o grupo, o qual é composto por diversas empresas que têm atuação desde a parte industrial, até o ponto de vendas final. O gestor ilustrou aos participantes como a utilização e análise das informações do canal de vendas diretas ao consumidor (B2C), através de sua rede de farmácias, permite mostrar o impacto que essas vendas trazem na produção da indústria química do grupo, responsável pela produção de componentes químicos que formam o grupo de produtos de HPC (Higiene Pessoal e Cosméticos). Assim, essa indústria química pode realizar previsões de produção de ingredientes com maior precisão e assertividade; além de toda a informação para a área de negócios da área de farmácias, permitindo ações de cross-sell e up-sell.

A seguir, um dos representantes de uma grande rede de varejo de moda compartilhou com os participantes uma das utilizações de “Big Data” na empresa. A área de tecnologia investiu em um ambiente de processamento/armazenamento com foco na utilização de informações não estruturadas; tais como logs de internet. E foi nesse tipo de informações que o caso de uso desta empresa se fundamentou. A equipe de negócios passou a realizar análises de quais produtos tinham maiores visitações no site da empresa e de posse dessas informações passou a realizar campanhas mais assertivas, enviando ofertas mais direcionadas a seus clientes. Com este tipo de análise, em princípio bastante simples, a empresa passou a ter uma taxa de conversão bastante elevada em suas ofertas, atingindo em alguns casos 30% de taxa.

A área de finanças trouxe alguns exemplos de utilização nesse setor. Um deles busca formas de identificação dos investimentos que os clientes realizam fora daquela instituição financeira, para assim, tentar mudar a estratégia de abordagem do banco com esses clientes e melhorar o seu share wallet. Um outro exemplo é a utilização de imagens, tais como street view, que permite a identificação de possíveis casos de fraudes, evitando assim esforços da equipe comercial em visitas não produtivas. Mais um exemplo nessa indústria foi a captura e análise de informações de navegação em redes sociais e nos sites de internet banking com foco no entendimento do comportamento dos clientes, permitindo assim, análises e insights que são direcionados e utilizados pelas equipes de CRM do banco para melhorar a eficiência e resultados de suas comunicações com os clientes/prospects.

Outro exemplo veio da área hospitalar. O participante compartilhou com o grupo a iniciativa de um projeto nesse grande hospital que irá permitir a otimização dos leitos por meio de análise das informações dos pacientes / prontuários dos mesmos, entendendo e prevendo todo o ciclo do mesmo desde sua chegada ao hospital.

Vimos assim que diferentes métodos exemplificam como a aplicação de Big Data pode se tornar útil e efetiva nas empresas. Mas, quais são as ferramentas disponíveis no mercado para auxiliar um projeto de Big Data? A resposta será detalhada no próximo tópico.

Inicialmente alguns dos participantes fizeram citações de diversas ferramentas que são utilizadas no ambiente de Big Data, tais como Clioudera, Horton Works, Hive, Impala, Sqoop, Flume, Cassandra, entre outras.

O grupo teve algumas interações sobre a questão das tecnologias utilizadas e entende que existem diversas ferramentas e opções para os projetos. Trata-se de um mercado oriundo do software livre, e, portanto, o conceito de utilizar um código único e dar suporte ao mesmo é que permite a criação de diversos flavors. As comunidades de desenvolvimento geram vários produtos, os quais acabam sendo concorrentes entre si. O grupo então teve debates sobre maturidade das ferramentas e concluiu que justamente por ainda estar em evolução, algumas ferramentas que hoje são utilizadas podem desaparecer daqui a 1 ou 2 anos, e em contrapartida, algumas podem virar “estrelas de mercado”. Portanto, é importante estar atento e preparado para essas mudanças.

Um dos blocos de ferramentas, talvez o principal neste ecossistema de Big Data, é o da estrutura de dados. Falamos aqui de Cloudera e de Horton Works, que são os principais em nosso mercado. O mediador fez, então, um desafio ao grupo para pensar sobre um dos exemplos citados como caso de Big Data e que não utiliza nenhum desses, mas sim, o tradicional banco de dados, neste caso, o Oracle. Como fica então essa questão de utilização e eventual migração entre tecnologias?

Segundo a opinião de alguns participantes, o tempo de migração depende do investimento que a empresa faz na ferramenta/tecnologia. Quanto mais utilizada e desenvolvida, mais dificuldade a sua empresa vai ter em sair dela. Outro ponto discutido foi a quantidade ideal de ferramentas para usar no negócio, os presentes concluíram que “menos é mais”.

Com relação à produtividade que se pode obter com as tecnologias/ferramentas, o grupo entende que toda adoção de tecnologia tem seu tempo de maturidade e as tecnologias são adotadas/escolhidas de acordo com os desafios de negócios apresentados. A adoção passa pelo conhecimento das tecnologias disponíveis e o que a empresa tem como linha diretiva – às vezes, queremos adotar uma nova ferramenta/tecnologia, mas o processo na empresa não nos permite ir em uma direção, portanto, temos que utilizar o que temos/conhecemos.

O grupo também entendeu que a tecnologia em si talvez não seja o mais importante, pois a mesma vai mudando/evoluindo, e, portanto, a utilização adequada da mesma seja fundamental, sabendo reconhecer o momento de mudanças/migrações tecnológicas. Foi citado o exemplo de utilização de tecnologia em startups, as quais adotam determinadas tecnologias em inícios de operações e vão evoluindo conforme enfrentam seus desafios de crescimento.

A seguir discutiu-se sobre utilização de soluções em nuvem para os projetos de Big Data e para os projetos de TI de forma geral. Levantaram-se questões principalmente com a segurança das informações. Entretanto, de forma geral, o grupo entende que adotar a nuvem em si não é o grande problema, pois se você estiver em um data center seguro, como, por exemplo, Amazon ou Google, o mesmo é possivelmente mais seguro que o data center das empresas, mesmo as maiores. A preocupação que o grupo coloca como sendo de maior importância é a utilização das informações que estão nesses data centers por parte dos provedores. Foi citado o exemplo de como o Google tem a noção exata de onde cada um de nós está utilizando a geolocalização e de como obtém as informações através de APIs dos aplicativos que utilizamos em nosso dia a dia – consentimos a coleta desses dados, mesmo as vezes não notando isso nos temos de uso.

“Saber que estamos sendo vigiados é mais eficiente do que colocar a chave”.

A frase acima citada por um dos presentes representa exatamente a visão de algo extremamente importante no quesito segurança. Devemos atender o usuário, orientar ele na medida do possível e estar preparado para ajudar, porque o que faz a equipe de negócios não seguir as melhores práticas de governança e utilização é justamente não atendê-lo, fazendo com que o mesmo busque caminhos alternativos para suas necessidades.

É neste ponto do debate que entra a questão sobre os desafios da governança que veremos no tópico a seguir.

Um dos participantes que trabalha na área de finanças levantou um ponto que foi debatido intensamente, não somente neste encontro, mas em outros – como estão as iniciativas de governança da informação nas empresas, considerando em especial o Big Data, que tem potencial imenso de armazenamento? Como tem sido e quais os desafios?

O debate iniciou com a pontuação de um dos presentes de que esse desafio já existe nos ambientes tradicionais, e que cada vez mais teremos esse desafio presente com a passagem para a mão dos usuários de negócio da utilização e manipulação dos dados e informações. A sensação desse participante é de que teríamos “voltado no tempo”, pois anteriormente a ideia do ambiente analítico era que tivéssemos a “única versão da verdade”, e hoje, enfrentamos o risco de termos várias pessoas com diferentes visões dos dados.

O desafio de governança em ambientes tradicionais é importante e nos ambientes de Big Data/Hadoop se torna ainda maior. Neste momento houve a pontuação sobre terminologia com relação ao termo Big Data, o qual se entende que por si só não representa algo relevante ao dizer apenas “dado grande”, mas sim a relevância e a importância da terminologia Business Intelligence, que de fato apresenta o conceito verdadeiro dos ambientes analíticos que trata da “Inteligência de Negócios” – para as corporações não importa o fato de utilizar Oracle, MySQL, Cloudera, o que de fato importa são os conceitos de negócio.

O grupo então debateu sobre a pontuação de “visão única da verdade” e entende que essa é uma discussão importante e que a maioria tem encontrado nas corporações que isso não é algo tão relevante hoje em dia como foi há algum tempo. Se entende que o foco não deve estar em termos únicos e sim em termos bem definidos. Ao invés de buscar quais são os principais indicadores da empresa, os quais normalmente têm revisões e discussões mensais sobre quais devemos utilizar, a relevância está em definir muito bem o que se está medindo. Desta forma, se as equipes investirem seu tempo na definição do que elas estão falando/medindo, as discussões se tornam mais produtivas. Nessa discussão, a participação de TI é fundamental para auxiliar os usuários de negócios na preparação e definição de termos.

Um ponto comentado em conjunto com a governança foi a segurança da informação. O fato é que garantir a segurança é um tema extremamente complexo e difícil – o foco aqui tem que ser em lidar da melhor forma possível com o tema sem prejudicar a utilização da mesma. Devemos buscar a segurança sempre e estar preparado para lidar com possíveis brechas, pois em tempos de internet qualquer celular no bolso se torna uma forma de acesso. Na estratégia de segurança é melhor monitorar do que tentar controlar acessos. Obviamente controles básicos tem que ser implementados, tais como criptografias, mas amarrações em excesso levam os usuários de negócio a outras soluções tais como “shadow IT”, ou seja, seus próprios servidores de informações.

Neste ponto um dos participantes levanta o tema de qualidade de dados com foco nos dados do tipo “não estruturados”, que se encontram mais presentes em ambientes de Big Data.

É comentado que esse tipo de dados não necessariamente são dados “ruins ou sujos”, são apenas dados que não são estruturados (imagem, texto, vídeo, logs etc.). Assim como existem dados estruturados que não são bons, ou não estão tratados, existem dados não estruturados a serem tratados. Entretanto a questão levantada é um pouco mais abrangente, pois além da qualidade em si, existe a diversidade do dado. Então como se trata isso em ambientes Hadoop / Como se faz em Big Data? É diferente do BI tradicional?

Uma visão simplista de mercado traz uma abordagem de que em big data não se trata os dados, são apenas utilizados – essa é uma visão trazida principalmente pelos fornecedores de tecnologia. Isso é dito da mesma forma em que é dito que também não é necessária modelagem de dados em big data.  Na visão do grupo e da prática de implementações de projetos, é de que não é exatamente uma visão correta, pois tanto em projetos tradicionais de BI, quanto de Big Data, são necessárias a estruturação dos dados e a qualidade de dados. Caso contrário existirá uma grande dificuldade de utilização por parte das equipes de negócio. E caso não sejam modelados e/ou tratados, essa missão acabará sendo transferida de TI para as equipes de negócio – trabalho de alta complexidade. Um dos grandes valores de TI, se não o maior, está justamente no tratamento e na preparação/modelagem desses dados para negócios utilizar da melhor forma, com tranquilidade, segurança, performance, governança, um dado mais limpo etc.

Com relação ao tipo de dados, a visão entendida pelo grupo após debates é de que de fato não tem como usar um dado não estruturado. Como exemplo, processamento de imagem nada mais é do que estruturar uma coisa que visivelmente parece não estruturada. Você utiliza um algoritmo, divide a imagem em pedacinhos, dá um significado para cada um e pronto, estruturou o dado. Portanto, o dado na origem pode não ser estruturado, mas de alguma maneira você vai dar uma estrutura ao mesmo. E a maioria dos dados não estruturados que a gente lida, não é que eles não são estruturados, eles são estruturados de uma maneira que um banco de dados relacional não consegue lidar muito bem. Um log é um dado estruturado. A navegação da internet é totalmente estruturada, só que ela é estruturada de uma maneira que para o banco de dados tradicional não funciona bem.

Portanto, se o dado não estiver estruturado, se não conseguir estruturar os mesmos, você não vai conseguir usar. Isso é diferente de dizer que é um dado de um banco de dados relacional ou um dado de um ambiente Hadoop – e modelar/organizar os dados é sim muito importante, bem como tratar da qualidade dos dados é muito importante. Como citado no encontro, existem diversos graus de qualidade, a gente trabalha desde o dado mais sujo até o mais limpo, só temos que saber qual nível de qualidade que você tem ali na sua utilização.

Ao se falar de utilização, o grupo iniciou conversas sobre perfil das equipes.

Existem alguns termos novos que chegaram com o termo Big Data, como, por exemplo, o termo cientista de dados – o grupo debateu um pouco em torno desse tema.  Iniciou-se com uma questão sobre a diferença entre um estatístico e um cientista de dados – será que é possível diferenciar os dois? Hoje em dia, as empresas em sua maioria, enxergam o estatístico como alguém com o foco mais acadêmico. E esse foi um ponto importante no encontro: a discussão sobre pessoas acadêmicas e pessoas práticas.

O grupo comenta em torno da teoria de que o conhecimento seria um atributo muito valorizado e isso leva as empresas no sentido de cometerem erros. Enquanto que o mais importante nessa teoria seria a capacidade de aprender, e aprender de forma rápida.

 

Ao se contratar um especialista, com conhecimento determinado e específico, as chances de errar são grandes, pois o que está se contratando é o conhecimento, até porque está se contratando um currículo, por vezes supervalorizado. Ao invés disso, se nos processos de entrevistas se buscar domínio de conceitos, capacidade de absorção do seu ambiente/negócio, capacidade de entendimento da conversa, a chance de sucesso é fortemente ampliada.

Em geral, houve consenso de que quem trabalha na área de informação, quem é técnico, tem que aprender de negócio e quem é de negócios tem que aprender tecnologia. Não tem saída, obviamente existem nuancias, existirá o especialista técnico que entende pouco de negócio e existirá a pessoa que tem foco somente no negócio, mas também entende um pouco de tecnologia.

Portanto, o grupo percebeu que temos que mudar o perfil radicalmente – as pessoas de TI têm que ser pessoas focadas no negócio, e as pessoas de negócio tem que gostar de tecnologia. O mundo é tecnologia, a pessoa que não gosta de tecnologia hoje está fora do mercado. Hoje em dia, um profissional da área de negócios que não saiba mexer no excel, tem sobrevida? Não tem. Daqui alguns anos, um profissional que não souber operar um tableau, entrar numa base de dados, fazer análise, criar um modelo estatístico básico, estará fora do mercado. E por outro lado o pessoal de TI tem que entender que o papel de TI vai mudar, vai mudando – antigamente dava-se suporte aos usuários de excel. A mesma coisa vai acontecer com essas ferramentas, mas é um engano achar que a complexidade está diminuindo, não está, ela está aumentando.

Em geral, as empresas líderes de seus segmentos já contam com equipes de negócios que entendem e dominam completamente tecnologia – esse é o caminho para se tornar empresa líder.

“A capacidade de aprender e se adaptar é mais importante do que conhecimentos específicos”

Projetos de Big Data têm alguns desafios: coletar os dados, organização e tratamento dos dados, e saber o que fazer com esse ambiente que você está criando.

Portanto temos que saber coletar o dado, tratar e modelar/organizar o dado com os devidos cuidados para não termos excessos, pois se tivermos muito cuidado no tratamento, os usuários podem se recusar a usar, e por outro lado, se tiver pouco, o usuário não consegue usar.

O ambiente tem que ter utilidade, objetivo, tem que ter gente querendo usar. Não é necessariamente um business case todo estruturado; tem que ter do lado de negócios gente com vontade de usar. Em todos esses anos de implementação e acompanhamento de utilização de ambientes analíticos, os que são descritos como de sucesso foi onde o usuário tinha um papel relevante e principalmente entendia o valor da informação, a qual é utilizada de maneira prática. Projetos que são muito focados em indicadores corporativos (KPIs), geralmente tem dificuldade de sobrevivência. Projetos que estão ligados a casos práticos, como melhorar a conversão no site, melhorar o relacionamento com o cliente, melhorar o problema de fraude, melhorar efetividade do uso de leito, melhorar a assertividade de lançamento de produtos, como vimos no encontro, esses são os que dão certo.

Questão/Mensagem final: o que fazemos para um projeto de big data ter sucesso e ser prático para a empresa? Os participantes responderam: atenda o negócio, equipe multidisciplinar e mista, mudar o perfil das nossas equipes, dar mais valor ao negócio do que à tecnologia.

 

Quer ler o resumo na íntegra? Baixe aqui!

Resumo 10º Encontro de Usuários de BI

Resumo 10º Encontro de Usuários de BI – evento aprofundou discussão sobre a convivência do DW Tradicional com o Big Data.

Contextualizando

Chegamos à décima edição do nosso Encontro de Usuários de BI, que trouxe o tema “A Convivência do DW Tradicional com Big Data”.

Sempre em formato de workshop, com flexibilidade para apontamentos e argumentações por parte dos participantes a todo momento, o assunto gerou discussões sobre a melhor forma de planejar a arquitetura, a estratégia de implementação e a utilização dos ambientes de DW Tradicional e de Big Data.

Realizado em São Paulo, o 10º Encontro de Usuários de BI contou com a presença de profissionais de grandes empresas e que atuam em áreas como tecnologia da informação, marketing e gestão de canais digitais.

Compartilhamos, abaixo, os principais comentários, dúvidas e consensos que ocorreram ao longo do evento.

O debate gerou grande interatividade, com questionamentos e debates acerca dos seguintes tópicos:

 

Logo no início do evento o primeiro ponto levantado foi sobre as diferenças e as semelhanças entre Data Warehousing Tradicional e Big Data. Destacou-se que uma das semelhanças entre as duas abordagens se refere ao volume de dados – ambos podem comportar tanto pequenos quanto grandes volumes. O que eventualmente é importante considerar é a questão financeira, podendo ser necessários investimentos mínimos consideráveis para adotar um projeto desse porte.

Falando sobre diferenças, um dos pontos notados pelos participantes é de que o DW é um ambiente mais estruturado, enquanto o Big Data é percebido como mais flexível. Com isso como pano de fundo para o debate, foi argumentado por alguns dos participantes que flexibilidade demais gera desafios, enquanto que outra parte dos presentes observou que estruturação demais também gera desafios. Diante dessa reflexão, surge o seguinte questionamento: será que essas duas características, flexibilidade para Big Data, e estruturação para Data Warehousing, são mandatórias?

Em busca de respostas para a questão, o conceito inteligência do negócio foi trazido à discussão com o objetivo de repensar o todo e descobrir se é possível haver flexibilidade, performance, documentação e estruturação de dados e, ainda assim, atender as diversas demandas do usuário. Será que é possível? Será que conseguimos pensar em coisas que nos levem a chegar nesse caminho?

Para um dos presentes, sim, este caminho é possível, e convida os presentes a pensarem na evolução que teve o computador, que até pouco tempo era um “tijolão” e, hoje em dia, é algo mínimo, um “relógio que faz tudo”. Segundo ele, o problema não é ferramental, mas conceitual. E conclui dizendo que é preciso pensar TI como negócio.

Contrapondo o comentário acima, outro participante que sempre atuou em projetos de DW, mas do lado do usuário, diz não acreditar nessa possibilidade, pois não vê a execução acontecer. Em sua opinião, a equipe de TI sempre faz o que o usuário pede, sem levantar se haverá ou não benefícios para a empresa. E completa dizendo que se os dois lados não se comunicarem e pensarem em conjunto nada dará certo.

Um ponto importante a se pensar levantado neste tópico, abordou o fato dos profissionais terem o hábito de acreditar em soluções “mágicas” apresentadas pelos fornecedores de tecnologia, e que resolveriam todas as questões. Foi citado o exemplo de uma grande empresa do setor de telecomunicações que adquiriu um grande ambiente de big data, com mais de 15 PB de dados, o qual está encontrando dificuldades de justificar.

De maneira geral, o grupo entendeu neste tópico que existem mais semelhanças do que diferenças entre o ambiente de DW Tradicional e o Big Data.

O tema performance foi amplamente discutido durante o debate. Alguns participantes levantaram a questão de que para grandes volumes de dados o Big Data entrega um resultado mais rápido do que o DW Tradicional; referindo-se a questões como estrutura, arquitetura e tecnologia.

Alguns concluíram que a performance está muito associada à disponibilidade de ferramentas mais poderosas, hoje, do que no passado. Mas a diferença de performance que as ferramentas trazem estão associadas só ao Big Data, apenas ao Data Warehousing ou aos dois? Data Warehousing dá menos performance que Big Data?

A resposta veio rápida por parte de um participante, que disse que dependendo de como é feita a estruturação do Data Warehousing e do Big Data, isso se reflete em maior ou menor performance. Utilizar as ferramentas corretas possibilita extrair melhor proveito de cada um dos ambientes. A questão não é a ferramenta, mas como se constrói, e isso pode ou não entregar performance.

Junto com o ponto da performance veio outro item considerado importante por todos: a flexibilidade. Será que a performance limita a flexibilidade? Para alguns, a resposta foi sim. E alguns defenderam a ideia de que o Big Data é como se fosse uma caixa de ferramentas muito mais completa para atender necessidades específicas.

Mas será que o mais moderno sempre oferece mais flexibilidade? Talvez a questão não esteja relacionada à modernidade, mas ao fato de o Data Warehousing ser considerado uma plataforma que precisa ter uma estrutura, enquanto que o Big Data não, pois foi criado para dados não estruturados.

Para exemplificar essa visão, falou-se que na abordagem do DW, em primeiro lugar surge uma necessidade de negócio para então o profissional de TI projetar e construir o DW de maneira bem estruturada, com um projeto de modelagem de dados que permita atender aquela necessidade e sobre uma plataforma tecnológica (software/hardware) que vai atender a necessidade tanto no quesito performance quanto na questão de volume de dados.

Já o ambiente de Big Data permite uma abertura maior com relação aos tipos de dados, não sendo necessário trabalhar/modelar os dados com um caso de uso em mente. Quando o assunto é performance, é preciso avaliar se é uma plataforma em que o volume é o principal motivador, porque, de acordo com um dos participantes, não faz sentido não ter muito volume e partir para uma plataforma Big Data.

No DW existe uma modelagem otimizada para consulta, enquanto que no Big Data a performance é provida pelo ambiente escalável, vai crescendo de acordo com a necessidade e, teoricamente, com o custo mais baixo e trabalhando em cima de dados que podem ser estruturados, mais completos ou não estruturados.

Com essa discussão, chegou-se à conclusão de que volume tanto faz, e que é uma semelhança entre DW Tradicional e Big Data. Performance apareceu como uma possível diferença entre as duas ferramentas, mas concluiu-se que também é possível ter performance com ambas. No que se refere à flexibilidade, pontuou-se que ela vem da possibilidade de poder colocar o dado do jeito que quiser e da forma que se deseja analisar.

Quando vamos para o mundo real de quem constrói ambientes analíticos e de quem os utiliza, surgem questões fundamentais tais como a necessidade de estruturação dos dados, porque se não for estruturado, mesmo no ambiente Big Data, haverá dificuldades importantes, principalmente por parte do usuário.

A partir do último ponto do bloco anterior surge então a questão: por que estruturamos o dado?

Por dois motivos: ter melhor performance e mais facilidade de uso (estruturando também para o usuário conseguir utilizar).

Outro ponto levantado sobre a estruturação de dados foi que ele também promove a dicionarização da informação. Na base de dados, se não há um modelo estruturado e claro do que são as informações, a ponta final pode utilizar os dados de forma errada. O Big Data pode dar uma impressão de facilidade por ser mais ágil, mas se você não tiver uma dicionarização boa, as áreas que vão utilizar essa informação podem usar de forma errada, diferente uma da outra, e aí teremos conflito de resultado; e isso vale para os dois ambientes.

É preciso ter um grupo de usuários finais que esteja com uma visão bem clara das suas necessidades. Nem sempre todo mundo está com a ideia bem elaborada que possa permitir a estruturação dos dados, e nesse sentido, tanto faz o ambiente adotado. A partir do momento que a ponta final/usuários estiver estruturada, é possível dar uma solução, oferecendo qualquer tipo de dado, em qualquer ambiente e com a performance desejada.

A discussão acima apontou para a conclusão de que nem sempre o usuário está preparado para dizer o que ele precisa. Quando se constrói um ambiente analítico, existe a pretensão de que é só colocar todo o tipo de informação ali que o usuário vai se virar. Mas quando de fato se inicia o projeto, em geral, é feita uma consulta com o usuário para que ele diga o que de fato precisa. Muitas vezes, ele diz que quer tudo e só depois de muito custo ele começa a pontuar o que, de fato, precisa e quer no ambiente analítico.

Como exemplo de usuários, se consultarmos um estatístico “das antigas”, que seguiu os métodos estruturados de estatística, e compararmos com a garotada que está chegando, onde a metodologia é totalmente diferente, os mais jovens vão demandar um monte de outras coisas e tipos de dados. E tudo “online”.

Surge então a questão: Data Warehousing tradicional lida bem com dado online? Não. A proposta de Big Data é lidar bem com dado online? Sim.

Vamos então explorar o tema de utilização dos dados.

 

A área de negócios exige constantes mudanças. A tecnologia tem como principal missão de orientar o usuário. A questão é: o que você quer analisar e como você quer analisar? Se você joga tudo numa gaveta e pega um monte de agulhas, joga lá uma agulha laranja, será que vai achar essa agulha laranja algum dia?

A missão da área de TI é resolver o problema, e não convencer o cliente de que ele não poderá fazer determinada coisa. O usuário nunca quer saber se é ou não possível, quer que os técnicos executem. Essa tal gaveta em que se coloca tudo e onde o usuário pode perguntar o que quiser é possível, ela só não é fácil de ser feita.

Com a utilização, o usuário vai descobrir que tem coisas que para ele são importantes e que outras são extremamente importantes, assim, o modelo vai sendo criado. A missão do profissional de TI não é a de dizer não. Sempre que o especialista disser não para o problema, ele falhou.

No passado, talvez por falta de conhecimento, ao invés de trazer um dado ou um grupo de dados específicos, trazia-se a base inteira e então tínhamos o projeto de DW. Hoje, com o Big Data, não é preciso a base inteira, sendo possível trazer apenas os dados desejados para uma análise específica. Um dos participantes enfatiza que ainda não é 100% assim, mas acredita que este é o caminho.

Outro participante confronta dizendo que o Data Warehousing não trazia tudo, apenas uma parte necessária para responder o que era preciso. Já o Big Data vem para ajudar a encontrar respostas às perguntas que não foram feitas ainda. Uma parte interessante do Big Data é entregar a resposta para uma pergunta que você nunca imaginou. A questão do “trazer tudo” pode gerar uma confusão imensa, e é natural este momento. Essa fase de mapeamento, que ocorre no projeto tradicional de DW, faz com que o profissional de TI que está desenvolvendo o projeto vá buscar onde as informações estão, modelar como o negócio precisa e entregar.

E quando falamos de diversidade do dado, volume e complexidade? O volume de dados apresenta diferença entre um banco de dados tradicional e o ambiente Hadoop apenas em custo na visão dos participantes. Com relação à capacidade de lidar com volumes, não. Já com a diversidade e o tipo de dados, o ambiente de Big Data (Hadoop) permite maior flexibilidade, podendo lidar com diversos tipos de dados não estruturados – imagem, som, texto, entre outros.

O mais importante a compreender é que jogar os dados e deixá-los lá, sem utilidade, pode ser nocivo. Os conceitos de modelagem, de organização e de governança terão de ser aplicados. Mesmo na tecnologia Hadoop, será necessária uma estratégia para gerar algum grau de trabalho para os usuários.

 

Diariamente, surgem novos indicadores. Se o profissional deseja responder qualquer pergunta, construir qualquer indicador, para qualquer usuário, o que é preciso trazer para a base? Tudo. Tem alguma divergência? Não. Então, qual a missão da TI? É trazer toda informação necessária para algum lugar que permita ao usuário fazer o que ele quiser. Essa é uma missão atingível? Há controvérsias, alguns têm mais esperanças, outros têm menos, outros estão no meio do caminho, mas essa é a missão.

O que conhecemos de Data Warehousing Tradicional atende essa visão? No geral, os participantes dizem que não, pois a questão do online é um problema. Um deles diz que uma das dificuldades são modelos em cima de uma necessidade que pode ser alterada em prazo de dias, com base em fatos, dimensões e métricas. Neste caso, poderia se pensar em um modelo relacional, que bem construído responde a qualquer pergunta, oferece uma possibilidade infinita de análise.

Na teoria, pode-se adicionar os elementos nesse modelo e ele vai continuar respondendo a todas as perguntas. Isso é teórico no sentido de que não dá para contestar, é matemática, é teoria de conjuntos, quem estudou profundamente o assunto sabe que os modelos relacionais respondem a qualquer pergunta. Mas qual é o problema de um modelo de dados relacional para quem vive com um banco de dados grande para fazer análise? Performance.

O DW tem uma vantagem sobre o Big Data: estruturação. Possuir um modelo de dados tem suas virtudes, ao mesmo tempo em que não ter este modelo pode ser um caos. O modelo vai existir, pelo menos em algum momento. A diferença é que no DW ele existe na concepção do ambiente, ocorre antes, na preparação do dado. Mas a modelagem, pensando em entrega final, em visualização do dado, é uma modelagem diferente.

Na hora em que se começa a usar, existe a necessidade de modelar o dado, só que os “turistas” do Big Data vendem a imagem de que não é necessário modelar o dado, e aí vem tudo errado. Do ponto de vista da preocupação de performance, em um ambiente Hadoop ou de processamento paralelo distribuído, a performance é maior. Entretanto, do ponto de vista de como usar o dado, é bem diferente, pois é preciso tratar os problemas de integridade, das anomalias dos dados, do relacionamento. Se deixar para o usuário fazer isso a cada pergunta, é impossível. É como dizer a ele: “se vira”.

Um dos participantes levanta essa questão dizendo que sempre enfrenta um problema no banco em que trabalha: a questão de segurança.

O conceito de DW tem uma preocupação com a confidencialidade e com a governança – ela é boa ou ela é má? Como tudo na vida, existem pontos a favor e contra. Não dá para abrir mão da confidencialidade e da governança. Isso é um problema intrínseco ao conceito de Big Data? Não necessariamente. Ninguém disse que o Big Data não tem governança. Hoje, esse é um problema inerente ao grau de maturidade de ferramentas do Big Data. Tem um monte de gente desenvolvendo ferramentas de governança para Big Data. Quem trabalha com Big Data não diz “segurança não é importante”. Não deu tempo de desenvolver, a prioridade é fazer performance, é fazer ser rápido”. Para isso tem o time que se encarrega da governança.

Para aqueles que querem usar todo o potencial do DW, o que é preciso saber? Precisa ser um “Ás” do SQL, ou ter um “Ás” do SQL ao lado?

Sempre teremos duas situações, o usuário que tem mais facilidade com a tecnologia – e aí é preciso dar a ele o dado para que faça o que desejar; e aquele usuário que tem dificuldade, mas que por meio da ferramenta que o profissional de TI escolher vai proporcionar que este também trabalhe com o dado.

Uma das constatações é de que as ferramentas de Self-Service BI funcionam bem quando o dado é preparado. Ao inserir tudo, sem preparo prévio, o problema persiste e o usuário não consegue usar.

Um dos participantes comenta que, em sua experiência como gestor de modelagem estatística, enxerga uma mudança de perfil, em que o usuário que mexe em SQL também manuseia várias outras ferramentas. Isso porque ele sempre quis ter acesso a tudo, mas sua preocupação nunca foi performance. Rodava uma base, demorava uma, duas, ou três horas, e não sabia o que era índice na tabela, o usuário é estatístico. No mundo de Big Data, não tem como não se preocupar, caso contrário o negócio não roda, pois é muito dado. A complexidade de análise é bastante grande.

Ao final do debate, concluiu-se que o mais importante é atender a necessidade do usuário. Para resolver os problemas é preciso haver discussões sobre o que fazer, tentar um caminho, possivelmente errar, para depois então ajustar. Vale o conceito de “falhe, mas falhe rápido”!

Para ter uma arquitetura boa, perene e capaz, o bom senso diz que os profissionais de TI precisam focar no que há de melhor dentro de suas experiências, e que cada equipe tenha uma discussão sobre qual tecnologia usar e também falar sobre inteligência de negócio. Tudo é importante. Pensando no futuro, é preciso criar um ambiente flexível, composto por componentes do DW Tradicional e componentes do mundo Big Data, que tenha um maior conjunto de informações possível, que estimule os usuários a fazerem análises mais complexas, possibilitando, assim mais assertividade. Portanto o mais importante é de fato a convivência entre esses dois ambientes – DW tradicional e Big Data.

TDW Labs e BI Group

Dentro de nossa estrutura, acreditamos que o desenvolvimento deve ser contínuo e, para isso, é preciso estar alinhado com as novas tecnologias e compreender as necessidades do mercado. Sendo assim, a TDW Consulting investe em duas frentes de pesquisa e desenvolvimento que considera essenciais e estratégicas para o desenvolvimento a longo prazo.

  • TDW_LABS: laboratório de pesquisa e desenvolvimento criado para fomentar o estudo e a busca de aplicações práticas de novas tecnologias no segmento de Gestão da Informação. Também serve para avaliar novos produtos de mercado, desenvolver soluções customizadas e treinar a equipe de consultores TDW.
  • TDW_BI_GROUP: grupo de usuários de BI criado pela companhia e que se reúne periodicamente para discutir temas relevantes sobre o uso da informação como diferencial competitivo. Os encontros promovem a troca de experiências entre as organizações que utilizam ou pretendem utilizar este tipo de tecnologia, além de trazer à cena as preocupações, anseios e desejos da comunidade usuária.

A TDW tem como lema transformar dados em informações > informações em conhecimento > conhecimento em diferencial competitivo.

Navegue pelo nosso site e saiba mais!

BI, Datawarehousing e Integração de Dados.

A TDW é uma das empresas mais reconhecidas do mercado brasileiro  no que se refere a soluções analíticas, resultado de sua vasta experiência em consultoria e implementação de projetos de Business Intelligence e Datawarehousing em grandes clientes e em ambientes de alta complexidade.

Dentre os nossos diferenciais, destacam-se:

  • 100% de foco no segmento de gestão da informação.
  • Experiência comprovada em projetos complexos.
  • Domínio dos conceitos e das tecnologias.
  • Independência de atuação: vendemos serviços, não produtos.

Nossos números:

  • No mercado desde 2005.
  • Mais de 30 projetos ao ano.
  • Mais de 100 mil horas de projetos ao ano.
  • Equipe com mais de 50 consultores e com especialidades variadas.
  • Escritórios em SP e RJ.

3_diviso%cc%83es_1

Resumo 9º Encontro de Usuários de BI

Chegamos à nona edição do nosso Encontro de Usuários de BI, que trouxe como tema de discussão “O Papel de Analytics na Era das Empresas Digitais”.

Sempre em formato de workshop, mas com flexibilidade para apontamentos e argumentações por parte dos participantes a todo momento, o assunto gerou grande interatividade, com questionamentos e debates acerca dos seguintes tópicos:

ilustra1b

Realizado em São Paulo, o 9º Encontro de Usuários de BI contou com a presença de profissionais de grandes empresas e que atuam em áreas de tecnologia da informação, de marketing e de gestão de canais digitais.

Compartilhamos, abaixo, os principais comentários, dúvidas e consensos que ocorreram ao longo do evento.

O primeiro tópico teve como objetivo elucidar o que vem ser a chamada Era Digital nas empresas, o que tem a ver a questão de analytics e business intelligence nesse contexto e como estão interligados.

Logo de cara, os participantes disseram que as empresas genuinamente digitais são as que utilizam somente esses canais para oferecer seus produtos e serviços. Foram utilizados exemplos de empresas como Google, Facebook, Spotify, Nubank, entre outros.

Mais adiante, surgiram exemplos de empresas tradicionais utilizando recursos digitais em suas operações. Alguns exemplos citados foram: substituição de formulários por sistemas, negócios feitos pelo WhatsApp, comunicação com os clientes por canais digitais, ações em redes sociais, coleta de informações a partir de canais digitais para oferecer produtos e campanhas mais direcionadas, entre outros.

ilustra2

Alguns participantes da área bancária levantaram a questão de que ser digital significa ter cada vez menos agências físicas.

Para a maioria, uma empresa da era digital oferece informações de forma integrada em múltiplos canais, alguns deles digitais, de forma a permitir a comunicação com clientes, vendedores, prestadores de serviços, etc.

Mas será que as empresas que usam tecnologia há décadas já não eram digitais desde o princípio?

Diante deste questionamento, os participantes concluíram que elas eram informatizadas, mas que o desafio da época estava em automatizar os processos. Na era digital, a informatização tem uma outra função, mais focada no cliente, buscando entender seus comportamentos e atender seus anseios. Para isso, é preciso saber onde ele está, o que faz, que canais de comunicação prefere utilizar, quando, onde e de que maneira.

Para um dos presentes, antes as empresas automatizavam processos por conta de custos. A novidade é que, hoje, quem puxa a necessidade de automação são os clientes. É uma questão de sobrevivência. Não é mais a empresa querendo que o cliente migre para o digital porque é mais barato, mas uma questão de sobrevivência no mercado. Se a companhia não é digital, ela corre grande risco de deixar de existir.

Outro ponto levantado foi que, antigamente, o acesso à tecnologia era exclusividade das grandes empresas, sendo que, hoje, este quadro é completamente diferente, podendo as pequenas empresas, e até o indivíduo, terem até mais acesso do que as corporações.

empresa-digital_03_colorPara muitos, atualmente a loja física funciona mais como um showroom do que como um ponto de venda, é um canal para comunicar a marca quando as pessoas estão na rua. Da mesma forma que as agências bancárias, para muitos presentes no evento, existirá apenas para expor a marca e para ter um consultor de produtos. Que ações de venda e de compra serão feitas, em sua maioria, por canais digitais.

Um bom exemplo de empresa digital para os participantes é aquela em que tudo está conectado, os canais de comunicação com o cliente funcionam de forma integrada e sem exageros. Não adianta querer entrar na Era Digital tendo uma mente analógica. Querer usar as técnicas digitais com estratégias antigas pode significar perder dinheiro e incomodar seus clientes com campanhas intrusivas, desarticuladas e pouco eficientes.

pergunta2b

A resposta para a questão acima foi quase unânime: mais velocidade, é preciso ter um tempo de resposta mais rápido em todos os sentidos. Além disso, as empresas passam a operar 24 horas por dia, 7 dias por semana. A noção de trabalho muda e você não se desconecta, mesmo quando está fora do escritório.

Muitas funções que eram de mão de obra intensiva podem desaparecer com a digitalização crescente. No futuro, serviços de atendimento telefônico poderão ser totalmente automatizados, equipamentos de transporte de cargas e pessoas poderão ser autônomos, até mesmo atividades mais complexas poderão ser feitas por computadores.

Com os recursos tecnológicos disponíveis é possível fazer quase tudo de forma digital. A vida está ganhando um novo sentido com a tecnologia? Não sabemos onde vamos chegar. Não adianta negar, a tecnologia está aí e temos de saber usá-la. É questão de mudar a mente e mudar paradigmas.

photo1

Outra consequência da era digital é o aumento exponencial no volume de informação disponível.

Há alguns anos havia poucas informações sobre o mercado e os clientes, tudo dependia de pesquisas e o processo de tomada de decisão era muito mais intuitivo. As ações de marketing eram focadas apenas em TV e mídia impressa, com quase nenhuma segmentação.

Hoje temos acesso a detalhes de como as pessoas interagem com as empresas. Sabemos que canais elas utilizam, quando, onde e como interagem com eles. É uma verdadeira avalanche de dados.

O grande desafio, porém, é como lidar com esses dados. A velocidade da informação é grande e isso impacta na tomada de decisão. Antes, quando havia um funcionário ruim, ele estragava seu relacionamento com dez clientes. Hoje, se o site da empresa parar de funcionar ou apresentar informações inadequadas, significa minar o relacionamento com centenas de clientes.

A tecnologia multiplica por várias ordens de grandeza os desafios do dia a dia, principalmente na questão da informação. Um dos participantes colocou: podemos fazer a maior besteira do mundo se usarmos mal as informações disponíveis, mas não utilizá-las seria muito pior. O maior desafio da atualidade é lidar com as informações.

pergunta3b

A mobilidade está transformando as empresas. As pessoas não conseguem mais viver sem ela. Para todos que estavam na mesa, a empresa que não adotar a estratégias para lidar com as tecnologias móveis corre sério risco de desaparecer.

Os participantes associaram o tema proposto com as competências que uma empresa deve ter para possuir um bom atendimento. Para a maioria, canais de relacionamento que utilizam as potencialidades das tecnologias móveis estão se tornando obrigatórios. Se a organização não for capaz de disponibilizar maneiras de seus clientes interagirem de forma eficiente e segura utilizando equipamentos como celulares e tablets irá perdê-los, se fizer isso mal, estará fora de mercado rapidamente.

Foi colocado também que, no mundo das tecnologias móveis, as companhias ganham novos detalhes para suas análises. Se antes era possível saber quando e o que os clientes faziam, com essas tecnologias é possível saber onde os clientes vivem, que lugares eles frequentam e onde resolvem consumir serviços e produtos.

empresa-digital_01

Com o aumento no número de empresas especializadas em serviços exclusivamente digitais e móveis, surge uma nova tendência. Se antes era comum cada organização montar base de dados próprias com quase nenhuma presença de informações externas, com o aumento do volume das informações disponibilizadas pelas empresas digitais, cada vez será mais comum ver organizações comprando serviços de coleta e análise de dados de empresas especializadas no mundo digital. Um exemplo citado foi a coleta e análise de informações de redes sociais e de utilização de aplicativos mobile com grandes bases de dados.

Como exemplo de empresas que já perceberam a oportunidades de oferecer esses serviços e atuar como provedoras de informação foram citadas Google, Amazon e Facebook. O que se vê no modelo dessas companhias é que se transformarão em grandes provedores de informação sobre o comportamento de mercados, empresas e pessoas.

pergunta4b

Durante as discussões foram apresentadas várias fontes de dados que podem ser consideradas inovadoras. Entre elas foram citadas:

fontes_dados

Foi entendimento do grupo que vivemos um momento em que recebemos informações de todos os lados, porém, saber explorar e analisar essas informações representa a real vantagem competitiva no mundo dos negócios.

relacionamento-redes-sociais

Alguns participantes comentaram que muitas empresas ainda não sabem como usar de forma adequada e produtiva as informações das redes sociais. Citaram os inúmeros feedbacks negativos recebidos, por exemplo, por bancos e empresas de telecom, sem que os mesmos sejam tratados adequadamente por essas empresas. Um dos participantes mencionou que a ‘cereja do bolo’ seria trazer a informação do cliente da rede social e cruzá-la com as bases de dados internas das organizações.

pergunta5b

O entendimento do grupo foi de que para lidar com esse volume de informação é preciso ter estratégia, tanto na área de tecnologia quanto nas áreas de negócios.

Do ponto de vista da área de tecnologia é preciso ter como ponto de partida uma boa arquitetura, que facilite a coleta, armazenamento e utilização da informação. Essa arquitetura deve priorizar as necessidades de negócio, que demanda flexibilidade e poder de análise.

Também foi citado que é preciso utilizar tecnologias capazes de lidar com grandes volumes de dados, entre elas os gerenciadores de bancos de dados paralelos como Teradata, Oracle Exadata e DB2, além dos diversos produtos relacionados com a tecnologia Hadoop.

Durante as discussões foi feito o alerta de que não se deve acreditar que uma única solução seja capaz de lidar com todos os desafios de um programa de gestão da informação. Ao contrário, o recomendável é ter um conjunto de ferramentas à disposição, aproveitando o melhor de cada uma.

diagrama_datab

Os mais experientes do grupo alertaram para os perigos de acreditar nas promessas dos fornecedores. Quando estamos falando de grandes volumes de informação não existem fórmulas mágicas. É preciso ter estratégias de integração de dados que facilitem as análises, mantendo a flexibilidade do ambiente. Esse trabalho é complexo e demanda muita experiência das equipes envolvidas.

Além da importância de escolher as tecnologias corretas, os presentes ressaltaram a necessidade de ter mais agilidade nas entregas para as áreas usuárias. Foi consenso que a tendência é de se utilizar cada vez mais as técnicas de desenvolvimento ágil para viabilizar a utilização dos volumes crescentes de informações disponíveis.

conclusoes_titulob

Em linhas gerais, a discussão sobre “O Papel de Analytics na Era das Empresas Digitais” nos levou às seguintes conclusões:

conclusoes

Consultoria é uma das frentes de trabalho da TDW

Somos apaixonados pelo que fazemos e buscamos sempre fazer melhor. Acreditamos que investir em pessoas, trabalhar em equipe e desafiar nossos limites é o único caminho para o sucesso. Junto com nossos clientes, nosso maior patrimônio, buscamos o desenvolvimento de negócios contínuos e duradouros por meio da prestação de serviços em 3 frentes interdependentes.

Hoje, falaremos da nossa atuação em consultoria:

Estratégia e Governança

  • Elaboradas estratégias de gestão da informação
  • Programa de governança de dados
  • Definição de arquitetura de referência
  • Elaboração de roadmaps de implantação
  • Elaboração de dados corporativos

Avaliação de Ambientes/ Projetos

  • Avaliações de ambientes e projetos em andamento
  • Avaliações de tecnologias e fornecedores

Mentoring

  • Melhores práticas de utilização de ferramentas de acesso/integração e aplicações analíticas
  • Melhorias práticas de desenvolvimento de soluções analíticas