Resumo 11º Encontro de Usuários de BI

 

O tema do debate foi: “Como fazer com que Big Data tenha aplicações práticas de sucesso e efetivas nas empresas”.

 

Chegamos ao nosso 11º Encontro de Usuários de BI e o debate teve como tema “Como fazer com que Big Data tenha aplicações práticas de sucesso e efetivas nas empresas”.

Nesta edição, contamos com a presença de mais de 60 representantes de diversas empresas, todos em diferentes ramos, tais como, varejo, indústria e serviços; todas com iniciativas na área de Big Data e suas tecnologias.

Diferentemente das outras edições, o 11º Encontro seguiu um formato de debate mais aberto, com perguntas e respostas entre os participantes, com apoio do mediador. Os questionamentos, para efeito deste resumo, foram agrupados nos seguintes tópicos:

O primeiro ponto abordado foram os casos práticos do uso de Big Data em empresas. Alguns participantes destacaram exemplos em que essas tecnologias ajudam seus negócios de forma efetiva. Profissionais de TI e de negócios trouxeram para o debate modelos e experiências em suas operações.

O primeiro exemplo veio de um dos participantes que atua como gestor de uma área de especialistas em captura/armazenamento de dados e um grupo de analistas de dados, os quais estão atualmente na área de TI, mas que tem um foco exclusivo de atendimento ao time de negócios da corporação. Essa equipe atua em diversas áreas atendendo a todo o grupo, o qual é composto por diversas empresas que têm atuação desde a parte industrial, até o ponto de vendas final. O gestor ilustrou aos participantes como a utilização e análise das informações do canal de vendas diretas ao consumidor (B2C), através de sua rede de farmácias, permite mostrar o impacto que essas vendas trazem na produção da indústria química do grupo, responsável pela produção de componentes químicos que formam o grupo de produtos de HPC (Higiene Pessoal e Cosméticos). Assim, essa indústria química pode realizar previsões de produção de ingredientes com maior precisão e assertividade; além de toda a informação para a área de negócios da área de farmácias, permitindo ações de cross-sell e up-sell.

A seguir, um dos representantes de uma grande rede de varejo de moda compartilhou com os participantes uma das utilizações de “Big Data” na empresa. A área de tecnologia investiu em um ambiente de processamento/armazenamento com foco na utilização de informações não estruturadas; tais como logs de internet. E foi nesse tipo de informações que o caso de uso desta empresa se fundamentou. A equipe de negócios passou a realizar análises de quais produtos tinham maiores visitações no site da empresa e de posse dessas informações passou a realizar campanhas mais assertivas, enviando ofertas mais direcionadas a seus clientes. Com este tipo de análise, em princípio bastante simples, a empresa passou a ter uma taxa de conversão bastante elevada em suas ofertas, atingindo em alguns casos 30% de taxa.

A área de finanças trouxe alguns exemplos de utilização nesse setor. Um deles busca formas de identificação dos investimentos que os clientes realizam fora daquela instituição financeira, para assim, tentar mudar a estratégia de abordagem do banco com esses clientes e melhorar o seu share wallet. Um outro exemplo é a utilização de imagens, tais como street view, que permite a identificação de possíveis casos de fraudes, evitando assim esforços da equipe comercial em visitas não produtivas. Mais um exemplo nessa indústria foi a captura e análise de informações de navegação em redes sociais e nos sites de internet banking com foco no entendimento do comportamento dos clientes, permitindo assim, análises e insights que são direcionados e utilizados pelas equipes de CRM do banco para melhorar a eficiência e resultados de suas comunicações com os clientes/prospects.

Outro exemplo veio da área hospitalar. O participante compartilhou com o grupo a iniciativa de um projeto nesse grande hospital que irá permitir a otimização dos leitos por meio de análise das informações dos pacientes / prontuários dos mesmos, entendendo e prevendo todo o ciclo do mesmo desde sua chegada ao hospital.

Vimos assim que diferentes métodos exemplificam como a aplicação de Big Data pode se tornar útil e efetiva nas empresas. Mas, quais são as ferramentas disponíveis no mercado para auxiliar um projeto de Big Data? A resposta será detalhada no próximo tópico.

Inicialmente alguns dos participantes fizeram citações de diversas ferramentas que são utilizadas no ambiente de Big Data, tais como Clioudera, Horton Works, Hive, Impala, Sqoop, Flume, Cassandra, entre outras.

O grupo teve algumas interações sobre a questão das tecnologias utilizadas e entende que existem diversas ferramentas e opções para os projetos. Trata-se de um mercado oriundo do software livre, e, portanto, o conceito de utilizar um código único e dar suporte ao mesmo é que permite a criação de diversos flavors. As comunidades de desenvolvimento geram vários produtos, os quais acabam sendo concorrentes entre si. O grupo então teve debates sobre maturidade das ferramentas e concluiu que justamente por ainda estar em evolução, algumas ferramentas que hoje são utilizadas podem desaparecer daqui a 1 ou 2 anos, e em contrapartida, algumas podem virar “estrelas de mercado”. Portanto, é importante estar atento e preparado para essas mudanças.

Um dos blocos de ferramentas, talvez o principal neste ecossistema de Big Data, é o da estrutura de dados. Falamos aqui de Cloudera e de Horton Works, que são os principais em nosso mercado. O mediador fez, então, um desafio ao grupo para pensar sobre um dos exemplos citados como caso de Big Data e que não utiliza nenhum desses, mas sim, o tradicional banco de dados, neste caso, o Oracle. Como fica então essa questão de utilização e eventual migração entre tecnologias?

Segundo a opinião de alguns participantes, o tempo de migração depende do investimento que a empresa faz na ferramenta/tecnologia. Quanto mais utilizada e desenvolvida, mais dificuldade a sua empresa vai ter em sair dela. Outro ponto discutido foi a quantidade ideal de ferramentas para usar no negócio, os presentes concluíram que “menos é mais”.

Com relação à produtividade que se pode obter com as tecnologias/ferramentas, o grupo entende que toda adoção de tecnologia tem seu tempo de maturidade e as tecnologias são adotadas/escolhidas de acordo com os desafios de negócios apresentados. A adoção passa pelo conhecimento das tecnologias disponíveis e o que a empresa tem como linha diretiva – às vezes, queremos adotar uma nova ferramenta/tecnologia, mas o processo na empresa não nos permite ir em uma direção, portanto, temos que utilizar o que temos/conhecemos.

O grupo também entendeu que a tecnologia em si talvez não seja o mais importante, pois a mesma vai mudando/evoluindo, e, portanto, a utilização adequada da mesma seja fundamental, sabendo reconhecer o momento de mudanças/migrações tecnológicas. Foi citado o exemplo de utilização de tecnologia em startups, as quais adotam determinadas tecnologias em inícios de operações e vão evoluindo conforme enfrentam seus desafios de crescimento.

A seguir discutiu-se sobre utilização de soluções em nuvem para os projetos de Big Data e para os projetos de TI de forma geral. Levantaram-se questões principalmente com a segurança das informações. Entretanto, de forma geral, o grupo entende que adotar a nuvem em si não é o grande problema, pois se você estiver em um data center seguro, como, por exemplo, Amazon ou Google, o mesmo é possivelmente mais seguro que o data center das empresas, mesmo as maiores. A preocupação que o grupo coloca como sendo de maior importância é a utilização das informações que estão nesses data centers por parte dos provedores. Foi citado o exemplo de como o Google tem a noção exata de onde cada um de nós está utilizando a geolocalização e de como obtém as informações através de APIs dos aplicativos que utilizamos em nosso dia a dia – consentimos a coleta desses dados, mesmo as vezes não notando isso nos temos de uso.

“Saber que estamos sendo vigiados é mais eficiente do que colocar a chave”.

A frase acima citada por um dos presentes representa exatamente a visão de algo extremamente importante no quesito segurança. Devemos atender o usuário, orientar ele na medida do possível e estar preparado para ajudar, porque o que faz a equipe de negócios não seguir as melhores práticas de governança e utilização é justamente não atendê-lo, fazendo com que o mesmo busque caminhos alternativos para suas necessidades.

É neste ponto do debate que entra a questão sobre os desafios da governança que veremos no tópico a seguir.

Um dos participantes que trabalha na área de finanças levantou um ponto que foi debatido intensamente, não somente neste encontro, mas em outros – como estão as iniciativas de governança da informação nas empresas, considerando em especial o Big Data, que tem potencial imenso de armazenamento? Como tem sido e quais os desafios?

O debate iniciou com a pontuação de um dos presentes de que esse desafio já existe nos ambientes tradicionais, e que cada vez mais teremos esse desafio presente com a passagem para a mão dos usuários de negócio da utilização e manipulação dos dados e informações. A sensação desse participante é de que teríamos “voltado no tempo”, pois anteriormente a ideia do ambiente analítico era que tivéssemos a “única versão da verdade”, e hoje, enfrentamos o risco de termos várias pessoas com diferentes visões dos dados.

O desafio de governança em ambientes tradicionais é importante e nos ambientes de Big Data/Hadoop se torna ainda maior. Neste momento houve a pontuação sobre terminologia com relação ao termo Big Data, o qual se entende que por si só não representa algo relevante ao dizer apenas “dado grande”, mas sim a relevância e a importância da terminologia Business Intelligence, que de fato apresenta o conceito verdadeiro dos ambientes analíticos que trata da “Inteligência de Negócios” – para as corporações não importa o fato de utilizar Oracle, MySQL, Cloudera, o que de fato importa são os conceitos de negócio.

O grupo então debateu sobre a pontuação de “visão única da verdade” e entende que essa é uma discussão importante e que a maioria tem encontrado nas corporações que isso não é algo tão relevante hoje em dia como foi há algum tempo. Se entende que o foco não deve estar em termos únicos e sim em termos bem definidos. Ao invés de buscar quais são os principais indicadores da empresa, os quais normalmente têm revisões e discussões mensais sobre quais devemos utilizar, a relevância está em definir muito bem o que se está medindo. Desta forma, se as equipes investirem seu tempo na definição do que elas estão falando/medindo, as discussões se tornam mais produtivas. Nessa discussão, a participação de TI é fundamental para auxiliar os usuários de negócios na preparação e definição de termos.

Um ponto comentado em conjunto com a governança foi a segurança da informação. O fato é que garantir a segurança é um tema extremamente complexo e difícil – o foco aqui tem que ser em lidar da melhor forma possível com o tema sem prejudicar a utilização da mesma. Devemos buscar a segurança sempre e estar preparado para lidar com possíveis brechas, pois em tempos de internet qualquer celular no bolso se torna uma forma de acesso. Na estratégia de segurança é melhor monitorar do que tentar controlar acessos. Obviamente controles básicos tem que ser implementados, tais como criptografias, mas amarrações em excesso levam os usuários de negócio a outras soluções tais como “shadow IT”, ou seja, seus próprios servidores de informações.

Neste ponto um dos participantes levanta o tema de qualidade de dados com foco nos dados do tipo “não estruturados”, que se encontram mais presentes em ambientes de Big Data.

É comentado que esse tipo de dados não necessariamente são dados “ruins ou sujos”, são apenas dados que não são estruturados (imagem, texto, vídeo, logs etc.). Assim como existem dados estruturados que não são bons, ou não estão tratados, existem dados não estruturados a serem tratados. Entretanto a questão levantada é um pouco mais abrangente, pois além da qualidade em si, existe a diversidade do dado. Então como se trata isso em ambientes Hadoop / Como se faz em Big Data? É diferente do BI tradicional?

Uma visão simplista de mercado traz uma abordagem de que em big data não se trata os dados, são apenas utilizados – essa é uma visão trazida principalmente pelos fornecedores de tecnologia. Isso é dito da mesma forma em que é dito que também não é necessária modelagem de dados em big data.  Na visão do grupo e da prática de implementações de projetos, é de que não é exatamente uma visão correta, pois tanto em projetos tradicionais de BI, quanto de Big Data, são necessárias a estruturação dos dados e a qualidade de dados. Caso contrário existirá uma grande dificuldade de utilização por parte das equipes de negócio. E caso não sejam modelados e/ou tratados, essa missão acabará sendo transferida de TI para as equipes de negócio – trabalho de alta complexidade. Um dos grandes valores de TI, se não o maior, está justamente no tratamento e na preparação/modelagem desses dados para negócios utilizar da melhor forma, com tranquilidade, segurança, performance, governança, um dado mais limpo etc.

Com relação ao tipo de dados, a visão entendida pelo grupo após debates é de que de fato não tem como usar um dado não estruturado. Como exemplo, processamento de imagem nada mais é do que estruturar uma coisa que visivelmente parece não estruturada. Você utiliza um algoritmo, divide a imagem em pedacinhos, dá um significado para cada um e pronto, estruturou o dado. Portanto, o dado na origem pode não ser estruturado, mas de alguma maneira você vai dar uma estrutura ao mesmo. E a maioria dos dados não estruturados que a gente lida, não é que eles não são estruturados, eles são estruturados de uma maneira que um banco de dados relacional não consegue lidar muito bem. Um log é um dado estruturado. A navegação da internet é totalmente estruturada, só que ela é estruturada de uma maneira que para o banco de dados tradicional não funciona bem.

Portanto, se o dado não estiver estruturado, se não conseguir estruturar os mesmos, você não vai conseguir usar. Isso é diferente de dizer que é um dado de um banco de dados relacional ou um dado de um ambiente Hadoop – e modelar/organizar os dados é sim muito importante, bem como tratar da qualidade dos dados é muito importante. Como citado no encontro, existem diversos graus de qualidade, a gente trabalha desde o dado mais sujo até o mais limpo, só temos que saber qual nível de qualidade que você tem ali na sua utilização.

Ao se falar de utilização, o grupo iniciou conversas sobre perfil das equipes.

Existem alguns termos novos que chegaram com o termo Big Data, como, por exemplo, o termo cientista de dados – o grupo debateu um pouco em torno desse tema.  Iniciou-se com uma questão sobre a diferença entre um estatístico e um cientista de dados – será que é possível diferenciar os dois? Hoje em dia, as empresas em sua maioria, enxergam o estatístico como alguém com o foco mais acadêmico. E esse foi um ponto importante no encontro: a discussão sobre pessoas acadêmicas e pessoas práticas.

O grupo comenta em torno da teoria de que o conhecimento seria um atributo muito valorizado e isso leva as empresas no sentido de cometerem erros. Enquanto que o mais importante nessa teoria seria a capacidade de aprender, e aprender de forma rápida.

 

Ao se contratar um especialista, com conhecimento determinado e específico, as chances de errar são grandes, pois o que está se contratando é o conhecimento, até porque está se contratando um currículo, por vezes supervalorizado. Ao invés disso, se nos processos de entrevistas se buscar domínio de conceitos, capacidade de absorção do seu ambiente/negócio, capacidade de entendimento da conversa, a chance de sucesso é fortemente ampliada.

Em geral, houve consenso de que quem trabalha na área de informação, quem é técnico, tem que aprender de negócio e quem é de negócios tem que aprender tecnologia. Não tem saída, obviamente existem nuancias, existirá o especialista técnico que entende pouco de negócio e existirá a pessoa que tem foco somente no negócio, mas também entende um pouco de tecnologia.

Portanto, o grupo percebeu que temos que mudar o perfil radicalmente – as pessoas de TI têm que ser pessoas focadas no negócio, e as pessoas de negócio tem que gostar de tecnologia. O mundo é tecnologia, a pessoa que não gosta de tecnologia hoje está fora do mercado. Hoje em dia, um profissional da área de negócios que não saiba mexer no excel, tem sobrevida? Não tem. Daqui alguns anos, um profissional que não souber operar um tableau, entrar numa base de dados, fazer análise, criar um modelo estatístico básico, estará fora do mercado. E por outro lado o pessoal de TI tem que entender que o papel de TI vai mudar, vai mudando – antigamente dava-se suporte aos usuários de excel. A mesma coisa vai acontecer com essas ferramentas, mas é um engano achar que a complexidade está diminuindo, não está, ela está aumentando.

Em geral, as empresas líderes de seus segmentos já contam com equipes de negócios que entendem e dominam completamente tecnologia – esse é o caminho para se tornar empresa líder.

“A capacidade de aprender e se adaptar é mais importante do que conhecimentos específicos”

Projetos de Big Data têm alguns desafios: coletar os dados, organização e tratamento dos dados, e saber o que fazer com esse ambiente que você está criando.

Portanto temos que saber coletar o dado, tratar e modelar/organizar o dado com os devidos cuidados para não termos excessos, pois se tivermos muito cuidado no tratamento, os usuários podem se recusar a usar, e por outro lado, se tiver pouco, o usuário não consegue usar.

O ambiente tem que ter utilidade, objetivo, tem que ter gente querendo usar. Não é necessariamente um business case todo estruturado; tem que ter do lado de negócios gente com vontade de usar. Em todos esses anos de implementação e acompanhamento de utilização de ambientes analíticos, os que são descritos como de sucesso foi onde o usuário tinha um papel relevante e principalmente entendia o valor da informação, a qual é utilizada de maneira prática. Projetos que são muito focados em indicadores corporativos (KPIs), geralmente tem dificuldade de sobrevivência. Projetos que estão ligados a casos práticos, como melhorar a conversão no site, melhorar o relacionamento com o cliente, melhorar o problema de fraude, melhorar efetividade do uso de leito, melhorar a assertividade de lançamento de produtos, como vimos no encontro, esses são os que dão certo.

Questão/Mensagem final: o que fazemos para um projeto de big data ter sucesso e ser prático para a empresa? Os participantes responderam: atenda o negócio, equipe multidisciplinar e mista, mudar o perfil das nossas equipes, dar mais valor ao negócio do que à tecnologia.

 

Quer ler o resumo na íntegra? Baixe aqui!

Resumo 10 Encontro de Usurios de BI

Resumo 10 Encontro de Usurios de BI – evento aprofundou discusso sobre a convivncia do DW Tradicional com o Big Data.

Contextualizando

Chegamos dcima edio do nosso Encontro de Usurios de BI, que trouxe o tema “A Convivncia do DW Tradicional com Big Data”.

Sempre em formato de workshop, com flexibilidade para apontamentos e argumentaes por parte dos participantes a todo momento, o assunto gerou discusses sobre a melhor forma de planejar a arquitetura, a estratgia de implementao e a utilizao dos ambientes de DW Tradicional e de Big Data.

Realizado em So Paulo, o 10 Encontro de Usurios de BI contou com a presena de profissionais de grandes empresas e que atuam em reas como tecnologia da informao, marketing e gesto de canais digitais.

Compartilhamos, abaixo, os principais comentrios, dvidas e consensos que ocorreram ao longo do evento.

O debate gerou grande interatividade, com questionamentos e debates acerca dos seguintes tpicos:

 

Logo no incio do evento o primeiro ponto levantado foi sobre as diferenas e as semelhanas entre Data Warehousing Tradicional e Big Data. Destacou-se que uma das semelhanas entre as duas abordagens se refere ao volume de dados – ambos podem comportar tanto pequenos quanto grandes volumes. O que eventualmente importante considerar a questo financeira, podendo ser necessrios investimentos mnimos considerveis para adotar um projeto desse porte.

Falando sobre diferenas, um dos pontos notados pelos participantes de que o DW um ambiente mais estruturado, enquanto o Big Data percebido como mais flexvel. Com isso como pano de fundo para o debate, foi argumentado por alguns dos participantes que flexibilidade demais gera desafios, enquanto que outra parte dos presentes observou que estruturao demais tambm gera desafios. Diante dessa reflexo, surge o seguinte questionamento: ser que essas duas caractersticas, flexibilidade para Big Data, e estruturao para Data Warehousing, so mandatrias?

Em busca de respostas para a questo, o conceito inteligncia do negcio foi trazido discusso com o objetivo de repensar o todo e descobrir se possvel haver flexibilidade, performance, documentao e estruturao de dados e, ainda assim, atender as diversas demandas do usurio. Ser que possvel? Ser que conseguimos pensar em coisas que nos levem a chegar nesse caminho?

Para um dos presentes, sim, este caminho possvel, e convida os presentes a pensarem na evoluo que teve o computador, que at pouco tempo era um “tijolo” e, hoje em dia, algo mnimo, um “relgio que faz tudo”. Segundo ele, o problema no ferramental, mas conceitual. E conclui dizendo que preciso pensar TI como negcio.

Contrapondo o comentrio acima, outro participante que sempre atuou em projetos de DW, mas do lado do usurio, diz no acreditar nessa possibilidade, pois no v a execuo acontecer. Em sua opinio, a equipe de TI sempre faz o que o usurio pede, sem levantar se haver ou no benefcios para a empresa. E completa dizendo que se os dois lados no se comunicarem e pensarem em conjunto nada dar certo.

Um ponto importante a se pensar levantado neste tpico, abordou o fato dos profissionais terem o hbito de acreditar em solues “mgicas” apresentadas pelos fornecedores de tecnologia, e que resolveriam todas as questes. Foi citado o exemplo de uma grande empresa do setor de telecomunicaes que adquiriu um grande ambiente de big data, com mais de 15 PB de dados, o qual est encontrando dificuldades de justificar.

De maneira geral, o grupo entendeu neste tpico que existem mais semelhanas do que diferenas entre o ambiente de DW Tradicional e o Big Data.

O tema performance foi amplamente discutido durante o debate. Alguns participantes levantaram a questo de que para grandes volumes de dados o Big Data entrega um resultado mais rpido do que o DW Tradicional; referindo-se a questes como estrutura, arquitetura e tecnologia.

Alguns concluram que a performance est muito associada disponibilidade de ferramentas mais poderosas, hoje, do que no passado. Mas a diferena de performance que as ferramentas trazem esto associadas s ao Big Data, apenas ao Data Warehousing ou aos dois? Data Warehousing d menos performance que Big Data?

A resposta veio rpida por parte de um participante, que disse que dependendo de como feita a estruturao do Data Warehousing e do Big Data, isso se reflete em maior ou menor performance. Utilizar as ferramentas corretas possibilita extrair melhor proveito de cada um dos ambientes. A questo no a ferramenta, mas como se constri, e isso pode ou no entregar performance.

Junto com o ponto da performance veio outro item considerado importante por todos: a flexibilidade. Ser que a performance limita a flexibilidade? Para alguns, a resposta foi sim. E alguns defenderam a ideia de que o Big Data como se fosse uma caixa de ferramentas muito mais completa para atender necessidades especficas.

Mas ser que o mais moderno sempre oferece mais flexibilidade? Talvez a questo no esteja relacionada modernidade, mas ao fato de o Data Warehousing ser considerado uma plataforma que precisa ter uma estrutura, enquanto que o Big Data no, pois foi criado para dados no estruturados.

Para exemplificar essa viso, falou-se que na abordagem do DW, em primeiro lugar surge uma necessidade de negcio para ento o profissional de TI projetar e construir o DW de maneira bem estruturada, com um projeto de modelagem de dados que permita atender aquela necessidade e sobre uma plataforma tecnolgica (software/hardware) que vai atender a necessidade tanto no quesito performance quanto na questo de volume de dados.

J o ambiente de Big Data permite uma abertura maior com relao aos tipos de dados, no sendo necessrio trabalhar/modelar os dados com um caso de uso em mente. Quando o assunto performance, preciso avaliar se uma plataforma em que o volume o principal motivador, porque, de acordo com um dos participantes, no faz sentido no ter muito volume e partir para uma plataforma Big Data.

No DW existe uma modelagem otimizada para consulta, enquanto que no Big Data a performance provida pelo ambiente escalvel, vai crescendo de acordo com a necessidade e, teoricamente, com o custo mais baixo e trabalhando em cima de dados que podem ser estruturados, mais completos ou no estruturados.

Com essa discusso, chegou-se concluso de que volume tanto faz, e que uma semelhana entre DW Tradicional e Big Data. Performance apareceu como uma possvel diferena entre as duas ferramentas, mas concluiu-se que tambm possvel ter performance com ambas. No que se refere flexibilidade, pontuou-se que ela vem da possibilidade de poder colocar o dado do jeito que quiser e da forma que se deseja analisar.

Quando vamos para o mundo real de quem constri ambientes analticos e de quem os utiliza, surgem questes fundamentais tais como a necessidade de estruturao dos dados, porque se no for estruturado, mesmo no ambiente Big Data, haver dificuldades importantes, principalmente por parte do usurio.

A partir do ltimo ponto do bloco anterior surge ento a questo: por que estruturamos o dado?

Por dois motivos: ter melhor performance e mais facilidade de uso (estruturando tambm para o usurio conseguir utilizar).

Outro ponto levantado sobre a estruturao de dados foi que ele tambm promove a dicionarizao da informao. Na base de dados, se no h um modelo estruturado e claro do que so as informaes, a ponta final pode utilizar os dados de forma errada. O Big Data pode dar uma impresso de facilidade por ser mais gil, mas se voc no tiver uma dicionarizao boa, as reas que vo utilizar essa informao podem usar de forma errada, diferente uma da outra, e a teremos conflito de resultado; e isso vale para os dois ambientes.

preciso ter um grupo de usurios finais que esteja com uma viso bem clara das suas necessidades. Nem sempre todo mundo est com a ideia bem elaborada que possa permitir a estruturao dos dados, e nesse sentido, tanto faz o ambiente adotado. A partir do momento que a ponta final/usurios estiver estruturada, possvel dar uma soluo, oferecendo qualquer tipo de dado, em qualquer ambiente e com a performance desejada.

A discusso acima apontou para a concluso de que nem sempre o usurio est preparado para dizer o que ele precisa. Quando se constri um ambiente analtico, existe a pretenso de que s colocar todo o tipo de informao ali que o usurio vai se virar. Mas quando de fato se inicia o projeto, em geral, feita uma consulta com o usurio para que ele diga o que de fato precisa. Muitas vezes, ele diz que quer tudo e s depois de muito custo ele comea a pontuar o que, de fato, precisa e quer no ambiente analtico.

Como exemplo de usurios, se consultarmos um estatstico “das antigas”, que seguiu os mtodos estruturados de estatstica, e compararmos com a garotada que est chegando, onde a metodologia totalmente diferente, os mais jovens vo demandar um monte de outras coisas e tipos de dados. E tudo “online”.

Surge ento a questo: Data Warehousing tradicional lida bem com dado online? No. A proposta de Big Data lidar bem com dado online? Sim.

Vamos ento explorar o tema de utilizao dos dados.

A rea de negcios exige constantes mudanas. A tecnologia tem como principal misso de orientar o usurio. A questo : o que voc quer analisar e como voc quer analisar? Se voc joga tudo numa gaveta e pega um monte de agulhas, joga l uma agulha laranja, ser que vai achar essa agulha laranja algum dia?

A misso da rea de TI resolver o problema, e no convencer o cliente de que ele no poder fazer determinada coisa. O usurio nunca quer saber se ou no possvel, quer que os tcnicos executem. Essa tal gaveta em que se coloca tudo e onde o usurio pode perguntar o que quiser possvel, ela s no fcil de ser feita.

Com a utilizao, o usurio vai descobrir que tem coisas que para ele so importantes e que outras so extremamente importantes, assim, o modelo vai sendo criado. A misso do profissional de TI no a de dizer no. Sempre que o especialista disser no para o problema, ele falhou.

No passado, talvez por falta de conhecimento, ao invs de trazer um dado ou um grupo de dados especficos, trazia-se a base inteira e ento tnhamos o projeto de DW. Hoje, com o Big Data, no preciso a base inteira, sendo possvel trazer apenas os dados desejados para uma anlise especfica. Um dos participantes enfatiza que ainda no 100% assim, mas acredita que este o caminho.

Outro participante confronta dizendo que o Data Warehousing no trazia tudo, apenas uma parte necessria para responder o que era preciso. J o Big Data vem para ajudar a encontrar respostas s perguntas que no foram feitas ainda. Uma parte interessante do Big Data entregar a resposta para uma pergunta que voc nunca imaginou. A questo do “trazer tudo” pode gerar uma confuso imensa, e natural este momento. Essa fase de mapeamento, que ocorre no projeto tradicional de DW, faz com que o profissional de TI que est desenvolvendo o projeto v buscar onde as informaes esto, modelar como o negcio precisa e entregar.

E quando falamos de diversidade do dado, volume e complexidade? O volume de dados apresenta diferena entre um banco de dados tradicional e o ambiente Hadoop apenas em custo na viso dos participantes. Com relao capacidade de lidar com volumes, no. J com a diversidade e o tipo de dados, o ambiente de Big Data (Hadoop) permite maior flexibilidade, podendo lidar com diversos tipos de dados no estruturados – imagem, som, texto, entre outros.

O mais importante a compreender que jogar os dados e deix-los l, sem utilidade, pode ser nocivo. Os conceitos de modelagem, de organizao e de governana tero de ser aplicados. Mesmo na tecnologia Hadoop, ser necessria uma estratgia para gerar algum grau de trabalho para os usurios.

Diariamente, surgem novos indicadores. Se o profissional deseja responder qualquer pergunta, construir qualquer indicador, para qualquer usurio, o que preciso trazer para a base? Tudo. Tem alguma divergncia? No. Ento, qual a misso da TI? trazer toda informao necessria para algum lugar que permita ao usurio fazer o que ele quiser. Essa uma misso atingvel? H controvrsias, alguns tm mais esperanas, outros tm menos, outros esto no meio do caminho, mas essa a misso.

O que conhecemos de Data Warehousing Tradicional atende essa viso? No geral, os participantes dizem que no, pois a questo do online um problema. Um deles diz que uma das dificuldades so modelos em cima de uma necessidade que pode ser alterada em prazo de dias, com base em fatos, dimenses e mtricas. Neste caso, poderia se pensar em um modelo relacional, que bem construdo responde a qualquer pergunta, oferece uma possibilidade infinita de anlise.

Na teoria, pode-se adicionar os elementos nesse modelo e ele vai continuar respondendo a todas as perguntas. Isso terico no sentido de que no d para contestar, matemtica, teoria de conjuntos, quem estudou profundamente o assunto sabe que os modelos relacionais respondem a qualquer pergunta. Mas qual o problema de um modelo de dados relacional para quem vive com um banco de dados grande para fazer anlise? Performance.

O DW tem uma vantagem sobre o Big Data: estruturao. Possuir um modelo de dados tem suas virtudes, ao mesmo tempo em que no ter este modelo pode ser um caos. O modelo vai existir, pelo menos em algum momento. A diferena que no DW ele existe na concepo do ambiente, ocorre antes, na preparao do dado. Mas a modelagem, pensando em entrega final, em visualizao do dado, uma modelagem diferente.

Na hora em que se comea a usar, existe a necessidade de modelar o dado, s que os “turistas” do Big Data vendem a imagem de que no necessrio modelar o dado, e a vem tudo errado. Do ponto de vista da preocupao de performance, em um ambiente Hadoop ou de processamento paralelo distribudo, a performance maior. Entretanto, do ponto de vista de como usar o dado, bem diferente, pois preciso tratar os problemas de integridade, das anomalias dos dados, do relacionamento. Se deixar para o usurio fazer isso a cada pergunta, impossvel. como dizer a ele: “se vira”.

Um dos participantes levanta essa questo dizendo que sempre enfrenta um problema no banco em que trabalha: a questo de segurana.

O conceito de DW tem uma preocupao com a confidencialidade e com a governana – ela boa ou ela m? Como tudo na vida, existem pontos a favor e contra. No d para abrir mo da confidencialidade e da governana. Isso um problema intrnseco ao conceito de Big Data? No necessariamente. Ningum disse que o Big Data no tem governana. Hoje, esse um problema inerente ao grau de maturidade de ferramentas do Big Data. Tem um monte de gente desenvolvendo ferramentas de governana para Big Data. Quem trabalha com Big Data no diz “segurana no importante”. No deu tempo de desenvolver, a prioridade fazer performance, fazer ser rpido”. Para isso tem o time que se encarrega da governana.

Para aqueles que querem usar todo o potencial do DW, o que preciso saber? Precisa ser um “s” do SQL, ou ter um “s” do SQL ao lado?

Sempre teremos duas situaes, o usurio que tem mais facilidade com a tecnologia – e a preciso dar a ele o dado para que faa o que desejar; e aquele usurio que tem dificuldade, mas que por meio da ferramenta que o profissional de TI escolher vai proporcionar que este tambm trabalhe com o dado.

Uma das constataes de que as ferramentas de Self-Service BI funcionam bem quando o dado preparado. Ao inserir tudo, sem preparo prvio, o problema persiste e o usurio no consegue usar.

Um dos participantes comenta que, em sua experincia como gestor de modelagem estatstica, enxerga uma mudana de perfil, em que o usurio que mexe em SQL tambm manuseia vrias outras ferramentas. Isso porque ele sempre quis ter acesso a tudo, mas sua preocupao nunca foi performance. Rodava uma base, demorava uma, duas, ou trs horas, e no sabia o que era ndice na tabela, o usurio estatstico. No mundo de Big Data, no tem como no se preocupar, caso contrrio o negcio no roda, pois muito dado. A complexidade de anlise bastante grande.

Ao final do debate, concluiu-se que o mais importante atender a necessidade do usurio. Para resolver os problemas preciso haver discusses sobre o que fazer, tentar um caminho, possivelmente errar, para depois ento ajustar. Vale o conceito de “falhe, mas falhe rpido”!

Para ter uma arquitetura boa, perene e capaz, o bom senso diz que os profissionais de TI precisam focar no que h de melhor dentro de suas experincias, e que cada equipe tenha uma discusso sobre qual tecnologia usar e tambm falar sobre inteligncia de negcio. Tudo importante. Pensando no futuro, preciso criar um ambiente flexvel, composto por componentes do DW Tradicional e componentes do mundo Big Data, que tenha um maior conjunto de informaes possvel, que estimule os usurios a fazerem anlises mais complexas, possibilitando, assim mais assertividade. Portanto o mais importante de fato a convivncia entre esses dois ambientes – DW tradicional e Big Data.
unique is not kidding were no scientific studies done on my face until it is removed and irritation from real rose quartz roller really work the results were going back in dry skin I m getting a great honey smell for this facial roller uses by a glass rub the perfect color If you ll find in dry skin I think it back in very light and irritation from real rose quartz is to work I am a resin used the many people the other great honey smell for any other hair straightening tools We rose quartz roller amazon this roller to 10 hours to roll requests to define the glass rub the right side of these pigments of other finish on my face rollers day and I decided to shape it can use the cheekbones and in very very newbie at this video
We applied an even taking requests to define the beauty studio but you think it gets dirty or stone The crystals are a week that this but you have a washcloth to use them is an even layer

TDW Labs e BI Group

Dentro de nossa estrutura, acreditamos que o desenvolvimento deve ser contínuo e, para isso, é preciso estar alinhado com as novas tecnologias e compreender as necessidades do mercado. Sendo assim, a TDW Consulting investe em duas frentes de pesquisa e desenvolvimento que considera essenciais e estratégicas para o desenvolvimento a longo prazo.

  • TDW_LABS: laboratório de pesquisa e desenvolvimento criado para fomentar o estudo e a busca de aplicações práticas de novas tecnologias no segmento de Gestão da Informação. Também serve para avaliar novos produtos de mercado, desenvolver soluções customizadas e treinar a equipe de consultores TDW.
  • TDW_BI_GROUP: grupo de usuários de BI criado pela companhia e que se reúne periodicamente para discutir temas relevantes sobre o uso da informação como diferencial competitivo. Os encontros promovem a troca de experiências entre as organizações que utilizam ou pretendem utilizar este tipo de tecnologia, além de trazer à cena as preocupações, anseios e desejos da comunidade usuária.

A TDW tem como lema transformar dados em informações > informações em conhecimento > conhecimento em diferencial competitivo.

Navegue pelo nosso site e saiba mais!

BI, Datawarehousing e Integração de Dados.

A TDW é uma das empresas mais reconhecidas do mercado brasileiro  no que se refere a soluções analíticas, resultado de sua vasta experiência em consultoria e implementação de projetos de Business Intelligence e Datawarehousing em grandes clientes e em ambientes de alta complexidade.

Dentre os nossos diferenciais, destacam-se:

  • 100% de foco no segmento de gestão da informação.
  • Experiência comprovada em projetos complexos.
  • Domínio dos conceitos e das tecnologias.
  • Independência de atuação: vendemos serviços, não produtos.

Nossos números:

  • No mercado desde 2005.
  • Mais de 30 projetos ao ano.
  • Mais de 100 mil horas de projetos ao ano.
  • Equipe com mais de 50 consultores e com especialidades variadas.
  • Escritórios em SP e RJ.

3_diviso%cc%83es_1

Resumo 9º Encontro de Usuários de BI

Chegamos à nona edição do nosso Encontro de Usuários de BI, que trouxe como tema de discussão “O Papel de Analytics na Era das Empresas Digitais”.

Sempre em formato de workshop, mas com flexibilidade para apontamentos e argumentações por parte dos participantes a todo momento, o assunto gerou grande interatividade, com questionamentos e debates acerca dos seguintes tópicos:

ilustra1b

Realizado em São Paulo, o 9º Encontro de Usuários de BI contou com a presença de profissionais de grandes empresas e que atuam em áreas de tecnologia da informação, de marketing e de gestão de canais digitais.

Compartilhamos, abaixo, os principais comentários, dúvidas e consensos que ocorreram ao longo do evento.

O primeiro tópico teve como objetivo elucidar o que vem ser a chamada Era Digital nas empresas, o que tem a ver a questão de analytics e business intelligence nesse contexto e como estão interligados.

Logo de cara, os participantes disseram que as empresas genuinamente digitais são as que utilizam somente esses canais para oferecer seus produtos e serviços. Foram utilizados exemplos de empresas como Google, Facebook, Spotify, Nubank, entre outros.

Mais adiante, surgiram exemplos de empresas tradicionais utilizando recursos digitais em suas operações. Alguns exemplos citados foram: substituição de formulários por sistemas, negócios feitos pelo WhatsApp, comunicação com os clientes por canais digitais, ações em redes sociais, coleta de informações a partir de canais digitais para oferecer produtos e campanhas mais direcionadas, entre outros.

ilustra2

Alguns participantes da área bancária levantaram a questão de que ser digital significa ter cada vez menos agências físicas.

Para a maioria, uma empresa da era digital oferece informações de forma integrada em múltiplos canais, alguns deles digitais, de forma a permitir a comunicação com clientes, vendedores, prestadores de serviços, etc.

Mas será que as empresas que usam tecnologia há décadas já não eram digitais desde o princípio?

Diante deste questionamento, os participantes concluíram que elas eram informatizadas, mas que o desafio da época estava em automatizar os processos. Na era digital, a informatização tem uma outra função, mais focada no cliente, buscando entender seus comportamentos e atender seus anseios. Para isso, é preciso saber onde ele está, o que faz, que canais de comunicação prefere utilizar, quando, onde e de que maneira.

Para um dos presentes, antes as empresas automatizavam processos por conta de custos. A novidade é que, hoje, quem puxa a necessidade de automação são os clientes. É uma questão de sobrevivência. Não é mais a empresa querendo que o cliente migre para o digital porque é mais barato, mas uma questão de sobrevivência no mercado. Se a companhia não é digital, ela corre grande risco de deixar de existir.

Outro ponto levantado foi que, antigamente, o acesso à tecnologia era exclusividade das grandes empresas, sendo que, hoje, este quadro é completamente diferente, podendo as pequenas empresas, e até o indivíduo, terem até mais acesso do que as corporações.

empresa-digital_03_colorPara muitos, atualmente a loja física funciona mais como um showroom do que como um ponto de venda, é um canal para comunicar a marca quando as pessoas estão na rua. Da mesma forma que as agências bancárias, para muitos presentes no evento, existirá apenas para expor a marca e para ter um consultor de produtos. Que ações de venda e de compra serão feitas, em sua maioria, por canais digitais.

Um bom exemplo de empresa digital para os participantes é aquela em que tudo está conectado, os canais de comunicação com o cliente funcionam de forma integrada e sem exageros. Não adianta querer entrar na Era Digital tendo uma mente analógica. Querer usar as técnicas digitais com estratégias antigas pode significar perder dinheiro e incomodar seus clientes com campanhas intrusivas, desarticuladas e pouco eficientes.

pergunta2b

A resposta para a questão acima foi quase unânime: mais velocidade, é preciso ter um tempo de resposta mais rápido em todos os sentidos. Além disso, as empresas passam a operar 24 horas por dia, 7 dias por semana. A noção de trabalho muda e você não se desconecta, mesmo quando está fora do escritório.

Muitas funções que eram de mão de obra intensiva podem desaparecer com a digitalização crescente. No futuro, serviços de atendimento telefônico poderão ser totalmente automatizados, equipamentos de transporte de cargas e pessoas poderão ser autônomos, até mesmo atividades mais complexas poderão ser feitas por computadores.

Com os recursos tecnológicos disponíveis é possível fazer quase tudo de forma digital. A vida está ganhando um novo sentido com a tecnologia? Não sabemos onde vamos chegar. Não adianta negar, a tecnologia está aí e temos de saber usá-la. É questão de mudar a mente e mudar paradigmas.

photo1

Outra consequência da era digital é o aumento exponencial no volume de informação disponível.

Há alguns anos havia poucas informações sobre o mercado e os clientes, tudo dependia de pesquisas e o processo de tomada de decisão era muito mais intuitivo. As ações de marketing eram focadas apenas em TV e mídia impressa, com quase nenhuma segmentação.

Hoje temos acesso a detalhes de como as pessoas interagem com as empresas. Sabemos que canais elas utilizam, quando, onde e como interagem com eles. É uma verdadeira avalanche de dados.

O grande desafio, porém, é como lidar com esses dados. A velocidade da informação é grande e isso impacta na tomada de decisão. Antes, quando havia um funcionário ruim, ele estragava seu relacionamento com dez clientes. Hoje, se o site da empresa parar de funcionar ou apresentar informações inadequadas, significa minar o relacionamento com centenas de clientes.

A tecnologia multiplica por várias ordens de grandeza os desafios do dia a dia, principalmente na questão da informação. Um dos participantes colocou: podemos fazer a maior besteira do mundo se usarmos mal as informações disponíveis, mas não utilizá-las seria muito pior. O maior desafio da atualidade é lidar com as informações.

pergunta3b

A mobilidade está transformando as empresas. As pessoas não conseguem mais viver sem ela. Para todos que estavam na mesa, a empresa que não adotar a estratégias para lidar com as tecnologias móveis corre sério risco de desaparecer.

Os participantes associaram o tema proposto com as competências que uma empresa deve ter para possuir um bom atendimento. Para a maioria, canais de relacionamento que utilizam as potencialidades das tecnologias móveis estão se tornando obrigatórios. Se a organização não for capaz de disponibilizar maneiras de seus clientes interagirem de forma eficiente e segura utilizando equipamentos como celulares e tablets irá perdê-los, se fizer isso mal, estará fora de mercado rapidamente.

Foi colocado também que, no mundo das tecnologias móveis, as companhias ganham novos detalhes para suas análises. Se antes era possível saber quando e o que os clientes faziam, com essas tecnologias é possível saber onde os clientes vivem, que lugares eles frequentam e onde resolvem consumir serviços e produtos.

empresa-digital_01

Com o aumento no número de empresas especializadas em serviços exclusivamente digitais e móveis, surge uma nova tendência. Se antes era comum cada organização montar base de dados próprias com quase nenhuma presença de informações externas, com o aumento do volume das informações disponibilizadas pelas empresas digitais, cada vez será mais comum ver organizações comprando serviços de coleta e análise de dados de empresas especializadas no mundo digital. Um exemplo citado foi a coleta e análise de informações de redes sociais e de utilização de aplicativos mobile com grandes bases de dados.

Como exemplo de empresas que já perceberam a oportunidades de oferecer esses serviços e atuar como provedoras de informação foram citadas Google, Amazon e Facebook. O que se vê no modelo dessas companhias é que se transformarão em grandes provedores de informação sobre o comportamento de mercados, empresas e pessoas.

pergunta4b

Durante as discussões foram apresentadas várias fontes de dados que podem ser consideradas inovadoras. Entre elas foram citadas:

fontes_dados

Foi entendimento do grupo que vivemos um momento em que recebemos informações de todos os lados, porém, saber explorar e analisar essas informações representa a real vantagem competitiva no mundo dos negócios.

relacionamento-redes-sociais

Alguns participantes comentaram que muitas empresas ainda não sabem como usar de forma adequada e produtiva as informações das redes sociais. Citaram os inúmeros feedbacks negativos recebidos, por exemplo, por bancos e empresas de telecom, sem que os mesmos sejam tratados adequadamente por essas empresas. Um dos participantes mencionou que a ‘cereja do bolo’ seria trazer a informação do cliente da rede social e cruzá-la com as bases de dados internas das organizações.

pergunta5b

O entendimento do grupo foi de que para lidar com esse volume de informação é preciso ter estratégia, tanto na área de tecnologia quanto nas áreas de negócios.

Do ponto de vista da área de tecnologia é preciso ter como ponto de partida uma boa arquitetura, que facilite a coleta, armazenamento e utilização da informação. Essa arquitetura deve priorizar as necessidades de negócio, que demanda flexibilidade e poder de análise.

Também foi citado que é preciso utilizar tecnologias capazes de lidar com grandes volumes de dados, entre elas os gerenciadores de bancos de dados paralelos como Teradata, Oracle Exadata e DB2, além dos diversos produtos relacionados com a tecnologia Hadoop.

Durante as discussões foi feito o alerta de que não se deve acreditar que uma única solução seja capaz de lidar com todos os desafios de um programa de gestão da informação. Ao contrário, o recomendável é ter um conjunto de ferramentas à disposição, aproveitando o melhor de cada uma.

diagrama_datab

Os mais experientes do grupo alertaram para os perigos de acreditar nas promessas dos fornecedores. Quando estamos falando de grandes volumes de informação não existem fórmulas mágicas. É preciso ter estratégias de integração de dados que facilitem as análises, mantendo a flexibilidade do ambiente. Esse trabalho é complexo e demanda muita experiência das equipes envolvidas.

Além da importância de escolher as tecnologias corretas, os presentes ressaltaram a necessidade de ter mais agilidade nas entregas para as áreas usuárias. Foi consenso que a tendência é de se utilizar cada vez mais as técnicas de desenvolvimento ágil para viabilizar a utilização dos volumes crescentes de informações disponíveis.

conclusoes_titulob

Em linhas gerais, a discussão sobre “O Papel de Analytics na Era das Empresas Digitais” nos levou às seguintes conclusões:

conclusoes

Consultoria uma das frentes de trabalho da TDW

Somos apaixonados pelo que fazemos e buscamos sempre fazer melhor. Acreditamos que investir em pessoas, trabalhar em equipe e desafiar nossos limites o nico caminho para o sucesso. Junto com nossos clientes, nosso maior patrimnio, buscamos o desenvolvimento de negcios contnuos e duradouros por meio da prestao de servios em 3 frentes interdependentes.

Hoje, falaremos da nossa atuao emconsultoria:

Estratgia e Governana

  • Elaboradas estratgias de gesto da informao
  • Programa de governana de dados
  • Definio de arquitetura de referncia
  • Elaborao de https://buycbdproducts.com de implantao
  • Elaborao de dados corporativos

Avaliao de Ambientes/ Projetos

  • Avaliaes de ambientes e projetos em andamento
  • Avaliaes de tecnologias e fornecedores

Mentoring

  • Melhores prticas de utilizao de ferramentas de acesso/integrao e aplicaes analticas
  • Melhorias prticas de desenvolvimento de solues analticas