Resumo 10 Encontro de Usurios de BI

Resumo 10 Encontro de Usurios de BI – evento aprofundou discusso sobre a convivncia do DW Tradicional com o Big Data.

Contextualizando

Chegamos dcima edio do nosso Encontro de Usurios de BI, que trouxe o tema “A Convivncia do DW Tradicional com Big Data”.

Sempre em formato de workshop, com flexibilidade para apontamentos e argumentaes por parte dos participantes a todo momento, o assunto gerou discusses sobre a melhor forma de planejar a arquitetura, a estratgia de implementao e a utilizao dos ambientes de DW Tradicional e de Big Data.

Realizado em So Paulo, o 10 Encontro de Usurios de BI contou com a presena de profissionais de grandes empresas e que atuam em reas como tecnologia da informao, marketing e gesto de canais digitais.

Compartilhamos, abaixo, os principais comentrios, dvidas e consensos que ocorreram ao longo do evento.

O debate gerou grande interatividade, com questionamentos e debates acerca dos seguintes tpicos:

 

Logo no incio do evento o primeiro ponto levantado foi sobre as diferenas e as semelhanas entre Data Warehousing Tradicional e Big Data. Destacou-se que uma das semelhanas entre as duas abordagens se refere ao volume de dados – ambos podem comportar tanto pequenos quanto grandes volumes. O que eventualmente importante considerar a questo financeira, podendo ser necessrios investimentos mnimos considerveis para adotar um projeto desse porte.

Falando sobre diferenas, um dos pontos notados pelos participantes de que o DW um ambiente mais estruturado, enquanto o Big Data percebido como mais flexvel. Com isso como pano de fundo para o debate, foi argumentado por alguns dos participantes que flexibilidade demais gera desafios, enquanto que outra parte dos presentes observou que estruturao demais tambm gera desafios. Diante dessa reflexo, surge o seguinte questionamento: ser que essas duas caractersticas, flexibilidade para Big Data, e estruturao para Data Warehousing, so mandatrias?

Em busca de respostas para a questo, o conceito inteligncia do negcio foi trazido discusso com o objetivo de repensar o todo e descobrir se possvel haver flexibilidade, performance, documentao e estruturao de dados e, ainda assim, atender as diversas demandas do usurio. Ser que possvel? Ser que conseguimos pensar em coisas que nos levem a chegar nesse caminho?

Para um dos presentes, sim, este caminho possvel, e convida os presentes a pensarem na evoluo que teve o computador, que at pouco tempo era um “tijolo” e, hoje em dia, algo mnimo, um “relgio que faz tudo”. Segundo ele, o problema no ferramental, mas conceitual. E conclui dizendo que preciso pensar TI como negcio.

Contrapondo o comentrio acima, outro participante que sempre atuou em projetos de DW, mas do lado do usurio, diz no acreditar nessa possibilidade, pois no v a execuo acontecer. Em sua opinio, a equipe de TI sempre faz o que o usurio pede, sem levantar se haver ou no benefcios para a empresa. E completa dizendo que se os dois lados no se comunicarem e pensarem em conjunto nada dar certo.

Um ponto importante a se pensar levantado neste tpico, abordou o fato dos profissionais terem o hbito de acreditar em solues “mgicas” apresentadas pelos fornecedores de tecnologia, e que resolveriam todas as questes. Foi citado o exemplo de uma grande empresa do setor de telecomunicaes que adquiriu um grande ambiente de big data, com mais de 15 PB de dados, o qual est encontrando dificuldades de justificar.

De maneira geral, o grupo entendeu neste tpico que existem mais semelhanas do que diferenas entre o ambiente de DW Tradicional e o Big Data.

O tema performance foi amplamente discutido durante o debate. Alguns participantes levantaram a questo de que para grandes volumes de dados o Big Data entrega um resultado mais rpido do que o DW Tradicional; referindo-se a questes como estrutura, arquitetura e tecnologia.

Alguns concluram que a performance est muito associada disponibilidade de ferramentas mais poderosas, hoje, do que no passado. Mas a diferena de performance que as ferramentas trazem esto associadas s ao Big Data, apenas ao Data Warehousing ou aos dois? Data Warehousing d menos performance que Big Data?

A resposta veio rpida por parte de um participante, que disse que dependendo de como feita a estruturao do Data Warehousing e do Big Data, isso se reflete em maior ou menor performance. Utilizar as ferramentas corretas possibilita extrair melhor proveito de cada um dos ambientes. A questo no a ferramenta, mas como se constri, e isso pode ou no entregar performance.

Junto com o ponto da performance veio outro item considerado importante por todos: a flexibilidade. Ser que a performance limita a flexibilidade? Para alguns, a resposta foi sim. E alguns defenderam a ideia de que o Big Data como se fosse uma caixa de ferramentas muito mais completa para atender necessidades especficas.

Mas ser que o mais moderno sempre oferece mais flexibilidade? Talvez a questo no esteja relacionada modernidade, mas ao fato de o Data Warehousing ser considerado uma plataforma que precisa ter uma estrutura, enquanto que o Big Data no, pois foi criado para dados no estruturados.

Para exemplificar essa viso, falou-se que na abordagem do DW, em primeiro lugar surge uma necessidade de negcio para ento o profissional de TI projetar e construir o DW de maneira bem estruturada, com um projeto de modelagem de dados que permita atender aquela necessidade e sobre uma plataforma tecnolgica (software/hardware) que vai atender a necessidade tanto no quesito performance quanto na questo de volume de dados.

J o ambiente de Big Data permite uma abertura maior com relao aos tipos de dados, no sendo necessrio trabalhar/modelar os dados com um caso de uso em mente. Quando o assunto performance, preciso avaliar se uma plataforma em que o volume o principal motivador, porque, de acordo com um dos participantes, no faz sentido no ter muito volume e partir para uma plataforma Big Data.

No DW existe uma modelagem otimizada para consulta, enquanto que no Big Data a performance provida pelo ambiente escalvel, vai crescendo de acordo com a necessidade e, teoricamente, com o custo mais baixo e trabalhando em cima de dados que podem ser estruturados, mais completos ou no estruturados.

Com essa discusso, chegou-se concluso de que volume tanto faz, e que uma semelhana entre DW Tradicional e Big Data. Performance apareceu como uma possvel diferena entre as duas ferramentas, mas concluiu-se que tambm possvel ter performance com ambas. No que se refere flexibilidade, pontuou-se que ela vem da possibilidade de poder colocar o dado do jeito que quiser e da forma que se deseja analisar.

Quando vamos para o mundo real de quem constri ambientes analticos e de quem os utiliza, surgem questes fundamentais tais como a necessidade de estruturao dos dados, porque se no for estruturado, mesmo no ambiente Big Data, haver dificuldades importantes, principalmente por parte do usurio.

A partir do ltimo ponto do bloco anterior surge ento a questo: por que estruturamos o dado?

Por dois motivos: ter melhor performance e mais facilidade de uso (estruturando tambm para o usurio conseguir utilizar).

Outro ponto levantado sobre a estruturao de dados foi que ele tambm promove a dicionarizao da informao. Na base de dados, se no h um modelo estruturado e claro do que so as informaes, a ponta final pode utilizar os dados de forma errada. O Big Data pode dar uma impresso de facilidade por ser mais gil, mas se voc no tiver uma dicionarizao boa, as reas que vo utilizar essa informao podem usar de forma errada, diferente uma da outra, e a teremos conflito de resultado; e isso vale para os dois ambientes.

preciso ter um grupo de usurios finais que esteja com uma viso bem clara das suas necessidades. Nem sempre todo mundo est com a ideia bem elaborada que possa permitir a estruturao dos dados, e nesse sentido, tanto faz o ambiente adotado. A partir do momento que a ponta final/usurios estiver estruturada, possvel dar uma soluo, oferecendo qualquer tipo de dado, em qualquer ambiente e com a performance desejada.

A discusso acima apontou para a concluso de que nem sempre o usurio est preparado para dizer o que ele precisa. Quando se constri um ambiente analtico, existe a pretenso de que s colocar todo o tipo de informao ali que o usurio vai se virar. Mas quando de fato se inicia o projeto, em geral, feita uma consulta com o usurio para que ele diga o que de fato precisa. Muitas vezes, ele diz que quer tudo e s depois de muito custo ele comea a pontuar o que, de fato, precisa e quer no ambiente analtico.

Como exemplo de usurios, se consultarmos um estatstico “das antigas”, que seguiu os mtodos estruturados de estatstica, e compararmos com a garotada que est chegando, onde a metodologia totalmente diferente, os mais jovens vo demandar um monte de outras coisas e tipos de dados. E tudo “online”.

Surge ento a questo: Data Warehousing tradicional lida bem com dado online? No. A proposta de Big Data lidar bem com dado online? Sim.

Vamos ento explorar o tema de utilizao dos dados.

A rea de negcios exige constantes mudanas. A tecnologia tem como principal misso de orientar o usurio. A questo : o que voc quer analisar e como voc quer analisar? Se voc joga tudo numa gaveta e pega um monte de agulhas, joga l uma agulha laranja, ser que vai achar essa agulha laranja algum dia?

A misso da rea de TI resolver o problema, e no convencer o cliente de que ele no poder fazer determinada coisa. O usurio nunca quer saber se ou no possvel, quer que os tcnicos executem. Essa tal gaveta em que se coloca tudo e onde o usurio pode perguntar o que quiser possvel, ela s no fcil de ser feita.

Com a utilizao, o usurio vai descobrir que tem coisas que para ele so importantes e que outras so extremamente importantes, assim, o modelo vai sendo criado. A misso do profissional de TI no a de dizer no. Sempre que o especialista disser no para o problema, ele falhou.

No passado, talvez por falta de conhecimento, ao invs de trazer um dado ou um grupo de dados especficos, trazia-se a base inteira e ento tnhamos o projeto de DW. Hoje, com o Big Data, no preciso a base inteira, sendo possvel trazer apenas os dados desejados para uma anlise especfica. Um dos participantes enfatiza que ainda no 100% assim, mas acredita que este o caminho.

Outro participante confronta dizendo que o Data Warehousing no trazia tudo, apenas uma parte necessria para responder o que era preciso. J o Big Data vem para ajudar a encontrar respostas s perguntas que no foram feitas ainda. Uma parte interessante do Big Data entregar a resposta para uma pergunta que voc nunca imaginou. A questo do “trazer tudo” pode gerar uma confuso imensa, e natural este momento. Essa fase de mapeamento, que ocorre no projeto tradicional de DW, faz com que o profissional de TI que est desenvolvendo o projeto v buscar onde as informaes esto, modelar como o negcio precisa e entregar.

E quando falamos de diversidade do dado, volume e complexidade? O volume de dados apresenta diferena entre um banco de dados tradicional e o ambiente Hadoop apenas em custo na viso dos participantes. Com relao capacidade de lidar com volumes, no. J com a diversidade e o tipo de dados, o ambiente de Big Data (Hadoop) permite maior flexibilidade, podendo lidar com diversos tipos de dados no estruturados – imagem, som, texto, entre outros.

O mais importante a compreender que jogar os dados e deix-los l, sem utilidade, pode ser nocivo. Os conceitos de modelagem, de organizao e de governana tero de ser aplicados. Mesmo na tecnologia Hadoop, ser necessria uma estratgia para gerar algum grau de trabalho para os usurios.

Diariamente, surgem novos indicadores. Se o profissional deseja responder qualquer pergunta, construir qualquer indicador, para qualquer usurio, o que preciso trazer para a base? Tudo. Tem alguma divergncia? No. Ento, qual a misso da TI? trazer toda informao necessria para algum lugar que permita ao usurio fazer o que ele quiser. Essa uma misso atingvel? H controvrsias, alguns tm mais esperanas, outros tm menos, outros esto no meio do caminho, mas essa a misso.

O que conhecemos de Data Warehousing Tradicional atende essa viso? No geral, os participantes dizem que no, pois a questo do online um problema. Um deles diz que uma das dificuldades so modelos em cima de uma necessidade que pode ser alterada em prazo de dias, com base em fatos, dimenses e mtricas. Neste caso, poderia se pensar em um modelo relacional, que bem construdo responde a qualquer pergunta, oferece uma possibilidade infinita de anlise.

Na teoria, pode-se adicionar os elementos nesse modelo e ele vai continuar respondendo a todas as perguntas. Isso terico no sentido de que no d para contestar, matemtica, teoria de conjuntos, quem estudou profundamente o assunto sabe que os modelos relacionais respondem a qualquer pergunta. Mas qual o problema de um modelo de dados relacional para quem vive com um banco de dados grande para fazer anlise? Performance.

O DW tem uma vantagem sobre o Big Data: estruturao. Possuir um modelo de dados tem suas virtudes, ao mesmo tempo em que no ter este modelo pode ser um caos. O modelo vai existir, pelo menos em algum momento. A diferena que no DW ele existe na concepo do ambiente, ocorre antes, na preparao do dado. Mas a modelagem, pensando em entrega final, em visualizao do dado, uma modelagem diferente.

Na hora em que se comea a usar, existe a necessidade de modelar o dado, s que os “turistas” do Big Data vendem a imagem de que no necessrio modelar o dado, e a vem tudo errado. Do ponto de vista da preocupao de performance, em um ambiente Hadoop ou de processamento paralelo distribudo, a performance maior. Entretanto, do ponto de vista de como usar o dado, bem diferente, pois preciso tratar os problemas de integridade, das anomalias dos dados, do relacionamento. Se deixar para o usurio fazer isso a cada pergunta, impossvel. como dizer a ele: “se vira”.

Um dos participantes levanta essa questo dizendo que sempre enfrenta um problema no banco em que trabalha: a questo de segurana.

O conceito de DW tem uma preocupao com a confidencialidade e com a governana – ela boa ou ela m? Como tudo na vida, existem pontos a favor e contra. No d para abrir mo da confidencialidade e da governana. Isso um problema intrnseco ao conceito de Big Data? No necessariamente. Ningum disse que o Big Data no tem governana. Hoje, esse um problema inerente ao grau de maturidade de ferramentas do Big Data. Tem um monte de gente desenvolvendo ferramentas de governana para Big Data. Quem trabalha com Big Data no diz “segurana no importante”. No deu tempo de desenvolver, a prioridade fazer performance, fazer ser rpido”. Para isso tem o time que se encarrega da governana.

Para aqueles que querem usar todo o potencial do DW, o que preciso saber? Precisa ser um “s” do SQL, ou ter um “s” do SQL ao lado?

Sempre teremos duas situaes, o usurio que tem mais facilidade com a tecnologia – e a preciso dar a ele o dado para que faa o que desejar; e aquele usurio que tem dificuldade, mas que por meio da ferramenta que o profissional de TI escolher vai proporcionar que este tambm trabalhe com o dado.

Uma das constataes de que as ferramentas de Self-Service BI funcionam bem quando o dado preparado. Ao inserir tudo, sem preparo prvio, o problema persiste e o usurio no consegue usar.

Um dos participantes comenta que, em sua experincia como gestor de modelagem estatstica, enxerga uma mudana de perfil, em que o usurio que mexe em SQL tambm manuseia vrias outras ferramentas. Isso porque ele sempre quis ter acesso a tudo, mas sua preocupao nunca foi performance. Rodava uma base, demorava uma, duas, ou trs horas, e no sabia o que era ndice na tabela, o usurio estatstico. No mundo de Big Data, no tem como no se preocupar, caso contrrio o negcio no roda, pois muito dado. A complexidade de anlise bastante grande.

Ao final do debate, concluiu-se que o mais importante atender a necessidade do usurio. Para resolver os problemas preciso haver discusses sobre o que fazer, tentar um caminho, possivelmente errar, para depois ento ajustar. Vale o conceito de “falhe, mas falhe rpido”!

Para ter uma arquitetura boa, perene e capaz, o bom senso diz que os profissionais de TI precisam focar no que h de melhor dentro de suas experincias, e que cada equipe tenha uma discusso sobre qual tecnologia usar e tambm falar sobre inteligncia de negcio. Tudo importante. Pensando no futuro, preciso criar um ambiente flexvel, composto por componentes do DW Tradicional e componentes do mundo Big Data, que tenha um maior conjunto de informaes possvel, que estimule os usurios a fazerem anlises mais complexas, possibilitando, assim mais assertividade. Portanto o mais importante de fato a convivncia entre esses dois ambientes – DW tradicional e Big Data.
unique is not kidding were no scientific studies done on my face until it is removed and irritation from real rose quartz roller really work the results were going back in dry skin I m getting a great honey smell for this facial roller uses by a glass rub the perfect color If you ll find in dry skin I think it back in very light and irritation from real rose quartz is to work I am a resin used the many people the other great honey smell for any other hair straightening tools We rose quartz roller amazon this roller to 10 hours to roll requests to define the glass rub the right side of these pigments of other finish on my face rollers day and I decided to shape it can use the cheekbones and in very very newbie at this video
We applied an even taking requests to define the beauty studio but you think it gets dirty or stone The crystals are a week that this but you have a washcloth to use them is an even layer

Deixe uma resposta

Your email address will not be published. Required fields are marked *