Acceder al API de Google Analytics con R

Hace unos dias que estaba con la idea de retomar R y ahora que me estoy preparando para el examen de Google Analytics (que van y lo cambian dos semanas antes de cuando iba a presentarme...) he descubierto que "minar" desde R mi cuenta es bastante fácil.

Pues esto es lo que he hecho .Soy novatilla en R así que si crees que alguna de estos commandos no los necesito o lo puedo mejorar déjame unn comentatario. He superdocumentado el código para dummies como yo.


# Install packages from github (by skardhamar)
# Instalar los paquete de  github (by skardhamar)
install_github("rga", "skardhamar")
# Install packages
# Instalar los paquetes que necesitamos
install.packages("devtools")
install.packages("RCurl")
# Call libraries
# Llamar a las librerias para usarlas
library(devtools)
library(rga)
library(RCurl)

# Save certificate
# Le decimos que queremos usar el certificado. A veces da problemas si no ponemos esta línea antes de crear la instancia
options(RCurlOptions = list(cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl")))

# Create an instance (ga)
# Crear una instancia que llamaremos ga en un alarde de originalidad
rga.open(instance="ga")

#Here we go! Testing
#Al lio! Query probando probando
mitesoro <- ga$getData(xxxxxxxx,
                        start.date="2013-09-01", end.date="2013-09-30",
                        metrics = "ga:visits",
                        dimensions = "ga:source",
                        sort = "-ga:visits",
                        start = 1, max = 10)

mitesoro <- ga$getData(xxxxxxx,
                        start.date="2013-09-01", end.date="2013-09-30",
                        metrics = "ga:visits",
                        dimensions = "ga:source",
                        sort = "-ga:visits",
                        start = 1, max = 60)
#Let's see a graph
#Ahora vamos a verlo en un gráfico
barplot(mitesoro$visits, main="Visits by month Visitas por Mes", xlab="Month/Mes", names.arg=miTesoro$month, las=1, col=rainbow(6))

A la hora de estudiar la query es importante echar un vistazo a la <a href="https://developers.google.com/analytics/devguides/reporting/core/v3/coreDevguide">documentacion de Google</a>. Yo, para empezar he usado esta hoja de Google Drive donde puedes ver el nombre de las variables ... que para empezar ya te permite hacer muchas cosas

Importante para dummies! Tardé al menos una hora en tener problemas de acceso a mi cuenta ya que obtenía el siguiente error:
> myresults <- ga$getData(9999999,
+                         start.date="2013-09-01", end.date="2013-09-30",
+                         metrics = "ga:visits",
+                         dimensions = "ga:source",
+                         sort = "-ga:visits",
+                         start = 1, max = 60)
Error in ga$getData(9999999, start.date = "2013-09-01", end.date = "2013-09-30",  :
  error in fetching data: User does not have sufficient permissions for this profile.
Y todo se debia a que habia puesto mi numero de cuenta, en vez de mi id. Para saber tu id basta con poner el siguiente comando:

ga$getRefClass()

Visualizar el not provider de mi cuenta de Google Analytics

El not-provider se ha convertido en el pan nuestro de cada día para los que somos webmaster y estamos acostumbrados a echarle un ojo al Google Analytics. Google ya anunció que est sería un cambio irreversible y este post va para aquellas que les pique la curiosidad sobre como se ha ido apoderando de su cuenta el not-provider aquí tenéis el mío. Y si quieres comparar... esta empresa lleva sus propios datos actualizados.

Ahora vamos al código

# Keep libraries
library(devtools)
library(rga)
library(RCurl)

options(RCurlOptions = list(cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl")))
ga$getRefClass()
rga.open(instance="ga")

#Not provided query
visits_notprovided.df <- ga$getData(39015127,
                                    start.date = "2011-01-01",
                                    end.date = "2014-02-10",
                                    metrics = "ga:visits",
                                    filters = "ga:keyword==(not provided);ga:source==google;ga:medium==organic",
                                    dimensions = "ga:date",
                                    max = 1500,
                                    sort = "ga:date")

names(visits_notprovided.df)<- c("hit_date", "np_visits")

# Get sum of all Google Organic Search results.  Replace XXXXXXXX with your profile ID from GA
visits_orgsearch.df <- ga$getData(XXXXXXXX,
                                  start.date = "2011-01-01",
                                  end.date = "2014-02-10",
                                  metrics = "ga:visits",
                                  filters = "ga:source==google;ga:medium==organic",
                                  dimensions = "ga:date",
                                  max = 1500,
                                  sort = "ga:date")

names(visits_orgsearch.df)<- c("hit_date", "total_visits")

# Merge files, create metrics, limit dataset to just days when tags firing
merged.df <- merge(visits_notprovided.df, visits_orgsearch.df, all=TRUE)
merged.df$search_term_provided <- merged.df$total_visits - merged.df$np_visits
merged.df$pct_np <- merged.df$np_visits / merged.df$total_visits
merged.df$yearmo <- year(merged.df$hit_date)*100 + month(merged.df$hit_date)

final_dataset = subset(merged.df, total_visits > 0)


# Visualization - boxplot by month
# Main plot, minus y axis tick labels
boxplot(pct_np~yearmo,data=final_dataset, main="Google (not provided)\nPercentage of Total Organic Searches",
        xlab="Year-Month", ylab="Percent (not provided)", col= "orange", ylim=c(0,.8), yaxt="n")

#Create tick sequence and format axis labels
ticks <- seq(0, .8, .2)
label_ticks <- sprintf("%1.f%%", 100*ticks)
axis(2, at=ticks, labels=label_ticks)

Para ver el código comentado paso a paso puedes estudiar este artículo. http://www.computerworld.com/article/2486018/business-intelligence-how-to-extract-custom-data-from-the-google-analytics-api.html 

Pasos para visualizar datos

Estaba viendo hoy una conferencia de la semana pasada  de Mario Tascon que ya me sonaba de oidas en el mundo, pero que al parecer es muy muy famoso entre las personas de comunicacion.
Me di cuenta de esto debido a que ya lo escuche en Comunica2 y todo el mundo lo esperaba con expectacion ... y una vez que dio la conferencia entendi el porque.

Pasos para visualizar datos

1. Buscar un tema
2. Conseguir los datos
3. Separar el trigo de la paja
4. Preparar un formato visualizable
5. Buscar la representaci'on adecuada
6. Preparar el grafico
7. Publicarlo

Qué es R

Definición de R

Al buscar en R en el navegador nos encontramos con la siguiente definicion en Google. La verdad es que suficiente informacion para empezar a saber de lo estamos hablando.



Una cosa que me queda claro es que es un lenguaje de programacion para análisis estadistico y qué es gratis, digo libre.

Al ser proyecto GNU, si queremos podemos contribuir en el proyecto y entre otras cosas más y más personas han creado paquetes para el proyecto de forma gratuita. Lo que se traduce en que ahora R dispone de cientos de paquetes para, por ejemplo, utilizar la libreria de Google Analytics o poder hacer mapas con R

Más información sobre R

Definición de R de la Wikipedia en español ( ingles)
Página oficial del proyecto
Página con las listas de email para estar a la ultima en cuanto a información oficial

DataMinning con TwitteR (II) y R

Que es R

R es un lenguaje de programacion heredado de S. Resumiendo en una herramienta con su propio lenguaje y entorno de programacion especifico para manipular estadisticas y datos. Para todo lo demas la wikipedia.

Donde me descargo R. 

 R es codigo abierto con licencia GNU , asi que es gratuito para uso personal.
R no carga todos los paquetes que tiene, sino que conforme los vas a ir utilizando los tienes que llamar. De igual forma si no tienes algun paquete debes instalarlo (lo descargar de la web en zip, desde la pesta';a, o bien desde la misma consola.

Donde me descargo R

Una vez que lo tenemos

> searchTwitter('#jobs')
Error: could not find function "searchTwitter"

> require(twitteR)
Loading required package: twitteR
Loading required package: ROAuth
Loading required package: RCurl
Loading required package: bitops
Loading required package: digest
Loading required package: rjson

Y una vez que lo tenemos nos ponemos manos a la obra.
Pero .... WTF otra vez el mensaje? Si tenemos ya los token !. Eh, si,pero aun no se lo hemos dicho a R. Asi que vamos all'a

A;adimos las siguientes linea que estan en rojo
 Copiamos y pegamos esta direccion en azul en nuestro navegador.
Y llegamos otra vez a Twitter Developer

Y obtenemos un PIN que teclearemos en la linea de comandos

Como que he descubierto por el camino

https://github.com/mjhea0/twitter-sentiment-analysis

DataMinning con TwitteR (I)

R y yo

He estado  probando R estos ultimos dias para ver todo el potencial que tiene y WOW, desde que lo use por primera vez a ahora … ha llovido muchisimo y han creado miles de paquetes nuevos. Debido al FP de programacion que estudie y a un profe muy linuxero que nos hizo aprender a manejar linux con comandos , enfrentarme a este entorno no es una cosa que me de mucho miedo... como mucho respeto.

Asi que con la idea de motivarme un poco en este a veces arido (un 90% de la veces) terreno he decido empezar por algo muy visual, y cercano y que mejor que Twitter?

R tiene una biblioteca para twitter que se llama twitteR (bien elegido el nombre...) que hace uso de las API v1.1 de Twitter.

En los ejemplos todo parecia muy bonito y rapido, pero me encontre con el siguiente mensaje cada vez que intentaba hacer algo.

OAuth authentication is required with Twitter's API v1.1

Pero esto que eeeeeeeehhhhssss??? exclamaba mientras golpeaba mi cabeza en el teclado.

Asi que googleando llegue a la solucion del problema. El a;o pasado Twitter saco una nueva version de la  API y ahora es necesitario tener acceso con un Token y todas estas cosas en pro de la seguridad ciudadana.

Asi que antes de ponerse manos a lo obra, lo mejor seria acceder a tener nuestro token.

Que es un Token?

https://dev.twitter.com/docs/auth/obtaining-access-tokens

Donde consigo la OAuth authentication?

Asi que vamonos a la pagina de Twitter Developer

Logueamos con nuestra cuenta de Twitter de toda la vida

 

 Una vez que hacemos log in podemos acceder a nuestros token

Ahora corramos un tupido velo y volvamos a R con nuestros flamantes consumer key y consumer secret pero manten esta pagina abierta.