Tutorial: consuming Twitter’s real-time stream API in Python with PyCurl

julio 2, 2012

Consuming the streaming API with PyCurl

The easiest way to handle HTTP streaming in Python is to use PyCurl, the Python bindings for the well-known Curl network library. PyCurl allows you to provide a callback function that will be executed every time a new block of data is available. The following code is a simple demonstration of HTTP streaming with PyCurl:

import pycurl, json

STREAM_URL = “http://chirpstream.twitter.com/2b/user.json”

USER = “segphault”

PASS = “XXXXXXXXX”

def on_receive(data):

print data

conn = pycurl.Curl()

conn.setopt(pycurl.USERPWD, “%s:%s” % (USER, PASS))

conn.setopt(pycurl.URL, STREAM_URL)

conn.setopt(pycurl.WRITEFUNCTION, on_receive)

conn.perform()

The code example above shows how to instantiate a Curl object, set the URL, provide login credentials, and send the data to a callback function. The callback function in the example simply echoes the received data to the terminal. If you put in your own Twitter credentials and run that code in a Python script at the command line, you will see the stream of JSON data transmitted by the Twitter service.

When the connection is idle and there is no other data to send, the streaming API will emit an empty line every 30 seconds. The empty line is a keep-alive signal that is intended to prevent client applications from timing out and dropping the connection. PyCurl doesn’t require any special configuration, but other network libraries might require the user to set a custom timeout duration for idle connections. You should make sure that it is set to something that is higher than the streaming API’s 30-second keep-alive interval so that the connection isn’t dropped.

vía Tutorial: consuming Twitter’s real-time stream API in Python | Ars Technica.


Los 10 ‘hashtags’ de la jornada electoral – Aristegui Noticias

julio 2, 2012

Las siguientes son los hashtags más utilizados en el día 1 de julio 2012:

Hashtags Menciones Contexto.

#HoyVotoporAMLO 220,188 La etiqueta ha sido utilizada por usuarios partidistas para difundir mensajes de apoyo al candidato de las izquierdas al momento de depositar su voto por la campaña

#Elecciones2012 94,473 Los usuarios comparten a través de esta etiqueta lo que sucede en las casillas de votación. Algunos reportan normalidad, mientras muchos reportan todo tipo de irregularidades.

#MiVoto2012 79,482 Los usuarios compartes a través de esta etiqueta lo que sucede en las casillas de votación y su intención de participar en la jornada electoral.

#OpPRI 35,430 El grupo de ciberactivistas Anonymous lanzó la Operación PRI para atacar durante el día los principales sitios del partido durante toda la jornada. Los usuarios de twitter comparten la etiqueta para denunciar irregularidades.

#JosefinaYAGano 34,012 Partidistas difunde con esta etiqueta su intención de voto y confían en el triunfo de la candidata del PAN

#PorUnasEleccionesenPaz 20,224 Etiqueta creada por partidarios del PRI después de la votación del candidato Peña Nieto invitando a participar en la jornada sin caer en provocaciones ni en actos violentos.

#TodosaVotar 19,735 Usuarios difunden a través de esta etiqueta invitaciones a toda la comunidad para que acuda a las urnas.

#Huixquilucan 10,391 Esta etiqueta se convirtió en Trending Topic después de que Josefina Vázquez Mota acudiera a ese municipio a votar a las 9:40 a.m.

#Margarita Zavala 7,853 La comunidad twittera compartió a través de esta etiqueta el momento en donde, en compañía del Presidente de la República, asistió a votar pasadas las 13 hrs.

#Atlacomulco 6,737 La etiqueta se volvió Trending Topic después de que el candidato Enrique Peña Nieto acudiera a ese municipio a depositar su voto.

vía Los 10 ‘hashtags’ de la jornada electoral – Aristegui Noticias.


A beginners tutorial on Social Network Analysis – (Part 1) »

junio 28, 2012

A beginners tutorial on Social Network Analysis – (Part 1)

by NIHARJYOTI SARANGI posted on MARCH 4, 2012

Social Network Analysis refers to the methods used for analyzing social networks or interconnections among individuals. The individuals are taken as “nodes” and are connected to each other based on their interconnections, which may be of various types (friendship, co-authorship, kinship, sexual relations, financial exchange, common interest etc.) SNA uses various techniques from Graph Theory, Game Theory and several other to study, explain and predict the network.

Tools Used for this tutorial: networkX

Programming Language: Python

Getting the tools:

NetworkX is a Python-based package for the creation, manipulation, and study of the structure, dynamics, and functions of complex networks. If you are on a linux distribution like Ubuntu chances are it will be in your package manager. Otherwise, you can download and install the binary or even compile it from source from here.

Matplotlib is a set of plotting tools for python. You can download and install it from a package manager of your choice, or install it from source. This can take care of advanced 2D plotting for python. We will use this to plot our network.

vía A beginners tutorial on Social Network Analysis – (Part 1) » The Super User.

 

Herramientas: Python / NetworkX / Matplotlib


Socioinformatique des controverses | Socio-informatique et argumentation

noviembre 22, 2010

Socioinformatique des controverses

Date 2 novembre 2010

OUTILS ET MÉTHODES POUR LA SOCIOLOGIE DES DOSSIERS COMPLEXES

Francis Chateauraynaud, directeur d’études à l’EHESS

Josquin Debaz, chercheur au GSPR (EHESS)

Patrick Trabal, professeur à l’Université Paris Ouest Nanterre La Défense

Du 8 novembre 2010 au 27 juin 2011, 2e et 4e lundis du mois de 15 à 18h

au 105 bd Raspail à Paris, salle 2

Conçu comme un lieu de croisement d’expériences de traitement de corpus de textes ou d’entretiens, le séminaire fonctionnera à la fois comme un lieu d’apprentissage à la construction individuelle d’une enquête socioinformatique, et comme un atelier collaboratif organisé dans l’esprit des digital humanities. S’il est orienté principalement, mais pas exclusivement, vers l’analyse sociologique des affaires et des controverses de longue durée, le séminaire pourra être l’occasion de proposer des formes originales de corpus. Chaque séance procédera en deux temps : la première partie (1 h 30) donnera lieu à l’exposé d’une recherche en cours utilisant des outils informatiques (Prospéro, Marlowe, Tirésias, Alceste, Pajek, Réseau-Lu, NVivo, et toutes sortes d’outils du web,…) ; la seconde partie sera consacrée à un travail collectif de construction, d’analyse et de comparaison des corpus de l’ensemble des participants.

Chaque participant au séminaire ayant présenté, en début d’année, un projet de corpus à construire ou à enrichir, on franchira, au fil des séances, les différentes étapes de traitement (indexations, codages, calculs, modélisations, exportations de tableaux et de résultats…). L’accent sera mis sur le choix des outils pertinents en fonction de la nature des investigations poursuivies, de sorte qu’à l’issue du séminaire les membres soient en mesure de produire un compte-rendu d’enquête (sous la forme d’un article, un rapport, un document de travail, ou une annexe méthodologique …) susceptible d’être publié (avec une première présentation dans ce carnet de recherche.

PROGRAMME 2010-2011

 

  1. Lundi 8 novembre : Francis Chateauraynaud, Josquin Debaz, Patrick Trabal
    Sociologie des controverses, Humanités numériques et Socio-Informatique. Présentation générale.
  2. Lundi 22 novembre : Patrick Trabal
    Points de vue épistémiques et modes de cumulativité des corpus.
  3. Lundi 13 décembre : Josquin Debaz
    Exploration fine des documents : entre herméneutique et structuration conceptuelle.
  4. Lundi 10 janvier 2011 : Francis Chateauraynaud
    De l’usage des formules dans l’analyse argumentative.
  5. Lundi 24 janvier 2011 : Gregory Salle (CNRS-Université Lille I)
    Prospéro derrière les barreaux : analyse de la controverse autour des Établissements pénitentiaires pour mineurs (EPM), 2002-2010
  6. Lundi 28 février : Delphine Loupsans (CEMAGREF Montpellier)
    Les experts du « bon état » dans l’élaboration de la Directive cadre européenne sur l’eau
  7. Lundi 14 mars : Equipe de l’ANR Chimères
    Chimères nano biotechnologiques et post-humanité 1.
  8. Lundi 28 mars : Equipe de l’ANR Chimères
    Chimères nano biotechnologiques et post-humanité 2.
  9. Lundi 11 avril : Patrick Trabal (sous réserve)
    Les forums internet sont-ils des corpus comme les autres ?
  10. Lundi 9 mai : Francis Chateauraynaud, Josquin Debaz, Patrick Trabal
    Social graphs versus semantic networks.
  11. Lundi 23 mai : Eric Guichard (ENSSIB Lyon)
    Cartographies, Internet et technologies d’écriture
    (titre provisoire)

Socioinformatique des controverses | Socio-informatique et argumentation.


Online QDA – Getting started with Qualitative Data Analysis Software

diciembre 1, 2009

Getting started with Qualitative Data Analysis SoftwareBelow are links to materials that tell you how to undertake some of the basic activities in qualitative data analysis software such as importing documents and starting projects, coding and its organisation, creating memos, text and code searching, reporting and retrieving information.Many software developers now produce their own teaching materials that cover the basics of the software use. Where this is so the links below are to their materials. In other cases there are links to materials on this site that cover older versions of the software to help those who are still using these versions.

desdeOnline QDA – Getting started with Qualitative Data Analysis Software.