La nube de información de tiempo real sobre Londres 2012

En los últimos meses he estado trabajando en el un proyecto de "Cloud Computing" para aplicaciones de tiempo real (IRMOS) -algo similar a Amazon EC2 pero para aplicaciones senstivas a retrasosy pérdidas en procesamiento y enlaces-. También uno de mis "pet projects" es un data-ming en twitter (el cual -twitter- tiene como uno de sus objetivos ser el "pulso del mundo"). Así que esta noticia acerca de la construcción de la "Cloud" (Nube) o el observatorio de tiempo real para los juegos olímpicos de Londres captó mi ojo de inmediato.

La idea de la Cloud es construir una plataforma de observación compuesta de ligeras nubes esféricas. Las nubes son alimentadas por información en tiempo real recolectada usando múltiples fuentes de datos. Estos datos se suponen vienes de fuentes como Facebook, Google, Twitter y estarían relacionados con los juegos olímpicos (por ejemplo videos, fotos, updates de estatus de los eventos).

Está de más comentar de lo innovador y pretencioso del proyecto. Por un lado el desafío físico de construir la plataforma y las nubes (materiales, y claro, los permisos del ayuntamiento y el presupuesto para la construcción) y por otro el tecnológico para procesar los ríos de información en tiempo real. En el contexto técnico, hay dos grandes problemas:

1) Analizar cada pieza de información para determinar que está relacionada con los juegos, categorizar el tipo de información y finalmente presentarla. En este aspecto es indiscutible que algún tipo de inteligencia articifial y "machine learning" es necesario. En el campo de procesamiento de lenguaje (NLP) ha habido grandes avances y supongo que no será muy complejo obtener sino información perfecta, si una buena aproximación. Otros adelantos como la identificación de usuarios via GPS y smartphones creo que ayudará, sin embargo el gran problema puede ser:

2) Como manajer y procesar la gran cantidad de información en tiempo real que se produce. Aquí Google puede aportar mucho al proyecto en el uso de tecnologías de procesamiento en paralelo como mapreduce y en su propia experiencia como search-engine.

En general creo que el proyecto es muy interesante, dudo que los veamos hecho realidad en la forma en la que está presentado hoy en día, pero estoy seguro que generará algunos resultados interesantes. Como datos del proyecto, éste está impulsado por el "senseable city lab" del M.I.T, Google y Umberto Eco como asesor. Más información en los sitios de la Cloud y en el artículo de Techcrunch donde encontré la noticia.

Noticias y recursos de DoS/DDoS

Aprovechando el "hype" que han tomado las noticias sobre los ataques de negación de servicio a Twitter, Facebook y Livejournal decidí cambiar un poco el template de mi blog de investigación para agregar algunos recursos. El post con los detalles aquí.

Librerías "Machine Learning"

He estado haciendo algunos experimentos usando "machine learning" en varios proyectos y me gustaría comentar un poco sobre las librerías que he estado usando y de las que he leído un poco (aunque no las haya usado). Por el momento todas las que he usando están escritas en Python pero también comentaré algunas en Java y en C++.

Una muy sencilla de usar es FANN (Fast Artificial Neural Network), también tiene ports a Python y a otros lenguajes (PHP, Java, Perl, etc. Aunque la versión de Python no me funcionó por alguna razón).

Para Support Vector Machines usé LIBSVM (A Library for Support Vector Machines). En el website incluso pueden encontrar una serie de recomendaciones para usar SVMs. Otras librerías que también soportan SVM son PyML y MLPy (pero por alguna razón la compilación no funcionó en mi máquina y use LIBSVM).

Una utilería que se ve muy interesante para implementar un Naive Bayes Classifier es Orange . Aún no la prueba pero se ve bien, además que tiene buena documentación y links a varios datasets.

Si están interesados en Reinforcement Learning, Tiles es una librearía en Python (también en C++ y Lisp) que permite "transformar" las entradas a una función de valor representada por un vector de "tiles". En general, la representación en tiles dará una mayor resolución que simplemente discretizar a estados.

Si quieren un "decision tree" simple pueden usar éste que esta incluido y explicado en el libro. Está explicado en el libro de "Collective Intelligence". Si bien recuerdo, el algoritmo utilizado esta basado en ID3.

Y finalmente, esta mahout. Este proyecto de la Fundación Apache por lo pronto esta fuera de mis posibiliades de prueba, además de que no tengo la infraestructura ni la necesidad de usarlo. Esta basado en Hadoop y en los conceptos de mapreduce. Muy interesante.

P.D. Si quieren más recursos pueden visitar mis bookmarks en delicious de machine learning.

SPAM, comercio de miedo

   Hace unos días comenté que pronto veríamos como los SPAMers empezarían a generar correos vendiendo vacunas o medicamente contra la influenza y que pronto ya no sería el viagra el medicamento ideal sino ahora sería el . Un poco después el US-CERT advierte acerca de ataques de phishing usando este nuevo vector de ingeniería social y el SANS publica una lista de sitios que podrían generar malware/phishing/scams dado sus dominios.

  Pues hoy recibí mi primer SPAM relacionado con la influenza. También visitando un sitio de noticias me encontre este anuncio de Google Ads. Los anuncios no son sitios de malware (al menos estos tres no parecen, pero por si las dudas entren bajo su propio riesgo), pero sin duda tienen pensado lucrar con el miedo de la gente.

  Bueno, creo que los humanos somos bastante predecibles.

La gran noticia de hoy de Conficker es que ... No hay noticias

    Por el momento todo luce calmado. Aunque ya prácticamente es 1 de abril en todo el mundo aún no hay noticias del esperado fin del mundo que traería este día como resultado de la expansión del gusano conficker y del nuevo "payload" que hoy se activaría.

   Más que el resultado de una gran campaña de parcheo, creo que el famoso gusano aprovechó una gran campaña mediática donde se exageraron y sobrestimaron sus efectos. Espero no equivocarme y creo que el día seguirá tranquilo. Por si algo pasa, estaré actualizando a través de mi cuenta de twitter y mi tumbr. En caso de infección o pro-acción contra el gusano aquí hay algunos recursos.

La BBC, su botnet y otras noticias de ataques DDoS

  Sin duda la noticia acerca de ataques de DDoS más comentada de la semana fue la relacionada a la BotNet que la BBC contrató. Para no ser tan amarillista como otros medios, en realidad no fue la BBC como cadena de medios, sino el staff de uno de sus programas llamado Click. El objetivo del programa era demostrar lo fácil que es contratar un botnet para actividades delictivas. La botnet se uso para enviar SPAM a una cuenta predefinida y para atacar con un DDoS a un sitio de una empresa de seguridad específicamente puesto para este propósito. Aunque se ha dicho mucho acerca de la ética seguida por el staff de Click, lo cierto es que demostraron lo fácil y barato que es contratar este tipo de servicios.

En otra noticia, José Nazario de Arbor Networks en su presentación en SOURCE Boston comentó acerca de los neuvos "trends" en cyber delitos. Nazario explica que cyber criminals ya no solo venden kits de software para ejecutar actividades ilícitas en computadoras no protegidas, sino que ahora hasta venden servicios para los script-kiddies o criminales que nada más no se les da como usar el software malicioso. El audio de la presentación aquí.

Y el ataque al sitio de Torrents Mininova continúo. Aquí pueden ver algunos trends en el tráfico que los ataques han generado.

DDoS a principios de Marzo

Ante el asombro de algunos, el sitio del Pirate Bay fue atacado por un DDoS a principios de esta semana. Aún no hay noticias de quienes fueron los autores intelectuales. El sitio esta estable por lo pronto.

De acuerdo a un analisis de la firma de anti-virus Sophos, el gusano Confiker podría iniciar un ataque de DDoS hacia algunos sitios, entre ellos Soutwest Airlines. El DoS sería un daño colateral debido a la propagación del gusano. La nota en TechRepublic.

Y el sitio de Torrents Minova ha sido atacado también por un DDoS. De acuerdo a TorrentFreak el ataque ha llegado hasta los 2 Gbps viniendo de redes de bots que parecen estar en Alemania y Argentina.

Administración de Redes

   Hoy estaba escribiendo acerca de algunos conceptos en Administración de Redes y decidí compartirlos aquí. Estos conceptos son Netflow, Simple Network Management Protocol (SNMP) y Remote Network MONitoring (RMON). Netflow es un protocolo definido por Cisco Systems y hoy en día es el estándar de-facto para monitorear flujos de datos en IP. Un flujo es un grupo de paquetes de IP que comparten un huella digital (fingerprint) común, la información en esta huella digitial incluye el siguiente set de atributos:

• Dirección IP fuente
  
• Dirección IP destino
  
• Puerto fuente
  
• Puerto destino
  
• Tipo de protocolo Capa 3
  
• Clase de Servicio (Class of Service)
  
• Interfaz de enrutador o switch. 
  

Para que los paquetes sean considerados parte del mismo flujo deben compartir la misma direcciones de IP fuente y destino, mismo puertos fuente y destino, la mima interfaces y la misma clase de servicio.

En redes TCP/IP, el protocolo SNMP es usado para monitorear y administrar redes. En su definición están incluidos un set de estándares, un protocolo de aplicación, una base de datos de definiciones y un set de objetos. Para saber que información solicitar o escribir, SNMP define el "Management Information Bases (MIB)". El MIB define la estructura de administración de la información del dispositivo. Uno de los MIBs más importantes es el MIB-2, éste define un set estándard de definiciones de objetos a manejar como datos de TCP, uso de interfaz, razones de error y "uptime" del sistema entre otros más. 

RMON (también conocido como RMON1) es un protocolo para monitorear redes de área local (LANs). Define varios grupos para monitorear estadísticas en tiempo real en capa 2 (Layer 2), entre ellas utilización, bytes recibidos/transmitidos, colisiones, Top N-hosts, etc. RMON2 es similar a RMON1 pero analiza estadísticas en capa de aplicación.

 

SPAMers se diversifican

   A veces tengo la costumbre de checar mis folders de SPAM para ver si no se fue algún correo mal etiquetado. En esta ocasión la mayoría de mi SPAM ya no es de viagra, artefactos para mejorar la sexualidad o ni el scam nigeriano. Ahora l gran mayoría son ofertas de empleo, muchas de ellas incluso de trabajos donde haces poco y ganas mucho, de verdad que en tiempos de crisis hasta te dan ganas de creerles.

Y bueno, este es el resultado de la diversificación de los SPAMers para aprovechar los nuevos intereses de la gente, en tiempos de bonanza la compra, ahora en crisis: Ofertas de empleo. Estos son algunos asuntos (en inglés, no se si porque los SPAMers en español aún no reaccionan o porque mi profile tiene más sentido en "inglish"):

• Job you might be interested in
  
• The offer you can not say no to!
  
• Now hiring! Click to find out!
  
• Dare to earn more! The answer inside!
  
• It's not a dream, it's reality √you can get a designer watch for half price.
• Beating the high cost
  
• Awesome discounts here
  

Y bueno, los últimos no son de trabajo pero que tal seguir gastando para compensar nuestro espíritu gastador pero ahora a bajos precios. Como último detalle, si les interesa alguno de los trabajos hay que mandar esta información (por cierto, no se los recomiendo):

If feel qualified, please, attach the following info to start up with:
- Fist Name:
- Last Name:
- Age:
- Sex:
- Country
- State, City, Zip
- Phone number (home and cell)
- Valid email address

Practical Artificial Intelligence and Machine Learning

Esta es la presentacion que di ayer en Ignite UK North. Hable un poco (muy poco, solo 5 minutos) sobre Machine Learning, un poco de teoría, un poco de ejemplos prácticos y algunos recursos interesantes. No detalle mucho pero espero que la presentación sirva un poco para explicar algunas cosas básicas de ML.

Machine Learning en Ignite UK North

Una de las razones por las cuales no he posteado mucho es que hoy daré una presentación en Ignite UK North en Leeds. En Ignite tienes 5 minutos y 20 filminas para hablar de un tema, así que tienes 15 segundos para hablar sobre cada filmina. Los eventos de Ignite empezaron en Seatle en el 2006 y este es el primer Ignite organizado en el UK. En esta ocasión habra 18 presentaciones y cerca de 100 asistentes.

La presentación que daré es "Practical Artificial Intelligence and Machine Learning" en la cual hablaré un poco de teoría, daré algunos pequeños ejemplos de como usar ML y finalmente algunos recursos que pueden ser útiles para hacer cosas más complejas. No creo que pueda ahondar mucho en los temas por la restricción de tiempo pero trataré de que los conceptos y los ejemplos se entiendan lo mejor posible.

Aquí dejo algunos de los recursos que usé para hacer mi presentación y crear los ejemplos:

Libros:
Practical Artificial Intelligence Programming in Java, Mark Watson (e-Book gratutito, también hay uno de Ruby)
Programming Collective Intelligence, Toby Segaran; O'Reilly
Artificial Intelligence: A Modern Approach, S. Russell, P. Norvig, J. Canny; Prentice Hall,
Machine Learning, Tom Mitchell; MIT Press

Recursos en Línea
Curso de ML en Stanford
Statistical ML

Código
Fast Artificial Neural Networks FANN (C++, Python y PHP)
OpenNLP
C4.5 (Decision Trees)
ML and Java

Training Data
UC Irvine Machine Learning Repository
Amazon Public Datasets

Mercado de proveedores de Telecomunicaciones

  Hasta hace unos años Nortel y Cisco competían por el mismo mercado de telecomunicaciones. Nortel viniendo del area de voz compró Bay Networks (que habían comprado a su vez a Wellfleet), un proveedor de equipos de ruteo para entrar de lleno al mercado de datos (Pudiéramos decir que la némesis de Cisco antes de Juniper eran Bay Networks y  Wellfleet).  

La estrategia de Nortel en voz como la de otros proveedores de conmutadores telefónicos como Siemems fue la de proveer al viejo armatoste con la capacidad de conexión a la red de datos. La de Cisco viniendo del mercado de datos entró de lleno a cambiarnos el paradigma de telefonía. no voy a entrar en debate cual es mejor (aunque viniendo del área de datos pueden suponer cual es mi inclinación) y cada una tiene sus pros y contras.

Años después, Cisco a través de la compra de Linksys y de Scientific Atlanta se está metiendo de lleno a otro mercado que es el video sobre datos. De acuerdo a Gigaom el mercado Enterprise que está ya dominado por Cisco se ha estabilizado y no crecerá mucho, y por lo tanto Cisco busca donde crecer. Aprovechando sus compras el crecimiento de Cisco en el futuro cercano se prevée que sea en video (si algo debo de reconocer dede Cisco es su habilidad para integrar sus compras en su tecnología. Ejemplos Kalpana, Stratacom, Linksys, IronPort, Arrowpoint, etc.). Y bueno, ¿Qué pasa con Nortel? De acuerdo a Gigaom también, Nortel está buscando como declarse en quiebra. La deuda de Nortel asciende a 4.5 billones de dólares (la sexta parte del cash que tiene Cisco -26.6 B-). Dadas las características de Nortel no me sorprendería que algún rival lo comprar, por ejemplo alguna de las némesis como Juniper (su capitalización anda en los 9B ) o Huwei (aunque esta por ser China dudo que el gobierno de EEUU lo aprobara).

Exploit dia-cero para Internet Explorer

   Pues ya hay un exploit que no es parchado por el MS08-073 anunciado por Microsoft. El exploit afecta versiones no parchadas de IE7 en Windows XP y Windows 2003 y básicamente es un buffer overflow. No se ha confirmado que Vista o IE6 se afecten también. Tampoco hay alternativas aún de como mitigar el efecto del problema (bueno, sí, usen Firefox, Safari u Opera. Si pueden mejor en Linux o Mac OS X). El reporte en el sitio del SANS.

El IWF retira filtro a Wikipedia

Después de gritos, rayos y sentallas alrededor del Web (o la Web como quieran ponerle) la imagen Virgin Killer de Scorpions de la lista de contenido inapropiado. Creo que esta es una pequeña alarma de lo que puede pasar con la censura en Internet, sobre todo si se hace en un país donde la libertad de expresión es algo importante como en el Reino Unido. Si esto hubiera pasado en otro país (no quiero decir nombres pero todos sabemos de una lista de países donde la censura es algo de todos los días) quizá nadie se hubiera enterado.

Sin embargo, como dice el artículo de Ars Technica, la duda sigue ahí en el poder absoluto que se tiene para filtrar contenido.

Y que bueno que el IWF no ha visto la portada de Nevermind Nirvana ...

Embajada de Francia en China bajo DDoS

De acuerdo al Le Monde (aquí la traducción al Español) el sitio de la embajada de Francia en China ha sido innacesible por varias días. La causa aparente es un ataque distribuido de negación de servicio (DDoS). El atentado aparenta ser por las actuales tensiones en las relaciones de Francia y China debido a la reunión  del presidente Francés Sarkozy con el Dalai Lama en Polonia.

Este es otro caso más de los que algunos llamarían Cyber-Guerra. 

Adwords de Google para el iPhone y el G1

En su Mobile Blog: Google anuncia la disponibilidad de Adwords especialmente diseñados para el iPhone y el G1. Sin embargo no está muy claro donde se van a desplegar los anuncios. A diferencia de la parte móvil que en Adsense (ojo, aquí el buzz es Adwords) está muy claro como crear anuncios para desplegar en móviles, la creación de anuncios para iPhone/G1 no está aun disponible. Esta parte es indispensable (IMHO) si Google quiere promover más anuncios para esta plataforma. Por un lado el anuncio creado para móviles en un iPhone no se despliega (en un G1 no lo he probado) porque no soporta WAP, y un anuncio normal es muy ancho, muy largo o muy corto; en fin descuadra todo el contenido.

Igual al rato vemos que Google anuncia algo en Adsense para el iPhone. Ya tienen, YouTube, FeedBurner y móvil, así que lo último para monetizar el G1 no creo que tarde.

Vulnerabilidades MS08-067 rondan por ahí

   Hace unos días leí en el SANS acerca de un malware (virus, worm, trojan o en lo que se haya convertido hoy) que ha sido descubierto rondando por el Internet y que explota la vulnerabilidad MS08-067 ya comentada. Esto nos demuestra que los zero-day exploits son totalmente una realidad pues no tiene mucho tiempo que MS anunció el problema y simplemente al día siguiente ya existía código creado para explotarla. El código fue creado por hackers que hicieron ingeniería inversa.

Steve Gibson en Security Now comentó que afortunadamente el Internet ha cambiado y veremos la propagación de este malware mucho más lenta que lo que sucedió con "Code Red". En eso estoy de acuerdo con Gibson, y gran parte de que hoy no estemos envirulados como hace algunos años se lo debemos en gran parte a Microsoft que decidió poner como configuración estándar el firewall en XP y Vista. Pero también muchas cosas no han cambiado, ¿Cómo cuales?

Bueno, para empezar los usuarios y administradores de sistemas debimos de haber aprendido la lección y parchar nuestros sistemas. Pues no, de acuerdo a un reporte de Microsoft la mayoría de las máquinas infectadas pertenecen a sistemas corporativos. Cuales son las razones de esto, supongamos:

- Para usuarios caseros el firewall y los updates de sistema vienen activos por defecto. Así que la mayoría o esta haciendo los updates o continua con el firewall cerrado lo que hace que la vulnerabilidad no afecte a menos que te caigo algún otro virus por otro lado que desactive el FW.

- Para los corporativos. El firewall esta deshabilidato porque la aplicación casera X o comprada W trabaja en el puerto Y y pues es más fácil desactivar el FW que ver la documentación técnica para ver que puerto abrir.

- Como el ambiente es super "estricto" no podemos aplicar ningún parche hasta que el comitéde cambios se reuna el siguiente mes y de el VoBo. Mientras desactivamos el update automático, que además como soporte técnico suponemos que va a romper algo cada vez que se actualice.

- Como el update automático esta deshabilitado nos tardamos 3 meses en darle la vuelta a todas las máquinas de la empresa. Al fin somos pocos en soporte y tenemos mucha chamba.

    Y el resultado, bueno. Ya saben cual es. 

    Aquí les dejo un tip de como usar NMAP para checar si sus sistemas están vulnerables. El script que cheque toda la red y arroje los resulados en XML o simple texto se los dejo de tarea pero no es muy complejo de hacer.

Primer test de Google Friend Connect

   Bueno, al final encontré donde probar Google Friend Connect. Aunque me hubiera gustado más probarlo en un blog aquí esta la primera prueba. Si quieren ser fans testers del sitio se pueden firmar para dejar comentarios en La Pared.

Si después desean remover su subscripción lo pueden haer directamente en las preferencias de su cuenta de Google.

Google Friend Connect en Beta

Pues Google acaba de liberar en Beta el tan esperado Friend Connect, esto a sólo unas horas de que Techcrunch promocionara el producto similar de Facebook Connect. Básicamente FC te permite añadir capacidades sociales a tu sitio usando los usuarios registrados en Google. Todo esto sin programar nada, solo tienes que agregar un pequeño pedacito de código. Todavía no disecto bien todo lo que se puede hacer (por ejemplo si tienes un servicio donde requieres cierta información del usuario como la localidad o su idioma) pero lo que muestran en el video se ve interesante al menos para poner una lista de fans en tu blog o permitir comentarios simplemente.

Y bueno, todo esto es una carrera entre OpenID y sus promotores (MySpace, Yahoo!, Microsoft, IBM, Verisign y Google parcialmente), Google y Facebook por ganar ser el proveedor de identidad de Internet. Por lo pronto a mi gusto esta ganando OpenID (y ojala lo haga por ser estándar), sin embargo por las mismas restricciones del protocolo es posible que en el futuro veamos una combinación de tecnologías donde posiblemente OpenID tenga una parte del proceso pero no todo. Ahora esperemos como empieza a funcionar Friend Connect y que nuevos servicios empiezan a aparecer.

Update: Probando Google te pide que insertes un par de archivos en el root de tu servidor web. Así que de entrada si no tienes el control del servidor tendrás que pedirle al administrador que inserte los archivos. Por lo pronto no podré probarlo en este blog ni en mi página personal (que esta hosteada por Google). Así que buscaré donde probarlo. 

Regresa la Cofradia Digital

   Pues la Cofradia Digital esta de vuelta. Nuevo diseño pero aún bajo la gorra sigue siendo el mismo sitio, no se si para bien o para mal. Por lo que veo aún no está terminado el rediseño así que igual hay sorpresas más adelante. Como comenté en otro blog post ojalá le den un cambio no solo de diseño sino en el paradigma del sitio para compartir noticias y contenido. Aunque el formato Slashdot fue bueno, creo que ahora se necesitan aplicaciones más sociales y con más interacción de usuarios.

 Y otra idea sería un meme de noticias en español.