En este curso se enseña la metodología general de diseño de experimentos para ingenierías y los principios básicos de evaluación de rendimiento, con el propósito de formar las habilidades necesarias y fomentar buenas prácticas de valoración basada en evidencias. Se promoverá asimismo la comunicación oral y escrita de resultados a diferentes audiencias. Durante el curso se enseñarán los fundamentos de diseño de experimentos en Ingeniería, la selección de métricas, ambientes de evaluación y técnicas apropiadas para el contexto de diferentes problemas, además de métodos para la caracterización estadística de resultados. El enfoque del curso es más práctico que teórico, siendo esencial el desarrollo de tareas incrementales para lograr propósitos relacionados con las metas del énfasis. Se espera, por lo tanto, que los proyectos o tareas sean propuestos por el cuerpo docente del énfasis, para que se relacionen con la futura práctica profesional.
El objetivo general del curso es que cada estudiante desarrolle las habilidades que le permitan realizar o valorar evaluaciones sistemáticas y rigurosas del desempeño de sistemas de tecnologías de la Información y comunicaciones, con el fin de proponer soluciones basadas en evidencias, y comunicar apropiadamente sus resultados, conclusiones y recomendaciones, tanto a los tomadores de decisiones de la organización, como a usuarios e investigadores, a través del desarrollo de una o más soluciones prácticas durante el curso, acompañadas de toda teoría que sea necesaria para el debido aprovechamiento de los temas.
Durante este curso cada estudiante:
- Aplicará los fundamentos de diseño de experimentos en Ingeniería para ordenar y sistematizar las evaluaciones que se deseen realizar a través del planteamiento y discusión de problemas prácticos de tamaño mediano.
- Seleccionará métricas, ambientes de evaluación y técnicas apropiadas para el contexto del problema a resolver para facilitar el planteamiento de estudios con metodologías conocidas a través del estudio de diversos ejemplos, casos de uso y aplicación a tareas prácticas en el curso.
- Utilizará métodos básicos de caracterización estadística de resultados, tanto descriptivos como inferenciales, en la resolución de los problemas que se le presenten para extraer información a partir de resultados no procesados, a través de la presentación de la teoría y su aplicación en problemas cortos y en tareas prácticas.
- Podrá refinar o replantear un experimento para mejorar el diseño y ejecución con base en la experiencia adquirida, a través de varios ciclos de revisión del proyecto.
Transversales:
- Comunicará efectivamente sus resultados parciales o finales, tanto de manera escrita como oral.
Los objetivos 4 y 5 se deben cumplir en el desarrollo de las tareas prácticas, en las que los estudiantes deberán comunicar a sus compañeros y a la persona docente sus resultados parciales y finales, además del análisis de artículos o reportes técnicos publicados sobre los temas que se estén estudiando.
| Objetivo específico | Eje temático | Desglose |
|---|---|---|
| 1,4 | Pasos de la experimentación *. | Reconocimiento y planteamiento del problema, hipótesis de trabajo, objetivos, elección de variables de respuesta, factores y niveles, elección del diseño experimental, conducción de experimento, análisis de datos, conclusiones y recomendaciones |
| 3 | Estadística descriptiva y presentación de datos *. | Medidas de punto central, medidas de desviación. Errores comunes en la presentación de datos. Histogramas, gráficos de Gantt, Kiviat, Schumacher. Presentaciones a tomadores de decisión. |
| 2 | Cargas de trabajo (workloads) *. | Mezclas de instrucciones, núcleos, programas sintéticos, puntos de referencia (benchmarks) de aplicación, puntos de referencia comunes. Servicios ejercitados, nivel de detalle, representatividad, oportunidad (timeliness), agrupamiento (clustering). |
| 2 | Monitores y bitácoras. | Terminología y clasificación, monitores de hardware y de software, monitores distribuidos, diseño, análisis e interpretación de bitácoras. |
| 2,4 | Simulación para evaluación de rendimiento | Números aleatorios y pseudo-aleatorios, generadores comunes y cuándo usarlos. Tests de aleatorización. |
| 2,3 | Experimentos comparativos simples y estadística inferencial básica. | Comparando dos condiciones: inferencias sobre las diferencias de promedios usando diseños aleatorios y emparejados. Inferencias sobre varianzas en distribuciones normales. Muestra y población, intervalos de confianza, prueba de hipótesis. Regresiones simples. |
| 2,3 | Experimentos con una variable única de múltiples valores. | Análisis de varianza: análisis del modelo de efectos fijos; chequeando qué tan adecuado es el modelo; interpretación práctica de resultados; determinación del un buen tamaño de muestra; otros métodos en el análisis de la varianza. |
| 3,4 | Tratando con dos o más factores: diseños factoriales | Diseño de dos factores; diseño factorial general; ajuste de curvas y superficies de respuesta; bloqueo en diseño factorial. |
(*) Ejes temáticos que no se cubren de manera lineal. Alguno o todos los temas se deben desarrollar de manera transversal a lo largo del curso, repetirse con refinamientos, o desarrollarse en el contexto de los casos que se estén estudiando.
Posible texto
- R- Jain. The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling. Editorial Addison Wesley, 1991.
Bibliografía de referencia
- B. Gregg. Systems Performance: Enterprise and the Cloud. Prentice Hall 2013.
- H. Gutiérrez-Pulido y R. Vara-Salazar. Análisis y Diseño de Experimentos, 3era edición. México: McGraw-Hill, 2012.
- D. Montgomery. Design and Analysis of Experiments, 8th ed. New Jersey: John Wiley & Sons, 2012.
- G. E. P. Box, J. S. Hunter, W. G. Hunter. Statistics for Experimenters: Design, Innovation, and Discovery, 2nd Edition. Wiley, 2005.
Este no es un documento oficial. Documentos oficiales se entregan en la secretaría de la escuela.