Febrero INFORME DE RESULTADOS Piloto Puentes Educativos – Enlaces, Mineduc 2012 2013 Índice Abstract ................................................................................................................................... 3 1 Descripción de Puentes Educativos .................................................................................. 4 1.1 Resumen del proyecto ............................................................................................... 4 1.2 Caracterización de los establecimientos participantes............................................... 5 2 Perfeccionamiento docente ............................................................................................... 6 2.1 Talleres de Desarrollo Curricular .............................................................................. 6 2.2 Talleres de Capacitación ............................................................................................ 6 3 Actividades realizadas ...................................................................................................... 7 4 Seguimiento y monitoreo ................................................................................................. 7 4.1 Monitoreo a Docentes ................................................................................................ 8 4.2 Monitoreo al tráfico de los recursos educativos digitales ......................................... 9 4.3 Monitoreo a DAEM, DEM o Corporación de Educación Municipal ........................ 9 5 Materiales y recursos utilizados ....................................................................................... 9 6 Principales resultados de monitoreo ............................................................................... 10 6.1 Del uso de recursos educativos digitales ................................................................. 11 6.2 Del uso de Internet móvil ........................................................................................ 12 6.3 De la incorporación de las planificaciones de clases ............................................... 15 6.4 Del uso íntegro de los recursos de Puentes Educativos ........................................... 16 6.5 De la reproducción y descarga de recursos educativos digitales ............................. 17 6.6 Del mecanismo de reproducción de los videos en el aula ....................................... 20 7 Principales resultados evaluación ................................................................................... 22 7.1 Resultados descriptivos ........................................................................................... 22 7.1.1 Resultados en Práctica Docente ........................................................................ 22 7.1.2 Resultados en Directivos .................................................................................. 25 7.2 Resultados cualitativos: observaciones de aula y entrevistas .................................. 26 7.2.1 Observaciones de aula ...................................................................................... 26 7.2.2 Entrevistas grupales a alumnos ........................................................................ 29 7.2.3 Entrevistas grupales a directivos y sostenedores .............................................. 30 7.3 Resultados cuantitativos: Valor Agregado en Estudiantes ...................................... 34 7.3.1 Matemáticas 5°básico ....................................................................................... 36 7.3.2 Matemáticas 6° básico ...................................................................................... 36 1 7.3.3 Ciencias Naturales 5° Básico............................................................................ 37 7.3.4 Ciencias Naturales 6° básico ............................................................................ 39 7.3.5 Inglés 5° básico................................................................................................. 40 7.3.6 Inglés 6° básico................................................................................................. 40 8 Conclusiones y recomendaciones ................................................................................... 42 8.1 Principales conclusions ........................................................................................... 42 8.2 Principales Recomendaciones ................................................................................. 43 Anexos .................................................................................................................................. 46 2 Abstract Puentes Educativos es una iniciativa, que en la actualidad cuenta con el Patrocinio del Ministerio de Educación, a través de Enlaces, y que comienza a desarrollarse en nuestro país desde 2010, como resultado del esfuerzo conjunto de Pearson Foundation, Pearson Educación, Fundación Telefónica, la Asociación Chilena de Municipalidades, Nokia, Nokia Siemens Network y la Asociación Chilena Pro Naciones Unidas, entidad ejecutora del proyecto. Su objetivo central es mejorar las prácticas educativas, contribuyendo así a que estudiantes de 5º y 6º básico de contextos desfavorecidos, mejoren sus aprendizajes en matemática, ciencias naturales e inglés. Con tal fin, desarrolla una estrategia pedagógica innovadora que combina la aplicación sistemática de planificaciones de clases elaboradas por los propios docentes, con el uso en el aula de recursos educativos digitales descargados a través de internet móvil, como complemento fundamental de la clase. El informe expuesto sintetiza las acciones realizadas durante los años de implementación, poniendo especial énfasis en los resultados obtenidos del proyecto piloto que, en conjunto con el programa Enlaces del Ministerio de Educación, se llevó a cabo en 14 escuelas de las partícipes de Puentes Educativos durante 2012. Estas escuelas, ubicadas en las regiones Del Maule y Los Lagos, a su vez fueron seleccionadas para una evaluación de impacto que, tras un proceso de licitación, fue adjudicada al Centro de Investigación para el Desarrollo de la Educación (CIDE) de la Universidad Alberto Hurtado 1. La evaluación consistió en la medición del impacto atribuible al proyecto en los resultados de un grupo tratamiento2, comparados con los obtenidos por un grupo control3. Lo anterior, supuso la aplicación de pruebas de medición en dos momentos, al inicio (pre-test) y al término (post-test) del año escolar 2012 para ambos grupos. Estas pruebas fueron acompañadas de encuestas aplicadas a los diversos actores de las comunidades educativas de ambos grupos de escuelas (docentes, directores, estudiantes y familias), las que tuvieron por objeto medir los factores asociados internos (de la escuela) y externos (relacionados al contexto socioeconómico y cultural de las familias de los estudiantes) que pudieran incidir en los resultados de los test de medición. Con esto, el informe se organiza 8 apartados: Primero, se explicita una breve descripción del proyecto Puentes Educativos; segundo, se describe los procesos de perfeccionamiento docente que implican la participación en el proyecto; tercero, se manifiestan las actividades principales realizadas durante el año escolar 2012; cuarto, se expresan los procesos de seguimiento y monitoreo que realiza Puentes Educativos a los docentes, directivos y sostenedores; quinto, se exponen los materiales entregados a los establecimientos y docentes; sexto, se manifiestan los principales resultados de los sistemas de monitoreo y seguimiento; séptimo, se muestran los principales resultados de la evaluación de impacto de Puentes Educativos aplicada por el CIDE; y, por último, en un octavo apartado, se sintetizan las principales conclusiones y recomendaciones que surgieron a propósito del aprendizaje obtenido por el equipo ejecutor del proyecto. 1 www.cide.cl Correspondiente a la muestra de 14 escuelas de las regiones del Maule y Los Lagos beneficiarias del proyecto a contar de 2012. 3 Compuesto por una muestra de 7 escuelas homólogas a las anteriores pertenecientes a las mismas regiones y que no fueron beneficiadas por el proyecto. 2 3 1 Descripción de Puentes Educativos En Chile este proyecto se denomina Puentes Educativos y es parte de una iniciativa global llamada BridgeIT4. Es una asociación público-privada-sociedad civil, que surgió localmente como resultado del esfuerzo conjunto entre Nokia, Pearson Foundation, Pearson Educación, Fundación Teléfonica, Nokia Siemens Network, la Asociación Chilena de Municipalidades y la Asociación Chilena Pro Naciones Unidas, dando inicio a su implementación en el año 2010. El Ministerio de Educación, mediante una carta de intención enviada el 21 de Noviembre de 2011, acogió la solicitud de patrocinio de Puentes Educativos, consagrando dicha acción en Enero de 2012 (REX 344). Desde el año 2010 y a la fecha, se extiende en las regiones de Coquimbo, Metropolitana, Bío Bío, Maule y Los Lagos, beneficiando a 161 escuelas, 506 profesores y cerca de 10.000 estudiantes. 1.1 Resumen del proyecto Se desarrolló una experiencia piloto de aplicación del proyecto Puentes Educativos en 14 escuelas, de las regiones del Maule y Los Lagos durante 2012, la que buscó establecer el impacto y efecto de Puentes Educativos en los aprendizajes de los estudiantes y los cambios en la práctica educativa en el aula, como resultado de la capacitación tecnológica y pedagógica realizada. Además de medir la influencia que el proyecto tiene en términos de la motivación de los estudiantes en su trabajo en la sala de clases. Junto con ello, se buscó determinar los obstáculos y limitaciones que encuentran los docentes al utilizar la tecnología móvil como recurso en el aula. La finalidad del proyecto es proveer perfeccionamiento docente, a través de capacitaciones en la incorporación de recursos educativos digitales que pueden ser descargados desde un dispositivo móvil (el cual fue entregado por el proyecto a cada docente), a través de internet, y proyectados en el aula por medio de un proyector. Asimismo el proyecto permitió el acceso a otros recursos educativos a través de internet y brindó un apoyo a la labor pedagógica mediante la entrega de planificaciones de clases que incorporan el uso de TICs y que sirvieron de guía para el docente. Los videos educativos que proporcionó el proyecto abarcan las asignaturas de Ciencias Naturales, Matemáticas e Inglés para 5° y 6° básico. Además de facilitar estos recursos, el proyecto realizó talleres de perfeccionamiento a los docentes en la integración de los recursos educativos digitales e internet móvil, en el desarrollo de una estrategia pedagógica que apunta fundamentalmente a la planificación sistemática de las clases, y en del material tecnológico (smartphone). Finalmente se desarrolló una estrategia de monitoreo y acompañamiento a los docentes mediante la visita a escuelas, la observación de aulas y aplicación de encuestas. 4 http://www.pearsonfoundation.org/great-teaching/programs/bridgeit.html 4 1.2 Caracterización de los establecimientos participantes A continuación, se expone un cuadro que sintetiza la información correspondiente a los establecimientos participantes: Región, comuna, nombre del establecimiento, RBD, IVE, SIMCE Lenguaje, Matemáticas y Ciencias Naturales, cantidad de aulas que participan, número de participantes (docentes de Matemáticas, Ciencias e Inglés, además de Directores y Jefes de UTP), y número de estudiantes, que participaron de Puentes Educativos durante 2012. N 1 Región Comuna Establecimiento RBD IVE (%) SIMCE LENG SIMCE MAT SIMCE NAT Aulas 5º Aulas 6º Participantes Alumnos Los Lagos Castro Aytué 8005 73,9 245 257 247 3 2 7 189 Los Lagos Castro Cultura y Difusión Artística Fridolina Barrientos 22403 29,1 295 290 291 1 1 5 53 3 Los Lagos Castro Inés Muñoz García 8004 47,7 260 237 246 2 3 5 204 4 Los Lagos Castro Padre Hurtado 22176 80,4 244 243 239 1 1 5 83 5 Los Lagos Castro Teresa de los Andes 22535 65,5 265 248 254 3 3 5 186 6 Los Lagos Los Muermos Cañitas 7874 89,0 274 257 283 1 1 5 25 7 Los Lagos Los Muermos Inglés Mabel Condemarín 22309 88,1 272 269 254 1 1 6 84 8 Maule Parral Nider Orrego Quevedo 3395 93,0 274 261 247 2 2 7 87 9 Maule Parral Santiago Urrutia Benavente 3389 95,4 296 270 266 1 1 5 40 10 Maule Pencahue Liceo de Pencahue 3138 92,8 248 238 252 1 1 6 84 11 Maule Talca Aurora de Chile 2956 74,7 273 262 264 2 2 5 110 12 Maule Talca Esperanza 2972 90,0 278 270 240 2 1 7 86 13 Maule Talca Panguilemo 2981 79,0 265 274 261 1 1 6 44 14 Maule Talca Pdte. José Manuel Balmaceda 2944 57,3 279 267 262 4 3 7 192 Promedios / total 75,4 269 260 258 25 23 81 1.467 2 5 2 Perfeccionamiento docente La estrategia metodológica de Puentes Educativos contempló la realización de dos tipos de talleres que permitieron generar habilidades y competencias en los docentes, tanto en el uso de la tecnología como en la adopción de la estrategia pedagógica del proyecto, ambas ligadas a la planificación de actividades clase a clase integrando el uso de las TIC. Estos talleres son: 1) Desarrollo Curricular y 2) Capacitación. 2.1 Talleres de Desarrollo Curricular Los talleres de Desarrollo Curricular se desplegaron por un período a de cinco días consecutivos (45 horas) y tuvieron por objeto generar las bases del proyecto en los docentes, esto es creando los mapas de contenido5 y los archivadores de planificación de clase6 en torno a cada nivel de enseñanza en que se focaliza el proyecto (5º y 6º año básico), en cada asignatura (Matemáticas, Ciencias e Inglés). Durante estos talleres, los docentes tuvieron la oportunidad de compartir sus sugerencias respecto a la planificación, desarrollar nuevas habilidades y compartir estrategias con el fin de mejorar su desempeño en el aula. A su vez, expertos curriculares de las distintas asignaturas, fueron los encargados de dictar los talleres. 2.2 Talleres de Capacitación El objetivo de los talleres de capacitación fue preparar a los docentes que aplicaron las planificaciones de clase previamente elaboradas en los talleres de Desarrollo Curricular, integrando la tecnología y la metodología que el programa plantea. A través de estos talleres, se brindó acompañamiento, reforzamiento y capacitación en regiones durante todo el período de implementación del programa. Uno de los objetivos de todas las sesiones de taller fue crear un ambiente de aprendizaje participativo. Los temas que se trataron durante las capacitaciones fueron: a) Introducción a los objetivos del proyecto Puentes Educativos, a modo de reforzamiento para aquellos docentes nuevos en el proyecto; b) Exploración de la pedagogía y la metodología de planificación de acuerdo al proyecto; c) Capacitación en el manejo de la tecnología (descargar videos y uso del teléfono móvil); e d) Integración curricular de recursos educativos digitales. 5 Se refiere a la matriz completa que relaciona unidades curriculares y aprendizajes esperados con los videos educativos asociados provistos por Puentes Educativos. 6 Se refieren un compendio de planificaciones de clases diarias en torno a cada unidad del curriculum nacional. En cada una de las planificaciones se incorporan actividades y recursos educativos digitales para enriquecer la clase. 6 3 Actividades realizadas Las principales actividades desarrolladas durante el año escolar 2012, quedan expuestas en la siguiente tabla: Año Fecha Actividad Enero Talleres de Capacitación para los docentes y directivos que formaron parte de Puentes Educativos Marzo Firma compromisos evaluación, instalación en escuelas. Abril Observaciones de aula escuelas VII (Esperanza, Balmaceda, Panguilemo, Aurora de Chile, Liceo de Pencahue) y X (Padre Hurtado, Aytué, Cultura, Teresa de Los Andes y Cañitas). 2012 Aplicación de instrumento Pre Test CIDE. Mayo - Junio Reunión con todos los directivos de escuelas, DAEM y corporaciones. Agosto Entrevistas en profundidad a profesores VII (Liceo Pencahue, Esperanza, Aurora de Chile, Panguilemo, Balmaceda, Níder Orrego) y X (Cultura, Teresa de Los Andes, Padre Hurtado, Mabel Condemarín, Cañitas). Septiembre Entrevistas grupales a directivos escuelas de Talca-Pencahue (1) y Castro (2) Octubre Taller remedial en Castro. Entrevistas grupales a estudiantes de escuelas Teresa de Los Andes (Castro), y Balmaceda (Talca). Entrevista en profundidad a directivos Talca y Castro). Noviembre Observaciones de aula escuelas VII (Esperanza, Balmaceda, Panguilemo, Aurora de Chile, Liceo de Pencahue) y X (Padre Hurtado, Aytué, Cultura, Teresa de Los Andes y Cañitas). Aplicación de instrumento Post Test CIDE. 4 Seguimiento y monitoreo Los sistemas de monitoreo se encuentran insertos dentro de los procesos de evaluación e implementación de los proyectos sociales. Éstos constaron de acciones para recopilar e interpretar información sobre el funcionamiento y resultados que presentaron tanto los participantes directos de la intervención como aquellas personas responsables de su implementación, con la finalidad de definir lineamientos en un doble sentido: en primer lugar, permitieron fortalecer, a través de iniciativas más pertinentes, los objetivos iniciales que se contemplaron en el plan inicial y/o diagnóstico de la situación a intervenir; y, en segundo lugar, permitieron redefinir los lineamientos estratégicos iniciales y establecer iniciativas que suplan problemáticas que no se contemplaron en el diseño del proyecto. 7 Para el caso de los proyectos sociales con foco en educación, el monitoreo debe considerar los aspectos locales de organización del sistema educativo (nacionales y regionales), puesto que las dinámicas existentes en las escuelas suelen estar condicionadas por aspectos culturales. El sistema de monitoreo de Puentes Educativos constó de múltiples iniciativas tendientes a fortalecer los objetivos del programa, los cuales se resumen en 4 ejes genéricos dependiendo de los sujetos a monitorear: 4.1 Monitoreo a Docentes Puentes Educativos busca aportar al perfeccionamiento docente a través de la incorporación de TIC en el aula con un soporte pedagógico permanente. Lo anterior permitió comprender que, si bien los beneficiarios finales son los estudiantes, las estrategias de intervención se centró en los profesores, por lo cual los participantes del proceso de monitoreo corresponden a todos los docentes que formaron parte del proyecto en 2012, es decir, a aquellos que desarrollaron sus clases para los niveles de 5º y 6º año básico, para las asignatura de Matemáticas, Ciencias e Inglés. El monitoreo a los profesores tuvo como objetivo identificar aquellos aspectos que inciden en el funcionamiento del proyecto por parte de los docentes, en otras palabras, conocer cuáles fueron las condiciones que han fortalecido o dificultado la implementación del programa. Este eje contempló fundamentalmente tres acciones: a) Monitoreo Telefónico a Profesores: Consistió en llamadas mensuales a cada uno de los profesores participantes y la aplicación de un instrumento elaborado ad-hoc (Anexo 5) que captó la implementación efectiva del proyecto, las características de ésta, las dificultades y fortalezas, y la percepción respecto de las planificaciones y los recursos educativos. La consolidación de esta información permitió, en conjunto con las visitas a escuelas, conocer el funcionamiento de Puentes Educativos en los docentes, además de la planeación de acciones específicas de apoyo al trabajo de ellos. A partir de octubre de 2012, este monitoreo telefónico pasó a realizarse vía web, con el fin de intervenir menos en el desarrollo de las actividades escolares (para revistar la encuesta, presionar aquí7). b) Visitas a las escuelas: Las visitas a las escuelas fueron reuniones directas entre el equipo de Puentes Educativos y distintos miembros de la comunidad educativa, entre ellos los docentes. Se aplicó un instrumento ad-hoc (Anexo 6) que permite identificar en terreno el desenvolvimiento de las distintas aristas de Puentes Educativos, así como aquellas dimensiones relacionadas a la dinámica escolar que inciden en su implementación. c) Seguimiento de la página web: La página web de Puentes Educativos (www.puenteseducativos.cl) constituyó una plataforma interactiva para descargar documentos relacionados con el proyecto, participar de foros y tener acceso a videos, planificaciones de clases y noticias que fueron actualizadas constantemente. El único requisito para ser parte era estar inscrito en la página web. 7 En caso que el hipervículo no funcione, dirigirse a la siguiente dirección: https://puenteseducativos.wufoo.com.mx/forms/encuestapuentes-educativos/ 8 4.2 Monitoreo al tráfico de los recursos educativos digitales El proyecto entregó a los docentes dispositivos móviles que vienen previamente cargados con un software que permitió conocer los momentos y la cantidad tanto de las descargas como de las reproducciones del material educativo provisto por el programa. Con esto, se complementó la información levantada a partir de la encuesta mensual aplicada a los docentes. Esto también permitió conocer cuál fue el material más utilizado e indagar en el porqué de ésta situación. 4.3 Monitoreo a DAEM, DEM o Corporación de Educación Municipal Dentro del proceso de implementación del proyecto, la contraparte local fue fundamental en lo que respecta al monitoreo del uso e identificación tanto de problemáticas como de fortalezas que presentan las comunas y escuelas que forman parte de Puentes Educativos. Siendo así, se elaboró una estrategia de monitoreo a los Directores Municipales o Directores de la Corporación de Educación Municipal que permitió mantener contacto constante entre el equipo implementador y dicha contraparte. Lo anterior facilitó, a su vez, contar con información general de la comuna y con la visión que se tuvo de Puentes Educativos en la localidad. Este eje de monitoreo, contempló una reunión con el Encargado Municipal de Educación luego de visitar las escuelas dentro de una comuna, puesto que permitió complementar lo observado en las visitas a las escuelas con las evaluaciones docentes en caso que se considere necesario, buscando establecer lineamientos de acción a corto, mediano y largo plazo para el funcionamiento óptimo de Puentes Educativos. 5 Materiales y recursos utilizados Además de las capacitaciones que el proyecto proporcionó a las escuelas, los recursos y materiales que la iniciativa brindó a los establecimientos son: - Proyectores (data show): Para cada uno de los establecimientos que carezcan de proyector instalado de manera fija en el aula de 5º y 6º año básico se entregó un proyector con soporte. Subwoofers: Se entregó a cada establecimiento un subwoofer por aula involucrada en el proyecto. Teléfonos celulares (smartphones): Con conectividad ilimitada a internet y acceso al software NED8 para la descarga de videos educativos. Cada establecimiento recibió 3 teléfonos celulares (1 por cada asignatura). 8 Nokia Education Delivery (NED): Software elaborado por Nokia, que permite descargar contenidos educativos desde internet, tales como audio, videos y pdf. Asimismo permite tener estadísticas remotas tanto de las descargas como las reproducciones de videos de cada equipo. 9 - - 210 videos educativos: En las asignaturas de Matemáticas, Ciencias Naturales e Inglés para 5º y 6º básico. Estos videos han sido revisados y clasificados de acuerdo al currículum de estas asignaturas y niveles, de modo de asegurar que estén alineados con el currículum nacional. Archivadores de planificaciones de clase: Para cada uno de los docentes participantes del programa, de acuerdo al nivel y subsector que imparte. Estas son un apoyo al profesor y son entregadas tanto en formato físico como digital, para que los propios docentes puedan modificarlas. 6 Principales resultados de monitoreo Este apartado indaga sobre la cobertura que tuvo el uso de los recursos educativos digitales, Internet móvil y las planificaciones de clases a lo largo del año escolar 2012, evidenciando las tendencias expuestas durante los distintos meses de implementación. Con esto, en primer lugar, se muestra el Gráfico 1, siendo posible observar el comportamiento que tuvo la incorporación de los tres recursos manifestados en términos porcentuales del total de profesores a partir de Mayo de 20129. Gráfico 1: Porcentajes de docentes que presentan uso del recurso educativo digital, internet móvil e incorporación de planificaciones de clases 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Uso de recurso educativo digital Uso de internet desde el dispositivo móvil Uso de planificaciones de clases Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. Tal como queda en evidencia, la incorporación declarada de los distintos recursos tendieron al alza a partir de los inicios de la medición. Para indagar en lo anterior, se expondrán seis indicadores, algunos apoyados de gráficos y/o tablas, que permitieron comprender de forma desagregada estos comportamientos. 9 Los datos de origen de las tablas y gráficos varían según el inicio del proceso de Monitoreo (mes de Mayo) y las últimas incorporaciones de nuevas variables en dicho instrumento (mes de Julio). 10 6.1 Del uso de recursos educativos digitales En lo que respecta la reproducción de los recursos educativos digitales, como se manifestó anteriormente, es posible observar continuamente una tendencia al alza, alcanzando su nivel más bajo en el mes de Agosto con un 76% de docentes que declararon incorporar los recursos al menos una vez al mes, mientras que su mayor nivel se presentó en el mes de Octubre, donde un 96% de docentes declaró incorporar los recursos a lo largo del mes. El alza mostrada en el mes de octubre puede deberse a, fundamentalmente, dos procesos: uno caracterizado por una adaptación en el uso del recurso en la práctica regular de los profesores, y otro a los resultados de los talleres remediales realizados durante dicho mes. Pese a una leve baja en el mes de Noviembre, el promedio anual de incorporación de los recursos educativos digitales ofrecidos por el proyecto se consolidó en un 90% de docentes, es decir, que 9 de cada 10 docentes que participaron del piloto incorporaban los videos al menos una vez al mes. Si los resultados del indicador se dividen por asignaturas que participaron de Puentes Educativos durante 2012, el comportamiento del porcentaje de profesores que dice integrar los recursos educativos digitales quedaría expresado por el siguiente gráfico: Gráfico 2: Uso de RED por asignatura (%) 100% 80% Matemáticas 60% Ciencias 40% Inglés 20% 0% Julio Agosto Septiembre Octubre Noviembre Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. Siendo así, es posible observar que el porcentaje de docentes que dijo utilizar los recursos educativos digitales por asignatura es relativamente estable entre las tres asignaturas, pudiendo constatar que, exceptuando los meses de Agosto y Octubre, la asignatura de Ciencias fue la que más introdujo porcentualmente los recursos en sus aulas, seguida por la de Matemática, y finalmente la de Inglés. A continuación se expone el Gráfico 3, el cual muestra el comportamiento anual de la frecuencia en la incorporación de recursos educativos digitales: 11 Gráfico 3: Frecuencia de uso de los recursos educativos digitales 50% 40% 30% 29.4% 32.0% 21.4% 20% 12.4% 4.8% 10% 0% Más de una vez a la semana Una vez a la semana Entre dos y tres Una vez al mes veces al mes No sabe/No responde Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. Del total de docentes que dice integrar los recursos educativos digitales, es posible considerar –a partir de los promedios anuales- que un 21,4% de ellos los reprodujo más de una vez a la semana, un 29,4% de ellos una vez a la semana, un 32% entre 2 y 3 veces al mes, y un 12,4% sólo una vez al mes. Lo anterior equivale a decir que de 10 profesores, 2 utilizaron los videos educativos digitales más de una vez a la semana, 3 profesores una vez a la semana, 3 de ellos entre dos y tres veces al mes, y 1 profesor lo hace sólo una vez al mes, mientras que 1 de ellos no estaría aplicando los recursos todos los meses. Cabe especificar que del total de docentes que dijo integrar los recursos educativos digitales durante los meses de implementación, un 4,8% no supo o no respondió esta pregunta. 6.2 Del uso de Internet móvil Con respecto al uso de internet móvil desde el dispositivo celular, fue posible constatar que el recurso fue incorporado de forma gradual a lo largo del proyecto, manteniendo su cobertura en aproximadamente un tercio de los docentes que participan del piloto, como queda expuesto en el siguiente gráfico: 12 Gráfico 4: Uso de Internet desde el dispositivo móvil 100% 80% 49% 45% 44% 37% 37% 50% 53% 60% 40% 20% No usa Internet móvil 51% 55% 56% 63% 63% 50% 47% 0% Usa Internet móvil Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. Como es posible observar en el Gráfico 4, el uso de Internet móvil desde el dispositivo celular muestra un mínimo de uso de 37% para el mes de Julio y Agosto, y un máximo de 49% para el mes de Mayo. Ahora bien, en los meses de Octubre y Noviembre la incorporación de este recurso aumentó considerablemente, mostrando que en el mes de Octubre un 50% de docente dijo haber utilizado internet móvil desde el dispositivo celular, mientras que para el mes de Noviembre este indicador subió levemente a un 53%. Pese a los aumentos experimentados al final del año, el indicador 2 culminó con un promedio anual de 45%, es decir, que durante el 2012, entre 4 y 5 docentes de cada 10 usaban internet móvil desde el equipo celular al menos una vez al mes. Siendo así, los niveles de cobertura se encuentran lejos de los alcanzados por la incorporación de los recursos educativos digitales, destacando como principales fundamentos a dichos niveles el hecho de que algunos docentes encontraron más fácil el uso del internet de la escuela (30% de los motivos de no uso de internet móvil) y la inestabilidad o inexistencia de la red Movistar en la escuela (22,3%). Mediante una encuesta de evaluación realizada durante la finalización del año escolar 2012, fue posible conocer cuál fue el tipo de uso que los docentes le dieron a internet aprovechado desde el dispositivo móvil: 13 Gráfico 5: Tipo de uso que tuvo el internet desde el dispositivo móvil 27,3% Uso pedagógicos Uso personal 72,7% Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. Tal como es posible observar en el Gráfico 5, del total de docentes que dijo haber utilizado internet desde el dispositivo móvil, es posible constatar que un 72,7% de ellos dijo haberle dado un uso principalmente pedagógico. Con esta información, fue posible elaborar el siguiente gráfico: Gráfico 6: Principales usos pedagógicos de Internet móvil desde el dispositivo celular Refuerzo o complemento a estudiantes Apoyar el trabajo de planificación de clases Apoyar a los estudiantes actividades de… Contactarse con colaboradores externos o internos Organizar, monitorear y apoyar los procesos de… Dar consejos individuales a estudiantes Colaborar con apoderados en orientación y/o… 0% 20% 40% 60% 80% 100% Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. Como es posible observar en el Gráfico 6, los principales usos pedagógicos que los docentes le daban al dispositivo móvil, se sintetizan en que el total de ellos dijo haber integrado Internet como refuerzo y complemento a estudiantes. Así mismo, también el total de docentes dijo haber apoyado el trabajo de planificación de clases con internet móvil del celular. A su vez, sobre el 80% de los docentes que utilizaba Internet móvil desde el dispositivo celular con fines pedagógicos dijo haber apoyado a los estudiantes en actividades de exploración e investigación, al igual que haber logrado contactarse con colaboradores, externos o internos del establecimiento, para el apoyo en el proceso educativo. 14 6.3 De la incorporación de las planificaciones de clases Por su parte, las planificaciones de clases elaboradas por Puentes Educativos mostraron niveles de uso extremadamente significativos dentro del proceso de implementación, los cuales, además, fueron en alza desde inicios de 2012. En este sentido, los meses en que el indicador mostró el menor nivel de cobertura fueron Mayo y Octubre, meses para los cuales un 85% de los docentes que participaron del piloto declararon utilizar regularmente las planificaciones del proyecto. De esta manera, para el mes de Septiembre, un 98% de profesores aseguraba que aprovechaba de forma regular las planificaciones provistas por Puentes Educativos. Si esta información se desagrega por asignatura de aprendizaje, la incorporación declarada de las planificaciones de clases desarrolladas por Puentes Educativos se comportó de la manera expuesta en el siguiente gráfico: Gráfico 7: Uso de planificaciones por asignatura (%) 100% 80% 60% 40% 20% 0% Matemáticas Ciencias Inglés Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. Considerando lo expuesto en el Gráfico 7 sobre la incorporación de planificaciones por asignatura, es posible constatar que inicialmente, el porcentaje de docentes por asignatura que declaraba integrar las planificaciones de clases desarrolladas por el proyecto eran similares, próximas a 85% y 90%. Sin embargo, esta similitud va desapareciendo en la medida que avanzan los meses, siendo posible observar que para la asignatura de Matemática el porcentaje de incorporación es levemente más bajo para el mes de Julio y considerablemente menor para el mes de Agosto, destacando un aumento significativo en los meses de Septiembre y Octubre. Por su parte, las planificaciones de ciencias parecieron ir en alza constante desde su medición inicial, marcando una tendencia mantenida sobre el margen del 90% y 100% de los profesores de la asignatura. Para el caso de la asignatura de inglés, y si bien el indicador expone que comienza muy similar a las otras asignaturas, éste disminuye en Septiembre, Octubre y Noviembre, terminando con porcentajes de incorporación de planificaciones próximos al 80%. 15 Así entonces, conviene mencionar, tal como muestra el Gráfico 8, que el principal interés de los docentes por las planificaciones se encontró en las actividades, donde un 65,5% las indicó como lo más relevante al momento de preguntarles su apreciación por las planificaciones. Gráfico 8: Apreciación de las planificaciones de clases Son muy básicas 2.4% Son muy complejas 2.0% Los tiempos no coinciden con la realidad 10.3% Los tiempos vienen bien adecuados a la… 7.8% Presentan buenas actividades 65.5% Las encuentro muy ordenadas 4.8% Otros 7.2% 0% 10% 20% 30% 40% 50% 60% 70% Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. 6.4 Del uso íntegro de los recursos de Puentes Educativos A continuación se expone un gráfico que expresa visualmente el comportamiento de los docentes que tuvieron un uso íntegro, es decir, los videos y las planificaciones simultáneamente del proyecto a lo largo de los meses de implementación: Gráfico 9: Uso íntegro de recursos de Puentes Educativos 100% 80% 60% Matemáticas 40% Ciencias 20% Inglés 0% Julio Agosto Septiembre Octubre Noviembre Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. Según lo expuesto en el Gráfico 9, sobre el uso íntegro de los recursos de Puentes Educativos, cabe constatar que se muestra la tendencia constante del porcentaje de docentes participantes del proyecto que dicen haber integrado mensualmente las planificaciones y los videos, comportamiento marcado por un origen prácticamente equitativo para el mes de Julio (exceptuando ingles), próximo al 90% en cada uno de las asignaturas. Por su parte, Inglés presenta 16 indicadores marcadamente menores, evidenciando en Julio que un 78,5% de profesores de dicha asignatura integraba, a la vez, los recursos educativos digitales y las planificaciones. Este porcentaje se va diferenciando fuertemente en lo que respecta a la asignatura de Ciencias, donde es posible observar una tendencia constante al alza al menos hasta el mes de Noviembre, mes en el cual fue posible corroborar que, en términos declarativos, un 100% de los docentes de Ciencias integraba simultáneamente las planificaciones y los videos. Por su parte, los docentes de la asignatura de Matemáticas presentaron niveles significativos en este indicador para los meses de Julio, Septiembre y Octubre, bajando fuertemente en los meses de Agosto y Noviembre, mientras que para la asignatura de Ingles el indicador se mantuvo constante durante el segundo semestre, mostrando su peor nivel para el mes de Agosto, con 74,6% de docentes que declaran un uso íntegro, y sus máximos niveles para los meses de Julio y Septiembre, alcanzando para ambos un porcentaje de uso íntegro de 78,5%. 6.5 De la reproducción y descarga de recursos educativos digitales A continuación, se muestra un gráfico que expresa las tendencias de las escuelas partícipes del piloto en reproducción y descarga de los recursos educativos digitales: Gráfico 10: Número de reproducciones vs. número de descargas 1200 1000 800 600 400 200 0 Número de reproducciones vía celular Número de descargas de recursos educativos digitales Fuente: Base de datos servidor NED, funcionamiento 2012 A propósito del comportamiento de las reproducciones y descargas, sobre el uso de recursos educativos digitales desde el banco de estadísticas (servidor de software NED), es posible ver un comportamiento anual en el cual conforme avanzaron los meses las descargas fueron disminuyendo, comenzando con 979 videos descargados en el mes de marzo, para culminar con 133 en el mes de noviembre. Por su parte, las reproducciones si bien fueron disminuyendo en los primeros meses, éstas tendieron a estabilizarse desde el mes de mayo (exceptuando julio 17 producto de vacaciones), fluctuando entre 160 videos reproducidos en el mes de agosto hasta 221 videos en el mes de octubre. Este comportamiento es comprensible, en tanto el banco de recursos educativos digitales se mantuvo estático durante 2012, lo cual implicó que en el inicio del piloto los docentes descargaran la mayor parte de los recursos educativos digitales para contar con ellos en el dispositivo móvil, acción que fue perdiendo importancia mediante avanzaban los meses en la medida que ya contaban con ellos en el equipo celular. Por su parte, las reproducciones muestras mayores niveles en los dos primeros meses en cuanto los docentes se encontraban conociendo los recursos educativos digitales, justificando así que el comportamiento de las reproducciones se tendiera a mantener desde el mes de mayo en adelante. Con lo expuesto, fue posible constatar un promedio mensual de 202 videos reproducidos, por lo que cada profesor reprodujo en promedio 4 videos mensuales. En términos de comportamiento, sólo hay dos meses durante el año de implementación en los que las reproducciones fueron superiores a las descargas, en el mes de Agosto y en el mes de Noviembre. Estas situaciones son interpretables de manera distinta, pues conviene manifestar que durante el mes de Septiembre se realizaron talleres de capacitación en reforzar los conocimientos de manejo del equipo celular, los cuales pudieron tener incidencia para los meses de Septimbre y Octubre en aquellos docentes que, por diversos motivos, no habían podido presentar una integración constante de los recursos digitales. Por su parte, para el mes de Noviembre, tal como se manifestó anteriormente, se interpreta que la mayoría de los dispositivos celulares contaban con los videos guardados en sus memorias, lo cual provoca una disminución previsible de las descargas. A continuación, se presenta un gráfico que muestra el comportamiento de las descargas realizadas, durante los distintos meses del año, por asignaturas: Gráfico 11: Tendencia de descargas anuales por asignatura 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% Ciencias Matemáticas Inglés Fuente: Base de datos servidor NED, funcionamiento 2012 18 Como es posible observar en el Gráfico 11, el comportamiento de descargas por subsector fluctuó considerablemente durante el año, presentando comportamientos disímiles por asignatura. Para el caso de Matemáticas, es posible observar que durante el mes de Marzo se descargaron gran parte de los recursos educativos digitales, aproximadamente el 40% de los descargados durante todo el año, para ir disminuyendo paulatinamente hasta llegar prácticamente a 0% en el mes de Julio. Así, durante el segundo semestre sólo los meses de Septiembre (con un porcentaje próximo al 10%) y el mes de Octubre (próximo al 7%) presentaron descargas significativas del total de recursos descargados para Matemáticas. Para el caso de Ciencias, el mayor mes de descargas fue el mes de Abril, alcanzando porcentajes del 37% del total de videos descargados durante el año escolar. Al igual que en Matemáticas, las descargas fueron descendiendo paulatinamente, alcanzando los niveles más bajos para los meses de Julio-Agosto, y Noviembre-Diciembre, donde solo se descargaron, en cada mes, el 5% de los videos alojados en el servidor. Por su parte, la asignatura de Inglés si bien presentó niveles de descargas altos para los meses de Marzo y Abril, 15% y 28% respectivamente, éste se mantuvo prácticamente constante durante el resto de los meses del año, alcanzando porcentajes de descargas de 10% del total de videos por mes. A continuación, se expone un gráfico que muestra el comportamiento de las reproducciones, especificadas por meses del año, divididas por las asignaturas que participan de Puentes Educativos: Gráfico 12: Tendencia de reproducciones anuales por asignatura 25% 20% 15% 10% 5% 0% Ciencias Matemáticas Inglés Fuente: Base de datos servidor NED, funcionamiento 2012 El gráfico expuesto, contiene los porcentajes de reproducciones por mes, según el total de reproducciones realizadas durante todo el año, divididas por asignaturas. Así, es posible observar que para el caso de Ciencias los meses en que se reprodujeron porcentualmente más videos corresponden a los meses de Marzo y Junio, alcanzando porcentajes próximos al 20% del total de reproducciones. De esta manera, los meses que presentaron menores niveles de reproducciones 19 fue para los meses de Julio y Septiembre, donde solo fueron reproducidos aproximadamente el 5% de los videos reproducidos durante todo el año. No obstante lo anterior, los niveles durante el segundo semestre (exceptuando Septiembre) fueron tendientes al alza para esta asignatura, obteniendo, destacando que para el mes de Diciembre se reprodujeron el 10% de los videos. En lo que respecta a la asignatura de Matemáticas, es posible considerar que los niveles de reproducción más altos los alcanza en los meses de Marzo, Junio y Septiembre, los cuales fluctúan entre un 15% y un 20% de la reproducción total de videos. Así mismo, es en los meses de Julio y Agosto donde presenta niveles de reproducción menores, donde fueron reproducidos menos del 5% del total de reproducciones anuales para ésta asignatura. El caso de la asignatura de Inglés es diferente, puesto que los meses en que se presentaron mayores niveles de reproducción fueron en los meses de Abril y Octubre, marcando un 15% de las reproducciones totales anuales. Cabe destacar, que para esta asignatura el comportamiento de las reproducciones durante el primer semestre tendió a la baja, alcanzando su menor nivel para el mes de Julio, con un 5% de reproducciones. Ahora bien, durante el segundo semestre el comportamiento de las reproducciones fueron superiores, presentando los niveles similares de descargas en los meses de Agosto, Octubre y Noviembre (entre un 10% y un 15%). 6.6 Del mecanismo de reproducción de los videos en el aula Finalmente, conviene recordar que producto de las observaciones en terreno y los contactos telefónicos que se llevaron a cabo durante el año escolar, se hizo patente que un grupo no menor de docentes incorporaba los recursos educativos digitales desde un dispositivo alternativo al equipo celular, para lo cual desde el mes de Julio se integró a los análisis un indicador sobre el modo de reproducción de los recursos educativos provistos por el proyecto, especificando los porcentajes de docentes que incorporan los recursos educativos digitales exclusivamente desde el dispositivo celular. Gráfico 13: Modo de reproducción de los recursos educativos digitales 40% Desde el celular 60% Desde otro dispositivo Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. 20 Un número significativo de docentes que incorporan los recursos educativos digitales lo hacen a través de dispositivos alternativos (computadores) a los entregados por Puentes Educativos, siendo posible constatar que para el mes de julio exclusivamente un 60% de profesores decía incorporar los recursos a través del dispositivo móvil. Este indicador tendió a subir, alcanzando su mayor nivel en el mes de agosto, permitiendo observar que para dicho mes un 68% de docentes decía utilizar el equipo celular para reproducir los recursos audiovisuales. Lo anterior permitió que, finalmente, el promedio anual del porcentaje de docentes que declaraban utilizar el dispositivo móvil para la reproducción de recursos educativos digitales fuese de un 60%, lo que da a entender que 4 de cada 10 docentes que participaron del piloto entre Puentes Educativos y Enlaces incorporaban los recursos educativos desde un dispositivo electrónico alternativo. A propósito de lo anterior, fue posible considerar las principales razones por las cuales los docentes preferirían reproducir los recursos educativos desde dispositivos diferentes al celular, los cuales dicen relación con no saber cómo conectar el celular al proyector, lo incómodo que resultaba ser la utilización del dispositivo para cierto grupo de docentes, y las facilidades que presentaba la manipulación de un computador por ya saber su funcionamiento. De estas descripciones, es posible interpretar que hay procesos de adaptación tecnológica del recurso en las prácticas docentes, en cuanto, independiente del dispositivo, aquellos profesores que han participado del proyecto durante 2012, decidieron integrar los recursos educativos digitales en sus aulas de clase. A propósito de lo anterior, surgieron cuestionamientos sobre si los docentes utilizaban los recursos educativos digitales en niveles y/o asignaturas distintas a las propuestas por el programa, ya que de esta manera se podría inferir un mayor nivel de apropiación en las prácticas de los docentes. En este sentido, se expone el siguiente gráfico, el cual dice del porcentaje de docentes que declara utilizar los recursos educativos digitales en otros niveles a los propuestos por el programa: Gráfico 14: Docentes que declaran utilizar los RED en otros niveles 28.6% Utilizan RED en otros niveles 71.6% Utilizan RED sólo en los niveles propuestos Fuente: Encuesta Monitoreo Profesores Mayo-Noviembre 2012. 21 Como es posible observar en el Gráfico 14, del total de docentes que dicen integrar los recursos educativos digitales en sus establecimientos, el 71,6% de ellos asegura, además, integrarlos en niveles complementarios a los propuestos por Puentes Educativos, lo que equivale a decir que sólo un 28,6% de los docentes utiliza los videos exclusivamente en los niveles de 5º 6º básico. Al preguntarles a los profesores por el motivo de esta situación, el 100% argumentó que, si bien el material era pertinente para los niveles focalizados por el proyecto, también se ajustaba a otros niveles. 7 Principales resultados evaluación Los resultados obtenidos durante los procesos de evaluación externa que se desarrollaron durante la implementación de Puentes Educativos, dicen relación con las modificaciones presentes en torno a la práctica docente de los profesores y profesoras que formaron parte de la iniciativa durante 2012. Así mismo, manifiestan el conocimiento expreso por parte de los directivos y sostenedores que contribuyen al desenvolvimiento del proyecto, para finalizar con la exposición de los resultados de impacto que se vieron en torno al aprendizaje de los alumnos involucrados en el proceso de implementación. En este sentido, se expondrán los resultados organizados en tres aristas: resultados descriptivos, resultados cualitativos y resultados cuantitativos. 7.1 Resultados descriptivos Los resultados descriptivos refieren a aquellos que especifican la información obtenida mediante encuestas a los docentes y directivos, los cuales describen el conocimiento de las distintas dimensiones de Puentes Educativos. De esta manera, los resultados descriptivos pueden comprenderse en tres ejes: Cambios en la práctica docente, conocimiento del proyecto por parte de los directivos, capacitaciones y uso de los recursos provistos por el proyecto. 7.1.1 Resultados en Práctica Docente Los principales resultados sobre el comportamiento de la práctica docente se desprenden, tal como se manifestó inicialmente, a lo observado en los mecanismos de evaluación, pudiendo organizar los hallazgos en tres tópicos: grado de conocimiento del proyecto; valoración de las capacitaciones; y uso de los videos y planificaciones provistas por Puentes Educativos. 7.1.1.1 Grado de conocimiento del proyecto El 63% de los docentes señala conocer bastante o mucho los objetivos y resultados esperados de Puentes Educativos, y solo un 11% de ellos declara conocerlos poco o nada. 22 Gráfico 15: ¿Cuánto conoce de los objetivos y resultados esperados del proyecto Puentes Educativos para su escuela? Nada Poco Regular Bastante Mucho 4% 19% 7% 26% 44% Fuente: Encuesta Profesores (CIDE, 2012). 7.1.1.2 Valoración de las capacitaciones En cuanto a la percepción sobre la calidad de la capacitación impartida por Puentes Educativos, el 86% de los docentes la considera buena o muy buena, mientras un 14% de ellos opina que no fue ni buena ni mala. Gráfico 16: ¿Cuál es su opinión sobre la calidad de la capacitación recibida? Ni buena ni mala Buena Muy buena 14% 36% 50% Fuente: Encuesta Profesores (CIDE, 2012). En relación al impacto de la capacitación en diversos aspectos del quehacer de los docentes el 81% de los profesores está de acuerdo o muy de acuerdo con que la capacitación le ha ayudado a fortalecer sus habilidades tecnológicas. Por otra parte, un 79% de los profesores está de acuerdo o muy de acuerdo con que la capacitación le ha ayudado a fortalecer sus competencias disciplinares. Si bien estos porcentajes son similares, debe hacerse notar que el porcentaje de docentes que señala estar muy de acuerdo con los beneficios de la capacitación es mayor en el caso de las habilidades tecnológicas. 23 Gráfico 17: Grado de acuerdo con afirmaciones relativas a la capacitación Muy en desacuerdo En desacuerdo Ni de acuerdo ni en desacuerdo La capacitación recibida por el Proyecto Puentes me ha ayudado a fortalecer mis habilidades tecnológicas 11.6 2.3 4.7 La capacitación recibida por el Proyecto Puentes me ha ayudado a fortalecer mis competencias disciplinares 11.6 7.0 2.3 De acuerdo 51.2 Muy de acuerdo 30.2 60.5 18.6 Fuente: Encuesta Profesores (CIDE, 2012). En cuanto al nivel de manejo de las herramientas que entrega el proyecto que declaran los docentes, el mejor nivel de manejo se da en apoyo para descargar y reproducir videos educativos. El resto presenta niveles similares de manejo alto o muy alto. Gráfico 18: Nivel de manejo de herramientas del proyecto Muy bajo Bajo Ni bajo ni alto Planificación que acompaña a los videos 2.1 Soporte para poner el video en la clase (data show,… 4.1 Celular para reproducir videos 6.4 Celular para descargar videos 2.1 Alto Muy alto 29.2 20.4 25.5 29.2 39.6 34.7 34.0 31.3 29.2 40.8 34.0 37.5 Fuente: Encuesta Profesores (CIDE, 2012). 7.1.1.3 Uso de los videos y planificación provista por el Proyecto Respecto de la utilización en clases de los videos y las planificaciones entregados por el proyecto es posible ver que lo que más se utiliza son los videos. De cualquier manera, el uso tanto de videos como de planificaciones en todas o casi todas las clases bordea el 40%, mientras que un 43% señala usar las planificaciones en algunas clases, situación que aumenta al 55% en el caso de los videos. 24 Gráfico 19: Frecuencia con la que se usan las herramientas del proyecto En ninguna En muy pocas En algunas Frecuencia con que utiliza en las clases de la asignatura en la que fue capacitado: Las planificaciones de clases entregadas por el Proyecto Puentes Educativos 4.3 Frecuencia con que utiliza en las clases de la asignatura en la que fue capacitado: Los videos provistos por el Proyecto Puentes Educativos 4.3 Casi en todas 14.9 En todas 42.6 55.3 27.7 10.6 31.9 8.5 Fuente: Encuesta Profesores (CIDE, 2012). 7.1.2 Resultados en Directivos Los principales hallazgos a partir de la encuesta de evaluación externa fueron posibles de agrupar en dos lineamientos: Sobre el grado de conocimiento del proyecto y sobre la apreciación del proyecto y sus efectos. 7.1.2.1 Grado de conocimiento del proyecto En relación al grado de conocimiento sobre los objetivos y resultados esperados del proyecto Puentes Educativos, los directores de las escuelas en que se implementó el proyecto declaran conocer estos aspectos bastante o mucho en un 64%. Sin embargo, un 14% de ellos señala que no sabe o no responde esta pregunta. Gráfico 20: ¿Cuánto conoce de los objetivos y resultados esperados del proyecto Puentes Educativos para su escuela? Regular Bastante 14% Mucho NS/NR 22% 7% 57% Fuente: Encuesta Directores 25 7.1.2.2 Apreciaciones sobre el proyecto y sus efectos Al abordar la apreciación de los directores en relación a variados aspectos del proyecto es posible afirmar que más de la mitad de ellos está muy de acuerdo con afirmaciones relativas a su propia gestión respecto de la generación de condiciones para una buena implementación del proyecto en las escuelas. En segundo lugar, se encuentra la fuerte adhesión de la mitad de los directores respecto de afirmaciones relativas al impacto de Puentes Educativos en las capacidades tecnológicas de docentes y alumnos. En tercer lugar, se puede identificar un 43% de directores que señalan estar muy de acuerdo con frases relativas al efecto del proyecto en alumnos en términos de su motivación y aprendizaje de contenidos. En cuarto y último lugar se puede determinar un porcentaje de casi un 30% de directores muy de acuerdo con el impacto de la capacitación en las competencias disciplinares de los docentes y la mejora de la disciplina y el comportamiento de los alumnos a través del uso de videos, siendo este último tema el que presenta menos adhesión entre los directores. 7.2 Resultados cualitativos: observaciones de aula y entrevistas A continuación se sintetizan los hallazgos principales y resultados cualitativos que pueden deducirse de la aplicación y comparación de las observaciones de aula realizadas en conjunto entre Enlaces y Puentes Educativos desarrolladas en dos momentos, al inicio y al término del año escolar 2012, los resultados de las entrevistas grupales realizadas a los estudiantes y los resultados de las entrevistas realizadas a los directivos y sostenedores de los establecimientos. 7.2.1 Observaciones de aula Los resultados de la totalidad de observaciones realizadas serán reportados una vez que concluya el proceso de análisis de información que en conjunto desarrollan Enlaces y Puentes Educativos. Por lo mismo, es importante consignar que en este apartado figura solo la información relativa a la contrastación de las observaciones pre y post de las clases de los docentes de 5 escuelas. A saber, 1) 2) 3) 4) 5) Ciencias: Escuela Panguilemo, Talca. Matemáticas: Escuela Esperanza, Talca. Matemáticas: Escuela Aytué, Castro. Ciencias: Escuela Cañitas, Los Muermos. Matemáticas: Escuela Padre Hurtado, Castro. 26 A diferencia de las observaciones iniciales, en la segunda aplicación de observaciones de aula, la mayoría de los docentes se preocupa de registrar en el pizarrón y/o anunciar el objetivo de la clase. En general, los docentes en el segundo momento tendieron a desarrollar dinámicas de preguntas y respuestas para la activación de aprendizajes previos, seguidas inmediatamente de la presentación del video correspondiente de Puentes Educativos, de acuerdo a la planificación de clase propuesta por el programa para el contenido tratado. También se observan casos en que la exposición del video antecedió la dinámica de preguntas y respuestas. En tal sentido, es importante mencionar que la presentación del video de Puentes Educativos fue, la mayoría de las veces, considerada como una actividad de motivación (inicio), aun cuando la planificación pudiera considerar la inclusión del video al desarrollo o cierre de la clase. Lo anterior, es indicador del hecho de que los docentes que aplican las planificaciones de clase, lo hacen en la mayoría de los casos, adaptándolas a su contexto y necesidades. Las observaciones iniciales y las aplicadas al cierre del año escolar sugieren que los docentes que llevaron a cabo más de 3 actividades durante la clase lograron captar mayor atención y motivación de los niños en el aula que aquellos profesores que desarrollaron 3 o menos actividades. Esto podría estar relacionado a lo planteado por el docente de matemáticas de la Escuela Esperanza de Talca, que en la entrevista posterior a la segunda observación señaló que el bajo nivel progreso alcanzado por los estudiantes en la clase impedía realizar todas las actividades dispuestas en la planificación. Sin embargo, debe tenerse presente que la posibilidad de avanzar más durante la clase depende también de la forma en que el docente plantee el desarrollo de la misma y su manejo didáctico en el aula. Caso antagónico a este profesor, es el de la docente de ciencias de la Escuela Cañitas de Los Muermos, quien - apoyada en la planificación de Puentes Educativos complementa las actividades sugeridas en ésta con otras actividades planteadas por la propia educadora. Así, la docente logra en una misma clase poner en práctica diferentes metodologías plasmadas en la diversidad de actividades desarrolladas, de modo que los estudiantes alcancen el objetivo de aprendizaje planteado, a través de diversas vías. Asimismo, aquellos docentes cuya didáctica estuvo en consonancia con la estrategia pedagógica de Puentes Educativos, contextualizando el aprendizaje con la vida cotidiana, lograron captar mejor atención de los estudiantes y avanzar más en la clase. Este fue el caso de los docentes de las escuelas Cañitas y Panguilemo de Talca. La situación inversa fue la ocurrida en el caso de los docentes de matemáticas de los establecimientos Esperanza y Padre Hurtado de la comuna de Castro. Ambos docentes mostraron problemas de pertinencia entre las instrucciones impartidas a los estudiantes y las tareas concretas asignadas a éstos, tanto en relación al carácter colectivo/individual de la actividad, como en la comprensión de las posibilidades reales de los estudiantes de llevar 27 a determinadas tareas tomando en cuenta los niveles de aprendizaje alcanzados al momento de la observación. La actitud general de los estudiantes hacia el aprendizaje estuvo relacionada en ambos momentos de observación con sus modos de comportamiento y convivencia habitual. Es importante consignar que en las escuelas rurales Panguilemo y Cañitas la disposición de los estudiantes fue mejor que en las escuelas urbanas observadas. Con todo, la presencia de un observador incidió en un comportamiento más ordenado de los cursos al inicio de la clase, lo que fue diluyéndose y normalizándose con el correr de los minutos. Situación similar es la que ocurre en todos los casos de las segundas observaciones, tanto durante como minutos después de la presentación del video educativo. Es decir, el video al generar mayor atención por parte de los alumnos logra mejorar la disposición al aprendizaje de éstos. Los docentes que llevaron a cabo dinámicas asociadas al video tras la observación de éste, lograron extender el tiempo de alta atención de los alumnos, como fue el caso de las escuelas Panguilemo y Aytué. Es importante advertir que para los casos observados, la disposición de los bancos de aula no tuvo efecto sobre la actitud de los estudiantes, lo que vendría a indicar que el hecho de que los estudiantes se sienten y ubiquen en la sala de una determinada manera no influye en el efecto logrado en el aula. Esto más bien podría incidir dependiendo si las actividades a realizar en clase requieren trabajo colectivo (sentarse en grupo) o individual (disposición tradicional). Los videos educativos resultaron en todos los casos ser recursos que capturaron gran atención de los estudiantes. Si bien no es posible establecer que los contenidos expuestos en los videos fueron efectivamente comprendidos, la actitud de los estudiantes durante la presentación de videos indicaría que el entusiasmo y la disposición al aprendizaje aumentan en relación al momento de exposición del docente. Este es, sin lugar a dudas, un aspecto que marca la diferencia entre el primer y el segundo momento de observación de aula. Con todo, la posibilidad de profundizar y aprovechar los abordajes planteados en los videos depende también del interés del docente por realizar una clase sistemática que contemple dinámicas post-videos, tal como sugieren las planificaciones de clase. En definitiva, la centralidad del proceso de enseñanza en la estrategia pedagógica de Puentes Educativos está en la planificación periódica y ordenada de las clases, entendiendo que el video es un recurso complementario. En tal sentido, la profesora de ciencias de la Escuela Cañitas muestra un manejo didáctico y un uso de metodologías de enseñanza en plena concordancia con la estrategia pedagógica del proyecto. 28 7.2.2 Entrevistas grupales a alumnos En relación a los recursos educativos provistos por Puentes Educativos los estudiantes manifiestan que “vemos videos en inglés, en matemáticas y en naturaleza”. Los estudiantes valoran el carácter lúdico de los videos: “Porque son entretenidos algunos” (Niño, Escuela Teresa de Los Andes, Castro). Asimismo, se valora el carácter complementario del video en relación a la exposición del docente: “Nos enseña más” (Niña, Escuela Teresa de Los Andes Castro). “Nos da como una ayuda más” (Niño, Escuela Teresa de Los Andes Castro). En términos generales, todos los estudiantes señalaron que los videos de Puentes Educativos les ayudan a comprender mejor ciertas materias, identificando claramente que son un complemento al trabajo del profesor, ya que como muy bien aclaran: “vemos canciones también, más que nada son canciones, porque lo otro es materia que la tía sabe” ” (Niño, Escuela Teresa de Los Andes, Castro). Dado que la valoración general es positiva, los alumnos consideran deseable disponer de más videos, no tan sólo para estas asignaturas sino que para la mayoría de las que cursan. Por otra parte, en 5° básico en la Escuela Teresa de Los Andes, los alumnos relevan que es en matemáticas donde ven más videos de Puentes Educativos. Por su parte, los estudiantes de 6° básico señalan que es la asignatura donde ven videos “casi todos los días” (Niño, Escuela Teresa de Los Andes, Castro). En el caso de las niñas de la Escuela Balmaceda de Talca, las niñas de 5º y 6° básico declaran haber visto videos del programa principalmente en matemáticas, pero una de ellas agrega que estos recursos ayudan a comprender mejor los contenidos “sobre todo en inglés”. Es interesante consignar que las alumnas de esta escuela mostraron gran interés porque el uso de los videos esté relacionado con una tendencia a aplicar más las TIC en el establecimiento, resaltando también el carácter lúdico de la tecnología. En tal sentido, una estudiante de 6° básico señala que “ahora todo el mundo ocupa así IPhone, notebook, y antes no. Ahora con la tecnología es más divertido, así que uno se maneja más, la gente de ahora” (Niña, Escuela Balmaceda, Talca). Una compañera de curso de esta estudiante recalca, además de la entretención, el apoyo que brinda la tecnología en el proceso de enseñanza: 29 “Es que con la tecnología es más entretenido, así que igual uno entiende más po”. (Niña, Escuela Balmaceda, Talca). 7.2.3 Entrevistas grupales a directivos y sostenedores Directivos Por su parte, los principales hallazgos tras la aplicación de entrevistas grupales a directivos y docente coordinadores de Puentes Educativos en establecimientos (Evaluación Interna) se pudieron concentrar en tres grupos: Sobre el uso del recurso y tecnología en el aula, sobre las capacitaciones y, por último, sobre las planificaciones de clases. A propósito del recurso y tecnología en el aula, existe una valoración positiva del proyecto en general por parte de los directivos de las escuelas en relación al aporte que brinda el proyecto desde el punto de vista de la incorporación de TIC en aula. Al respecto, una Jefe de UTP de la comuna de Castro, advierte la utilidad que ha tenido la tecnología en la enseñanza de las ciencias al interior de su establecimiento: “Los profesores de ciencias no usaban TIC para nada. No existían las TIC (…) en el aula y con Puentes Educativos realmente las han usado. Yo creo que el (…) celular es una autonomía tremenda para el profesor, porque tiene conexión a internet, aparte que no sólo usa los videos sino que usa otros videos que están en internet. Entonces realmente (…) ha tenido un buen impacto en el profesor, un cambio en su metodología”. Esta es plenamente compartida por otra jefe técnico de la comuna, quien – de todas maneras establece matices entre el uso del recurso que dan los docentes al interior de su establecimiento: “En ciencias (…) el profesor (…) antes no usaba las TICs, no las usaba, no había caso que las use. Y con esto sí yo le he visto mucho sus clases, que le sirven mucho. Dice que (las usa) para el inicio de la clase, la motivación, o para cuando ya termina una unidad. Lo usa como una retroalimentación al final de sus unidades. En el caso de matemáticas ha estado más lento, ya en el caso de la profesora de matemáticas ha sido un poco más lento el uso de los videos. Sí ha ido mejorando (…) ahora el compromiso es que lo va a usar más, pero siento que ha sido, que ha tenido un buen impacto en las dos asignaturas sobre todo en Ingles y Ciencias Naturales”. (Jefa de UTP, Escuela Urbana, Castro). La capacitación de Puentes Educativos marca un punto de inflexión importante a la hora de evaluar aspectos tales como motivación de los profesores, la incorporación de los recursos educativos y la estrategia pedagógica del proyecto. Así, en la medida que un establecimiento decide por su propia cuenta participar de esta iniciativa, y no por indicación del departamento o corporación de educación respectiva, las posibilidades de que el proyecto tenga éxito serían 30 mayores. En tal sentido, un director de escuela de la comuna de Talca releva la importancia de que haya sido la comunidad educativa del establecimiento la que haya decidido participar de la capacitación y del proyecto en general: “Partimos esto en un Consejo de Profesores. Yo les (pregunté) a los profesores de las asignaturas qué opinaban ellos de la participación del proyecto (…) a todos los profesores de las tres asignaturas y ellos dijeron que sí. Entonces yo dije ‘ya, perfecto, nos embarcamos’. Yo les di a conocer así en general el proyecto, y desde esa perspectiva yo creo ellos que iban comprometidos a la capacitación porque para ellos, entre comillas, fue voluntario. Yo creo que todos encontramos lo que era el beneficio para la escuela y los asumimos (…). Creo que la capacitación orientó, ayudó a que los profesores se incorporaran en el proyecto”. (Director, Escuela Urbana, Talca). En una perspectiva similar, una jefe técnico de escuela urbana de la comuna de Talca, que junto con expresar la satisfacción de los docentes de su establecimiento tras la capacitación, señala lo que fueron los temores y preocupaciones iniciales de los profesores para poder aplicar el proyecto en el aula, y cómo dichos temores se fueron diluyendo con el tiempo. “Allá los profesores nos dijeron que la capacitación les había servido porque era una (buena) herramienta, y la van a utilizar después para trabajar en el aula, y como les digo, por supuesto que venían con el desafío de usar el aparatito, el celular, porque era primera vez que nosotros teníamos este tipo de programa. Pero hay un colega que se maneja bastante en lo computacional y él les dio, dijéramos, tranquilidad al resto. Allá en la escuela los videos se bajaron porque (…) hay problemas de conexión, y quedó en signo de pregunta. Pero después en la realidad, se vio que la capacitación sirvió. (Jefa de UTP, escuela urbana, Talca). Con respecto a las planificaciones de clases, conviene decir que es uno de los aspectos en que más se reconoce el apoyo de Puentes Educativos al interior de las aulas, aun cuando es también un recurso que – por su naturaleza – es más resistido de probar y utilizar. Al respecto, una jefa de UTP de escuela urbana de Castro relata el caso de un docente que originalmente no era proclive al uso de planificaciones, y que posteriormente terminó valorando y utilizando este recurso: “En Ciencias Naturales el profesor (…) es bastante crítico. Por ejemplo, en el primer semestre (con) las planificaciones encontraba que (eran) un poco bajo el nivel. Justo (hace unos días) me tocó ir a cuidar el curso de (él), porque él tenía un perfeccionamiento, y dejó toda la planificación. Me la entregó la inspectora, cuando veo (que es de) Puente Educativos y todos los niños habían llevado sus materiales para hacer experimentos. Entonces, (permiten) autonomía, y el profesor había fotocopiado la guía donde sale paso a paso tres tipos de experimentos, y resulta que los niños tenían sus grupos formados todos 31 con sus globos, sus materiales con el papel aluminio que necesitaban el hilo para colgar los globos para ver tipos de energía. Los niños desarrollaron el trabajo sumamente bien. Entonces yo le dije después al profesor ‘oye, pero me dejaste un experimento…’. (Y me dijo) pero, ¿cómo trabajaron Blanca?, ¿trabajaron bien?’ Desarrollaron la guía. Entonces el cerró a la siguiente clase y resultó súper bien. Él me decía que las guías son muy prácticas y motivadoras, permiten la autonomía de los niños en ciencias (…). Y cuando tú te detienes a buscar lo que es pertinente al objetivo de aprendizaje (…), tú encuentras realmente que esto es bueno. (…) Él le ha sacado el sombrero a todo lo que es Química y Física, y le ha servido mucho en 6º básico en este semestre. Sostenedores En general, por parte de los sostenedores entrevistados, se apreció un conocimiento poco profundo del proyecto. Así, por ejemplo, en el caso de Castro, un directivo de Corporación señala no tener mayores referencias respecto del trabajo con planificaciones de clase. Asimismo, en el caso de Talca por parte de la Unidad Técnica del Departamento de Administración de la Educación Municipal (DAEM) se identifica a Puentes Educativos como un proyecto que se aplica en los subsectores de “ciencias, matemáticas y lenguaje”, mencionando erróneamente esta última asignatura en lugar de inglés, sector en el que sí se implemente el proyecto. Este problema representa un evidente desafío para Puentes Educativos, cual es el de lograr que en las unidades de educación municipal respectivas, el rol de instancias en el proyecto no quede supeditado únicamente a funciones administrativas, sino que exista un mayor involucramiento respecto de sus alcances en el proceso de enseñanza-aprendizaje y su aporte a las comunidades educativas. Básicamente, son dos las temáticas sobre las que los representantes de sostenedores evidencian un buen manejo de la información relativa al proyecto. A saber, 1) el funcionamiento de las capacitaciones (talleres) previas a la aplicación de Puentes Educativos en el aula, y 2) el monitoreo desarrollado por el equipo del proyecto, tendiente a supervisar y retroalimentar la correcta implementación del mismo en las escuelas. Sobre las capacitaciones, existe una valoración positiva del trabajo desarrollado por el equipo guía y el equipo de docentes que llevaron adelante los talleres de Puentes Educativos durante enero de 2012. Se rescata principalmente la motivación y el interés que mostraron los docentes, y que habría expresado tras las capacitaciones a los propios sostenedores: “Siempre que hay una capacitación o perfeccionamiento, hay dos elementos que uno tiene que enjuiciar o evaluar. Uno es la parte ejecutora, Puentes Educativos, y la otra son la parte receptora, nuestros profesores. La parte de ejecución, y en el planteamiento de este perfeccionamiento, encontré que estuvo no bueno, muy bueno. Eso uno lo ve reflejado en la respuesta de los propios profesores una vez terminadas las capacitaciones. Hubo una armonía muy interesante, una articulación muy atractiva entre Puentes Educativos y 32 nuestros docentes. Entiendo que la gran mayoría de los docentes convocados asistieron, no recuerdo cifras. Nos llamó poderosamente la atención que en esa fecha hayan asistido y hayan estado ahí de cuerpo y alma. Y los testimonios de ellos, a mí me lo hicieron saber en su momento. Eso me indica que la capacitación fue francamente interesante, motivadora. Y entiendo, que eso se ha visto reflejado durante el año”. (Funcionario del área de educación de la Corporación Municipal de Castro). La percepción anterior, se ve refrendada por parte de la Unidad Técnica del DAEM de Talca, quien manifiesta además el interés por parte de los docentes de que lleven a cabo nuevas capacitaciones en el corto plazo: “Les gustó, los de la Esperanza estaban fascinados. Es que son escuelas súper especiales, la Carol Salinas también, se acuerdan muy bien de las capacitaciones. Es que hay escuelas que les gusta el programa. En general, diría que lo relacionaron muy bien y que les sirvió de mucho apoyo. Por eso pregunto si van a haber más capacitaciones, porque la gente lo pide, y uno no va a pelear algo que no le agradó”. El monitoreo desarrollado por el equipo de Puentes Educativos es un aspecto comentado por diferentes actores de las comunidades educativas, involucrados en la aplicación del proyecto en las escuelas y aulas. En las entrevistas, destaca la valoración que el representante del sostenedor en la comuna de Castro realiza acerca de la función del monitoreo, y cómo ésta permite que la intervención se lleve a cabo conforme a los objetivos que ésta se plantea: “Lo que yo siento de lo que (los profesores) nos comentaron es que no habían visto un proyecto tan riguroso en el control. Y están encima, encima, y nuestros profesores, francamente, no están acostumbrados a eso. Pero eso no significa que los incomode, al menos lo que me han hecho saber. Lo que respecta a nosotros, opinamos similar, porque vemos constantemente que (en Puentes Educativos) están muy preocupados en nuestra comuna de cómo están funcionando las escuelas y muy preocupados de las que no funcionan, porque no todo es miel sobre hojuelas. Saben que tenemos algunos nudos críticos que nos preocupan hoy día. Pero en general bien, de parte de los profesores y nuestra, vemos bien la forma de monitoreo, cómo se ha hecho el tema de control de este proyecto” (Funcionario del área de educación de la Corporación Municipal de Castro). 33 7.3 Resultados cuantitativos: Valor Agregado en Estudiantes Los resultados por estudiantes se organizan a partir de dos fuentes: los resultados obtenidos a partir del estudio de Valor Agregado aplicado por el CIDE (evaluación externa) y la información obtenida a partir de las entrevistas grupales realizadas (evaluación interna). En este apartado nos focalizaremos en la evaluación de impacto sobre los aprendizajes de los estudiantes. Daremos cuenta de los impactos de Puentes Educativos al rendimiento de Matemática, Ciencias Naturales e Inglés, en los dos grados implicados (5° y 6°), así como la incidencia del uso de las planificaciones de clases provistas por dicho proyecto por parte de los docentes. Más específicamente, se hacen comparaciones por medio de box-plots, los que permiten tener una mirada global de la dispersión de los indicadores de valor agregado para cada uno de los grupos bajo comparación. En lo que sigue, se comparan los indicadores de valor agregado. Se hacen dos tipos de comparaciones: 1) Se comparan los indicadores de valor agregado del grupo de cursos de establecimientos pertenecientes al grupo control, con los indicadores de valor agregado de los cursos de establecimientos pertenecientes al grupo bajo tratamiento. El objetivo de esta comparación es obtener evidencia acerca del impacto de Puentes Educativos sobre el grupo tratamiento, en contraste con el grupo control. 2) Puesto que los modelos de valor agregado solo permiten identificar cursos y/o establecimientos efectivos, pero no permite explicar a qué puede deberse tal (in) efectividad, hemos utilizado la información complementaria recogida en los cuestionarios de profesores, a fin de relacionar la efectividad de los cursos de establecimientos bajo tratamiento con alguna característica observable de los profesores. Como se mencionó anteriormente, la única característica de profesores que presenta variabilidad es la que dice relación con la frecuencia de uso de las planificaciones de clases facilitadas por Puentes Educativos. A modo de mejor comprensión de los análisis realizados, recordemos los elementos básicos de un box-plot, los cuales permitirán comprender las interpretaciones que se proporcionan en los siguientes apartados: 1) La escala de indicadores de valor agregado está centrada en cero. La misma está consignada en el eje vertical de las figuras. 2) Como se aprecia en la Figura 0, el box-plot resume las medidas de tendencia central de un conjunto de datos. Estas medidas son cinco: a. El valor mínimo de los datos. 34 b. El primer cuartil (es decir, que hasta dicho valor, se encuentra el 25% de los datos). c. La mediana (es decir, hasta dicho valor, se encuentra el 50% de los datos). d. El tercer cuartil (es decir, hasta dicho valor, se encuentra el 75% de los datos). e. El máximo valor de los datos. Ejemplo Box-Plot Como puede apreciarse, el 50% de los datos está en la caja. Si los datos están muy concentrados, la caja será muy achatada. En este caso, hablaremos de “valores agregados homogéneos” o “efectividades homogéneas”. Si, por el contrario, hay dispersión de los datos, la caja aparecerá más ancha. En este caso, hablaremos de “valores agregados heterogéneos” o “efectividades heterogéneas”. 35 Siguiendo la estructura anterior, se recorre primero lo acontecido en Matemática, Ciencias Naturales y finalmente Inglés. 7.3.1 Matemáticas 5°básico Si se comparan los indicadores de valor agregado entre los cursos bajo tratamiento y los del grupo control no observamos diferencias, como se aprecia en la Gráfico 21. Gráfico 21: Valor agregado, Matemática 5° Básico En resumen, si se compara el grupo de cursos bajo tratamiento con el grupo control, no hay diferencias en términos de efectividad para la asignatura de Matemática en 5to básico. 7.3.2 Matemáticas 6° básico Si se comparan los indicadores de valor agregado entre los cursos bajo tratamiento y los del grupo control se observa que la mediana de efectividad del grupo de tratamiento es mayor que la del grupo de control, como se aprecia en la Gráfico 22. Además, hay un grupo de cursos bajo tratamiento cuya efectividad es mayor que la de todo el grupo de control. 36 Gráfico 22: Valor agregado, Matemática 6° Básico Ahora bien, si se compara el grupo de cursos bajo tratamiento con el grupo control, no hay diferencias significativas en términos de efectividad. Por otra parte, al efectuar la medición del valor agregado en relación al nivel de uso de las planificaciones de clase de los profesores de 5º y 6º de las escuelas tratamiento en matemáticas, tampoco se advirtieron diferencias significativas (Veáse gráficos 1 y 2 de Anexos). 7.3.3 Ciencias Naturales 5° Básico Si se comparan los indicadores de valor agregado entre los cursos bajo tratamiento y los del grupo control (Gráfico 23) no se observan diferencias en términos de efectividad. Este no era el caso cuando la comparación se hacía a nivel de establecimiento educacional, lo que sugiere que el posible efecto de Puentes Educativos es a nivel de colegio más que de curso. 37 Gráfico 23: Valor agregado, Ciencias Naturales 5° Básico Gráfico 24: Comparación del Valor agregado, según frecuencia uso planificación. Ciencias Naturales 5° básico En resumen, a nivel de curso no se observan diferencias de efectividad entre el grupo tratamiento y el grupo de control. Sin embargo, se observa que un subgrupo de cursos asociados a docentes que afirman usar casi todas las clases o más las planificaciones de Puentes Educativos, es bastante más efectivo que el grupo de cursos asociados a docentes que los usan algunas veces o menos. Esto podría ayudar a explicar por qué al hacer la comparación a nivel de curso, se encuentra mayor heterogeneidad en el grupo de tratamiento. En otras palabras, el uso de las planificaciones de Puentes Educativos podría explicar la heterogeneidad de efectividad observada a nivel de establecimiento educacional. Esto significa que si el estudio se replicase, sería relevante observar el uso de dichas planificaciones en ciencias naturales. 38 7.3.4 Ciencias Naturales 6° básico Si se comparan los indicadores de valor agregado entre los cursos bajo tratamiento y los del grupo control se observan diferencias en términos de efectividad en el sentido que hay un subgrupo de cursos del grupo bajo tratamiento que tiene efectividades mayores que el grupo de control. Este resultado es coherente con el hallado a nivel de establecimiento educacional. Las imágenes a continuación comparan la efectividad de los cursos del grupo control y del grupo tratamiento. Al haber diferencias en favor del grupo tratamiento, se puede sugerir que existe impacto del programa Puentes Educativos en el rendimiento en ciencias naturales de los estudiantes de 6° (Gráfico 25). Gráfico 25: Valor agregado, Ciencias Naturales 6° Básico En resumen, los hallazgos reportados a nivel de establecimiento educacional se confirman a nivel de curso. En efecto, los hallazgos a nivel de escuelas, muestran que el aporte de las escuelas que implementaron el Proyecto Puentes Educativos al rendimiento en Ciencias en ambos grados, después de controlar por el rendimiento previo (pre-test), es positivo para la mayoría de las escuelas (cuando se comparan con las escuelas control). En otras palabras, el análisis de valor agregado muestra que el rendimiento alcanzado en ciencias por los estudiantes de escuelas tratamiento, es mayor que el esperado al considerar sólo su rendimiento previo. Esto implica, por una parte, que es posible encontrar escuelas donde se implementa Puentes Educativos que contribuyen positivamente al logro obtenido y, que las escuelas que implementaron el Proyecto Puentes Educativos tienden a agregar valor de manera diferente. 39 Asimismo, se advierte que en este nivel de aprendizaje en el caso de ciencias la frecuencia de uso de planificaciones por parte de los docentes no ejerce influencia significativa sobre el valor agregado (Ver gráfico 3 de Anexos). 7.3.5 Inglés 5° básico Si se comparan los indicadores de valor agregado entre los cursos bajo tratamiento y los del grupo control se observan diferencias en términos de efectividad en el sentido que los cursos bajo tratamiento tienden a ser más efectivos que los cursos bajo control; ver Gráfico 26. Gráfico 26: Valor agregado, Inglés 5° Básico En relación a la frecuencia de uso de planificaciones de clase de Inglés para 5º Básico, es posible advertir que no existe incidencia positiva de este factor en la medición de valor agregado (Véase gráfico 4 de Anexos). 7.3.6 Inglés 6° básico Por su parte, el Gráfico 27 refleja la comparación de la efectividad de la frecuencia del uso de las planificaciones de Puentes Educativos, en el rendimiento en inglés de los estudiantes de 6° de los cursos bajo tratamiento 40 Gráfico 27: Valor agregado, Inglés 6° Básico Gráfico 28: Comparación del Valor agregado, según frecuencia uso planificación. Inglés 6° básico En resumen, los cursos del grupo de tratamiento aparecen como más efectivos que los del grupo de control. En el grupo bajo tratamiento, se aprecia que algunos cursos asociados a docentes que usan las planificaciones de Puentes Educativos son más efectivos que los cursos asociados a docentes que lo usan con baja frecuencia. 41 8 Conclusiones y recomendaciones 8.1 Principales conclusions A la luz de lo trabajado durante este Informe de Resultados, ha sido posible observar cuáles han sido los principales logros y obstáculos que ha obtenido la implementación conjunta de Puentes Educativos y Enlaces, especificando tanto las observaciones hechas a partir de lo obtenido por los procesos de seguimiento y monitoreo, como aquellos provenientes de los procesos de evaluación interna y externa. Siendo así, las principales conclusiones son las siguientes: - - - - - - Los recursos educativos digitales fueron ampliamente incorporados por los docentes que participaron de Puentes Educativos, no obstante hay docentes que les fue incómodo el dispositivo móvil, por lo cual incorporaron los recursos desde dispositivos alternativos (computadores, televisores, etc.) Dentro de los docentes que utilizaron los recursos educativos digitales, destaca la asignatura de Ciencias como aquella que porcentualmente presentó mayor cobertura, seguida por Matemáticas y luego por Inglés. El uso de Internet móvil desde el dispositivo celular presentó niveles moderados de incorporación, lo cual se explica, fundamentalmente, por problemas con la señal de celular y con la existencia de redes wifi en los establecimientos. Sin embargo, se pudo constatar que quienes utilizaron este recurso, lo hicieron principalmente para dar refuerzo o complemento a estudiantes en actividades de investigación, y para apoyar el proceso de planificación de clases. Así mismo, las planificaciones elaboradas por el proyecto mostraron una alta aceptación, siendo constantemente utilizadas por sobre el 85% de los docentes. Por asignatura, fue posible observar que Ciencias fue la que obtuvo porcentajes más altos de incorporación, seguida por Matemáticas y luego por Inglés. Por lo anterior, fue posible considerar que la asignatura de Ciencias fue la que presentó los mayores niveles de cobertura de los recursos de Puentes Educativos, seguida por Matemáticas y luego por Inglés. Con respecto a la evaluación de impacto, fue posible constatar que hubo resultados significativos para las asignaturas de Ciencias. Si bien las comparaciones entre los grupos control y tratamiento no mostraron diferencias significativas, un subgrupo de los docentes que declaró utilizar las planificaciones de clases todas o casi todas las clases presentó mayor efectividad que aquellos que declararon usarlas algunas veces o menos, lo que permitió establecer que, además de la incorporación de los recursos educativos digitales, el uso de planificaciones de clases marcó la diferencia para lograr impacto del proyecto Puentes Educativos en los establecimientos. 42 - - - Por su parte, la evaluación de impactó mostró que para la asignatura de Matemáticas fue posible evidenciar que la mediana de valor agregado de las escuelas tratamiento es mayor que las de los establecimiento control, sin embargo, no es posible establecer que hayan diferencias significativas en términos de efectividad. Con respecto a la evaluación de impacto asociada a la asignatura de Inglés, fue posible constatar que los cursos vinculados a las escuelas tratamiento presentaron mejores resultados que los de las escuelas control, dentro de lo cual conviene manifestar que, entre los docentes que participaron de Puentes Educativos, hubo diferencias entre aquellos que declaraban integrar las planificaciones del proyecto, obteniendo mejores resultados que aquellos que decían integrarlas poco o nada. Con respecto a los directivos, se presentaron diferencias importantes entre aquellos que conocían el funcionamiento del proyecto dentro del establecimiento y aquellos poco involucrados. Las escuelas que presentaron equipos directivos que se hicieron responsables de la implementación de Puentes Educativos, apoyando su desarrollo con equipos coordinadores encargados tanto de la instalación tecnológica del aula como del apoyo en la solución de problemas, tuvieron procesos de aplicación menos conflictivos y con mayores niveles de cobertura. 8.2 Principales Recomendaciones A partir tanto de la implementación como de la evaluación de Puentes Educativos fue posible establecer una serie de recomendaciones para las distintas dimensiones del proyecto. Respecto del monitoreo y acompañamiento: - Producto de los resultados obtenidos mediante la aplicación de los instrumentos de monitoreo, fue posible considerar que las llamadas telefónicas a docentes si bien permitían contar con un vínculo más cercano entre los docentes participantes y el equipo de Puentes Educativos, implicaban dificultades en tanto algunos docentes manifestaban su incomodidad por interrumpir las clases, otros por llamarlos luego del horario laboral y otros simplemente no contestaban, además de los recurrentes cambios de número que se experimentaban durante el año. En este sentido, se sugiere monitorear mensualmente via web a los docentes mediante aplicación de encuesta online, lo cual obligaría mantener actualizada la listas de correos correctos, pero que le daría la libertad al docente de responder cuando menos le incomode; - Se sugiere incorporar monitoreo a los jefes de la unidad técnico pedagógica, quienes más que responder una encuesta debieran estar a cargo de mantener el registro online de las actividades del establecimiento vinculadas a Puentes Educativos; 43 - - Como estrategia de seguimiento y mejora se sugiere un acompañamiento del docente en su aula, en el cual de manera anual o semestral un especialista observe su clase y retroalimente al docente respecto de la incorporación de TIC10. Se sugiere la instalación de equipos locales de apoyo a Puentes Educativos, con el fin de facilitar y hacer más expedito el vínculo con los docentes. Respecto del soporte técnico: - - Vinculado a lo anterior, y producto de las múltiples necesidades y requerimientos que se manifiestan en los establecimientos, se sugiere la capacitación de personas que sea a nivel comunal o de establecimientos que permitan resolver en forma oportuna y cercana algunos de los inconvenientes que puedan presentarse desde el punto de vista de la implementación técnica. En este sentido, se recomienda la elaboración de material de autoaprendizaje que permita que los docentes que lo requieran puedan repasar por sí mismos los elementos técnicos del proyecto, y así resolver dudas o problemas referentes a los procesos de implementación en el aula. Respecto de los recursos educativos digitales: - - Se sugiere aumentar los recursos educativos digitales principalmente en las asignaturas de Ciencias y Matemáticas, en las cuales existen contenidos que no poseen recursos asociado disponible. Esto surge a partir de lo señalado por los docentes tanto en las instancias de encuestas de funcionamiento como de visitas a establecimientos. Por otra parte, se sugiere mejorar la resolución del material de Inglés, con el fin de hacerlo más atractivo para los estudiantes. Respecto del dispositivo y sus conexiones: - - 10 Producto de la experiencia de implementación durante 2012, se hace relevante que el dispositivo a utilizar posea un display mayor, que facilite el trabajo del docente, puesto que algunos profesores y profesoras manifestaron dificultades con la pantalla del celular (muy pequeña), por lo que se debería considera la opción de buscar dispositivos alternativos a los equipos celulares. Conviene en este punto tener en cuenta la facilidad en la realización de las conexiones en el aula, cosa que sean los docentes o sus estudiantes los que realicen las conexiones tanto de sonido como de imagen. Esta situación va tanto por parte del dispositivo a utilizar como por el equipamiento tecnológico del aula. El programa Enlaces, del Ministerio de Educación posee una pauta validada para la realización de dicha observación. 44 Respecto de los procesos de capacitación: - - - Se sugiere especializar los talleres. Durante los realizados en 2012, sólo se consideran a los directivos (directores y jefes de la unidad técnico pedagógica) para una sección introductoria de media jornada, donde se les expuso sobre los objetivos y resultados de la iniciativa y los funcionamiento principales usos del dispositivo móvil. En este sentido, es importante integrar a los directivos en capacitaciones referentes a la administración de los recursos educativos digitales en los establecimientos, además de lo realizado con los docentes de cada asignatura. En esta misma línea, se sugiere trabajar sobre la certificación por parte del CEPEIP, del MINEDUC, puesto que constituiría un elemento positivo para los talleres en los que respecta a su calidad y motivación por parte de los docentes asistentes. Por lo mismo, se sugiere aumentar el número de horas de capacitación, aunque esto implique realizarlo de manera interrumpida, por ejemplo en enero y luego en julio. Así mismo, y dada la experiencia de capacitaciones que se desarrollaron en la implementación del proyecto, se sugiere reducir el número de participantes por taller, puesto que de esta manera es posible atender a las necesidades de manera más oportuna, asegurándose de una mejor comprensión de los ámbitos del proyecto por parte de los profesores, profesoras y equipos directivos. Respecto de las planificaciones de clases: - - Se sugiere complementar las planificaciones con más actividades y evaluaciones, siendo éstos los recursos que, mediante los mecanismos de monitoreo, se pudo constatar, eran más aprovechados. En este sentido, también sería de esperar aumentar también con material reproducible por los docentes, como por ejemplo guías. Dentro de éstas, conviene profundizar el material digital con hipervínculos a actividades y otros recursos educativos En términos de caracterización de los establecimientos: - Producto de los sistemas de monitoreo y evaluación, fue posible constatar que el proyecto tendría en mejor funcionamiento en los establecimientos rurales, ya que éstos mostraron ser muy receptivos a la implementación de Puentes Educativos, siendo interesante establecer cierto foco en comunas rurales. 45 Anexos 46 Anexo 1: Gráfico Comparación del Valor agregado, según frecuencia uso planificación. Matemática 5° básico Anexo 2: Gráfico Comparación del Valor agregado, según frecuencia uso planificación. Matemática 6° básico 47 Anexo 3: Gráfico Comparación del Valor agregado, según frecuencia uso planificación. Ciencias Naturales 6° básico Anexo 4: Gráfico Comparación del Valor agregado, según frecuencia uso planificación. Inglés 5° básico 48 Anexo 5: M03: Monitoreo telefónico a profesores INTRUMENTO MONITOREO 2012 Dimensiones Variables indicadores COD Pregunta ID: I Región ID: II Comuna ID: III RBD ID: IDENTIDAD DEL ENTREVISTADO ID: IV Nombre escuela ID: V Carácter del establecimiento ID: VI Subsector/función ID: VII Nombre del profesor(a) ID: VI Día de contacto ID: IX Mes de contacto ID: X Año de contacto ID: XI Último contacto Si I.I Uso de los videos No Perdido Porque el programa de descagras presentó problemas y nunca los solucionamos I: VIDEOS PE I.II Motivo de no uso 1 Profesor(a), ¿Ud. utiliza los 2 videos de Puentes Educativos? 9 1 No nos acordamos cómo usarlo 2 Aún no nos ponemos de acuerdo en el orden de uso Hemos estado con mucho trabajo en la escuela 3 ¿Por qué motivos no lo usa? 4 No nos hemos dado el tiempo 5 Me encuentro con licencia médica 6 49 I.III Frecuencia de uso I.IV Modo de uso del video I.V Modo de reproducción II.I Uso de Internet (C7) II: INTERNET II.II Motivo de no uso Reproducimos los videos desde otro dispositivo 7 Otro 8 Perdido 9 Más de una vez a la semana 1 Una vez a la semana 2 Una vez al mes ¿Cada cuánto utiliza los 3 videos? 4 Perdido 9 Introducción 1 Desarrollo Según sugiere la planificación (a veces introducción, cdesarrollo o conclusión) 2 ¿Los utiliza como 3 introducción, desarrollo o conclusión? 4 Perdido 9 Desde el celular directamente al proyector 1 Desde el computador al proyector Desde el equipo celular a una Televisión 2 ¿Qué dispositivo utiliza para 3 la reproducción de los videos en el aula? 4 Perdido 9 Si Perdido 1 Profesor(a), ¿Ud. utiliza 2 internet desde el equipo de celular? 9 Tenemos problemas de señal Movistar 1 No nos acordamos cómo usarlo 2 Entre dos y tres veces al mes Conclusión Directamente desde el celular (sin proyector) No No nos hemos dado el tiempo para usarlo ¿Por qué motivos no lo 3 utiliza? 4 Es más sencillo usar el internet de la escuela 5 Como lo compartimos, sólo alcanzamos a usar el NED 50 II.III Frecuencia de uso III.I Uso de Planificaciones III.II Motivo de no uso III: PLANIFICACIONES III:III Correcciones III.IV Apreciación Lo encontramos muy lento 6 Porque no utilizo el equipo celular 7 Otro 8 Perdido 9 Todos los días 1 Algunas veces a la semana 2 Algunas veces al mes 3 Perdido 9 Si 1 ¿cada cuánto lo utiliza? Perdido Profesor(a), ¿Ud. está 2 utilizando las planificaciones? 9 Nos llegaron, pero no me he dado el tiempo de verlas 1 Me parece que los contenidos no se adecúan 2 Son de difícil adecuación al contexto de la escuela 3 Faltan videos en la unidad que estoy trabajando 4 Otro 8 Perdido 9 Si 1 No ¿Por qué no las utiliza? Perdido ¿Y las utiliza tal y como están 2 planteadas? 9 Son muy básicas 1 Son muy complejas 2 Los tiempos no coinciden con la realidad 3 Los tiempos vienen bien adecuados a la realidad 4 Presentan buenas actividades 5 Me exigen sintetizarlas a planificaciones diarias 6 No ¿Y cómo las encuentra? 51 IV.I Uso de JoikuSpot IV.II Motivo de no uso IV: JOIKUSPOT IV.III Forma principal de uso IV.IV Frecuencia de uso V: APRECIACIONES V.I Conformidad Otro 7 Perdido 9 Si Perdido 1 Profesor(a) ¿Ud. utiliza el 2 programa JoikuSpot? (usar el celular como router) 9 No nos acordamos cómo usarlo 1 Tenemos problemas de señal Movistar 2 Se desinstaló el programa 3 El programa nos emite un mensaje de error 4 La señal de internet que entrega es muy lenta 5 Se puede conectar poca gente a la señal 6 Otro 7 Perdido 9 En el aula para trabajar con los niños 1 En la sala de profesores para entregar internet a los docentes 2 Cada uno lo utiliza según sus necesidades Todas las anteriores 3 ¿Qué función le dan al 4 programa en su escuela? Otro 5 Perdido 9 Todos los días 1 Algunas veces a la semana 2 Algunas veces al mes 3 Perdido 9 Muy disconforme 1 Profesor(a), para finalizar, 2 ¿Qué tan conforme se siente Ud. con el proyecto? 3 No Disconforme Ni conforme ni disconforme ¿Por qué no lo utiliza? ¿Cada cuánto lo usan? 52 V.II Cambios a realizar Conforme 4 Muy conforme 5 Abierta ¿Y qué cambios le realizaría al proyecto? 53 Anexo 6: M02: Pauta de Visita a Escuela Continuidad 1. Pauta de acciones posteriores a la visita Marque con una cruz las correspondientes, y con un visto en OK cuando se haya realizado. 1.1 1.2 1.3 1.4 1.5 1.6 Cambio de profesores en Ficha Escuelas (especificar subsector) Cambios de directivos en Ficha Escuelas (especificar cargo) Envío de material Soporte Técnico Cambio de equipo celular (cambiar en Base SimCards) Priorización seguimiento -- M D C UTP I 0tro -+ + ++ OK Nomenclatura Apreciación + + Excelente + Buena + Mediana - Escuelas en las que hay un ambiente facilitador del proyecto y éste se desenvuelve sin grandes impedimentos Escuelas en las que el proyecto funciona con algún tipo de variación o dificultad Escuelas en las cuales puede funcionar el proyecto, pero hay dificultades subsanables que lo obstaculizan Dificil Escuelas en las cuales no funciona el proyecto pero que hay disposición a su aplicación Escuelas en las que además de no funcionar el proyecto, presentan una disposición negativa a la aplicación de Conflictiva Puentes Educativos 2. Datos Generales de la visita Nombre Visitante Región Comuna Escuela Fecha Hora de llegada a la escuela Hora de retiro de la escuela 3. Complete previo a su visita, la información de las personas del establecimiento a partir de la información contenida en el archivo “ficha escuelas “. Verifíquela durante su visita a la escuela y modifique la información que corresponda. Marque con una X las personas con las que se entrevistó. X 3.1 Nombre Profesor de matemáticas FONO: NOMBRE___________________________ MAIL: RUT: 54 3.2 Profesor de ciencias FONO: NOMBRE____________________________ MAIL: RUT: 3.3 Profesor que imparte ambas asignaturas (en escuela pluridocente) FONO: MAIL: NOMBRE_________________________________ 3.4 3.5 3.6 3.7 Profesor de inglés RUT: FONO: NOMBRE________________________________ MAIL: Profesor unidocente RUT: FONO: NOMBRE_________________________________ MAIL: Jefe técnico FONO: NOMBRE________________________________ MAIL: Director FONO: MAIL: NOMBRE________________________________ RUT: 3.8 3.9 3.10 3.11 Encargado de enlaces de la escuela FONO: NOMBRE_________________________________ MAIL: Alumno/a FONO: NOMBRE_________________________________ MAIL: Apoderados FONO: NOMBRE_________________________________ MAIL: Otro, ¿Cuál? FONO: NOMBRE_________________________________ MAIL: 55 4. ¿Cuáles de las siguientes actividades realizó durante su visita? Marque con una X las que correspondan. Monitoreo Evaluación Entrevista con profesor director 4.1 4.2 4.3 4.4 4.5 X jefe técnico Otro, ¿Cuál? Capacitación a docente/s Presentación de Puentes Educativos a profesores u otros miembros de la comunidad educativa Entrega de materiales (especificar en el Nº5) Otro ¿Cuál? 4.6 4.7 5. Entrega de Materiales 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 Marque con una X las que correspondan Entrega de equipo telefónico Entrega de subwoofers ¿Cuántos? __________________ Entrega de coplas ¿Cuántas? ____________________ Entrega de cables ¿Cuántos? ____________________ Entrega de planificaciones ¿Cuáles? ¿Cuántas? Entrega de otro material pedagógico ¿Cuál?_____________________ Capacitación pedagógica a docente/s Capacitación tecnológica a docente/s Instalación de cables Otra ¿Cuál? 6. Compromisos asumidos 6.1 A través de Ud., ¿Puentes Educativos asumió algún compromiso o tarea a llevar a cabo en relación a la aplicación del programa en la escuela? X 10.1.1 Sí (pase a pregunta 2) 10.1.2 No (pase a pregunta 4) 56 Describa qué compromiso o tarea asumió Puentes Educativos a partir de la visita Plazo límite para cumplir tarea o compromiso: Día Mes 7. ¿La persona o la escuela que Ud. visitó asumió algún compromiso o tarea a llevar a cabo en relación a la aplicación del programa en la escuela? X Sí (pase a pregunta 5) No (pase a ítem V ) 7.1 Describa qué compromiso o tarea asumió la persona o la escuela a partir de la visita Plazo límite para cumplir tarea o compromiso: Día Mes 57 8. Observaciones generales Comente aspectos que considere de su visita no consignado anteriormente según los siguientes criterior Estado físico de la escuela (infraestructura, orden, limpieza, etc.) Condiciones técnicas de la escuela ¿Dónde guardan el (los ) equipo(s)? ¿Existe wi-fi en la escuela? ¿De qué calidad? ¿Cómo proyectan los videos? ¿Existen datas fijos o móviles? En caso de los móviles, ¿cuántos existen en la escuela? Otras: Condiciones pedagógicas y administrativas de la escuela (manifestar si se evidencian conflictos u otro tipo de consideraciones que influyan en el proyecto) Intergación del proyecto en las planificaciones de los profesores de la escuela Utilizan las planificaciones ( completas o una parte de ellas) Diferenciar por sector de aprendizaje. 58 Proyectan los videos desde el celular o desde el computador. Diferenciar por sector de aprendizaje. Regularidad en el uso (a partir de lo declarado y de las estadísticas del NED). Registrar las últimas páginas webs visitadas. Comentar si hay diferencias por sector de aprendizaje respecto del uso (especificar a cada profesor por separado) Considerando lo expuesto, ¿está funcionando Puentes Educativos en la escuela? ¿Qué profesores lo están aplicando? ¿Qué lo fortalece? , ¿Qué lo dificulta? Otros (utilícelo si encuentra que hay algún tipo de observaciones que no responda a los criterios anteriores). Utilice aquellas apreciaciones más subjetivas de la aplicación de Puentes Educativos. 59
© Copyright 2026 Paperzz