THE Latin America University Rankings 2017: methodology

Browse the full list of institutions in this year’s Latin America rankings

The Times Higher Education World University Rankings are the only global performance tables that judge research-intensive universities across all their core missions: teaching, research, knowledge transfer and international outlook. The Latin America University Rankings use the same 13 carefully calibrated performance indicators to provide the most comprehensive and balanced comparisons, trusted by students, academics, university leaders, industry and even governments – but the weightings are specially recalibrated to reflect the characteristics of emerging economy universities.

The performance indicators are grouped into five areas:

• Teaching (the learning environment)
• Research (volume, income and reputation)
• Citations (research influence)
• International outlook (staff, students and research)
• Industry income (knowledge transfer)

Exclusions

Universities are excluded from the Latin America University Rankings if they do not teach undergraduates or if their research output amounted to fewer than 200 publications between 2011 and 2015. Universities can also be excluded if 80 per cent or more of their activity is exclusively in one of our 11 subject areas.

Data collection

Institutions provide and sign off their institutional data for use in the rankings. On the rare occasions when a particular data point is not provided – which affects only low-weighted indicators such as industrial income – we enter a conservative estimate. By doing this, we avoid penalising an institution too harshly with a “zero” value for data that it overlooks or does not provide, but we do not reward it for withholding them.

Getting to the final result

Moving from a series of specific data points to indicators, and finally to a total score for an institution, requires us to match values that represent fundamentally different data. To do this we use a standardisation approach for each indicator, and then combine the indicators in the proportions indicated below.

The standardisation approach we use is based on the distribution of data within a particular indicator, where we calculate a cumulative probability function, and evaluate where a particular institution’s indicator sits within that function.

For all indicators except for the Academic Reputation Survey we calculate the cumulative probability function using a version of Z-scoring. The distribution of the data in the Academic Reputation Survey requires us to add an exponential component.

Teaching (the learning environment): 36%

• Reputation survey:15%
• Institutional income: 6%
• Staff-tostudent ratio: 5%
• Doctorate-to-bachelor’s ratio: 5%
• Doctorates awarded-to-academic staff ratio: 5%

The most recent Academic Reputation Survey (run annually) that underpins this category was carried out in January to March 2017. It examined the perceived prestige of institutions in teaching. The responses were statistically representative of the global academy’s geographical and subject mix.

As well as giving a sense of how committed an institution is to nurturing the next generation of academics, a high proportion of postgraduate research students also suggests the provision of teaching at the highest level that is thus attractive to graduates and effective at developing them. This indicator is normalised to take account of a university’s unique subject mix, reflecting that the volume of doctoral awards varies by discipline.

Institutional income is scaled against academic staff numbers and normalised for purchasing-power parity (PPP). It indicates an institution’s general status and gives a broad sense of the infrastructure and facilities available to students and staff.

Research (volume, income and reputation): 34%

• Reputation survey: 18%
• Research productivity: 10%
• Research income: 6%

The most prominent indicator in this category looks at a university’s reputation for research excellence among its peers, based on the responses to our annual Academic Reputation Survey.

Research income is scaled against academic staff numbers and adjusted for PPP. This is a controversial indicator because it can be influenced by national policy and economic circumstances. But income is crucial to the development of world-class research, and because much of it is subject to competition and judged by peer review, our experts suggested that it was a valid measure. This indicator is fully normalised to take account of each university’s distinct subject profile, reflecting the fact that research grants in science subjects are often bigger than those awarded for the highest-quality social science, arts and humanities research.

To measure productivity we count the volume of scholarly output including articles, reviews, conference proceedings, books and book chapters indexed by Elsevier’s Scopus database per scholar, scaled for institutional size and normalised for subject. This gives a sense of the university’s ability to get papers published in quality peer-reviewed journals.

Citations (research influence): 20%

Our research influence indicator looks at universities’ role in spreading new knowledge and ideas.

We examine research influence by capturing the number of times a university’s published work is cited by scholars globally. This year, our bibliometric data supplier Elsevier examined more than 56 million citations to 11.9 million journal articles, conference proceedings and books and book chapters published over five years. The data include the 23,000 academic journals indexed by Elsevier’s Scopus database and all indexed publications between 2011 and 2015. Citations to these publications made in the six years from 2011 to 2016 are also collected.

The citations help to show us how much each university is contributing to the sum of human knowledge: they tell us whose research has stood out, has been picked up and built on by other scholars and, most importantly, has been shared around the global scholarly community to expand the boundaries of our understanding, irrespective of discipline.

The data are normalised to reflect variations in citation volume between different subject areas. This means that institutions with high levels of research activity in subjects with traditionally high citation counts do not gain an unfair advantage.

In 2015-16, we excluded papers with more than 1,000 authors because they were having a disproportionate impact on the citation scores of a small number of universities. Last year, we designed a method for reincorporating these papers. Working with Elsevier, we have developed a new fractional counting approach that ensures that all universities where academics are authors of these papers will receive at least 5 per cent of the value of the paper, and where those that provide the most contributors to the paper receive a proportionately larger contribution.

International outlook (staff, students, research): 7.5%

• International-to-domesticstudent ratio: 2.5%
• International-to-domesticstaff ratio: 2.5%
• International collaboration: 2.5%

The ability of a university to attract undergraduates, postgraduates and faculty from all over the planet is key to its success on the world stage.

In the third international indicator, we calculate the proportion of a university’s total research publications that have at least one international co-author and reward higher volumes. This indicator is normalised to account for a university’s subject mix and uses the same five-year window as the “Citations: research influence” category.

Industry income (knowledge transfer): 2.5%

A university’s ability to help industry with innovations, inventions and consultancy has become a core mission of the contemporary global academy. This category seeks to capture such knowledge-transfer activity by looking at how much research income an institution earns from industry (adjusted for PPP), scaled against the number of academic staff it employs.

The category suggests the extent to which businesses are willing to pay for research and a university’s ability to attract funding in the commercial marketplace – useful indicators of institutional quality.

Português

Los Rankings de los Universitarios de América Latina: metodología

Los World University Rankings de  Times Higher Education son los únicos listados de rendimiento global que evalúan a las universidades líderes en investigación con respecto a sus misiones fundamentales: la enseñanza, la investigación, la transferencia del conocimiento y la proyección internacional. Los Rankings Universitarios de América Latina utilizan los mismos 13 indicadores de desempeño, cuidadosamente calibrados, para proporcionar las comparativas más exhaustivas y equilibradas, en las que confían los estudiantes, académicos, líderes universitarios, industrias y gobiernos - sin embargo las ponderaciones están particularmente recalibradas para reflejar las características de las universidades de las economías emergentes.

Los indicadores de desempeño se agrupan en cinco áreas:

• Enseñanza (el ambiente de aprendizaje)
• Investigación (volumen, ingreso y reputación)
• Citaciones (influencia investigativa)
• Proyección internacional (personal, estudiantes y estudios)
• Ingresos de la industria (transferencia del conocimiento)

Exclusiones

Se excluyen de los Rankings Universitarios de América Latina las universidades que no ofrecen estudios de pregrado o cuya producción investigativa corresponde a un número inferior a 200 publicaciones entre 2011 y 2015. Pueden quedar excluidas las universidades que tengan un 80 por ciento o más de actividad en solamente una de nuestras 11 áreas de estudio.

Recolección de datos

Las instituciones proporcionan y aprueban sus datos institucionales para el uso de los rankings. En las ocasiones infrecuentes en las que no se proporciona un elemento de información particular (que afecta solamente los indicadores de baja incidencia tales como los ingresos de la industria), nosotros ingresamos una estimación moderada. Como consecuencia, evitamos penalizar una institución con demasiada severidad con un valor de "cero" por los datos que la institución pasó por alto o que falló en proporcionar, pero no la recompensamos por haberlos retenido.

Obtención del resultado final

Partir desde una serie de puntos específicos de información hasta los indicadores, y finalmente hasta un puntaje total para una institución, requiere que hagamos coincidir valores que representan en esencia datos diferentes. Para hacer esto, utilizamos un enfoque de estandarización para cada indicador y luego combinamos los indicadores en las proporciones que se indican a continuación.

El enfoque de estandarización que utilizamos se basa en la distribución de datos dentro de un indicador particular, donde calculamos una función de probabilidad acumulativa y evaluamos en qué lugar un indicador específico de una institución se encuentra en términos de esa función. Un puntaje de probabilidad acumulativo de X esencialmente nos dice que una universidad con valores aleatorios para ese indicador es inferior al puntaje X por ciento de las veces.

Para cada uno de los indicadores, con excepción de la Encuesta de Reputación Académica, calculamos la función de probabilidad acumulativa utilizando una versión de la variable estandarizada. La distribución de la información en la Encuesta de Reputación Académica requiere que agreguemos un componente exponencial.

Enseñanza (el ambiente de aprendizaje): 36%

• Encuesta de reputación:15%
• Ingresos institucionales: 6%
• Proporción personal-alumno: 5%
• Proporción doctorado-licenciado: 5%
• Proporción doctorados galardonados-personal académico: 5%

La más reciente Encuesta de Reputación Académica (realizada anualmente) que respalda a esta categoría, fue llevada a cabo de enero a marzo de 2017. Esta examinó el prestigio percibido de las instituciones en cuanto a enseñanza. Las respuestas fueron estadísticamente representativas de la composición geográfica y de la asignatura de la academia mundial.

Además de dar una idea de lo comprometida que es una institución frente al cultivo de la próxima generación de académicos, una alta proporción de estudiantes investigadores de posgrado también sugiere el suministro de enseñanza en el más alto nivel, que de esa manera resulta atractivo para los graduados y eficaz a la hora de desarrollarlos. Este indicador se normaliza para tener en cuenta la mezcla de temas únicos de una universidad, lo cual refleja que el volumen de los galardones de doctorado varía según la disciplina.

El ingreso institucional se compara con los números de personal académico y se normaliza para la paridad del poder adquisitivo (PPP). Esto indica la situación general de una institución y da una idea amplia de la infraestructura y las instalaciones disponibles para los estudiantes y el personal.

Investigación (volumen, ingreso y reputación): 34%

• Encuesta de reputación: 18%
• Productividad investigativa: 10%
• Ingresos investigativos: 6%

El indicador más destacado en esta categoría se centra en la reputación de excelencia investigativa de una universidad entre sus pares, basada en las respuestas a nuestra Encuesta Reputación Académica anual.

El ingreso investigativo se compara con el número de personal académico y se ajusta para la PPP. Este es un indicador polémico porque puede verse influido por la política nacional y las circunstancias económicas. Pero los ingresos son cruciales para el desarrollo de investigaciones de talla mundial y, como gran parte de ellos están sujetos a la competencia y se juzgan por la revisión por pares, nuestros expertos sugirieron que constituía una medida válida. Este indicador está completamente normalizado para tener en cuenta el perfil distintivo de materias de cada universidad, lo cual refleja el hecho de que las becas de investigación en asignaturas científicas son a menudo más cuantiosas que las otorgadas para las investigaciones de la más alta calidad en ciencias sociales, artes y humanidades.

Para medir la productividad, realizamos el conteo el volumen de la producción académica, incluyendo artículos, reseñas, actas de congresos, libros y capítulos de libros indexados por la base de datos Scopus de Elsevier por académico, escalados por tamaño institucional y normalizados por materia. Esto da una idea de la capacidad de la universidad para publicar en revistas de calidad revisadas por pares.

Citaciones (influencia investigativa): 20%

Nuestro indicador de influencia en la investigación examina el papel de las universidades en la difusión de nuevos conocimientos e ideas.

Examinamos la influencia investigativa al capturar el número de veces en que los trabajos publicados por una universidad son citados por académicos en todo el mundo. Este año, nuestro proveedor de datos bibliométricos Elsevier examinó más de 56 millones de citas en 11,9 millones de artículos de revistas, actas de conferencias y libros y capítulos de libros publicados durante cinco años. Los datos incluyen las 23.000 revistas académicas indexadas por la base de datos Scopus de Elsevier y todas las publicaciones indexadas entre 2011 y 2015. También se recogen citas de estas publicaciones hechas en los seis años entre 2011 y 2016.

Las citas ayudan a mostrarnos cuánto contribuye cada una de las universidades a la suma del conocimiento humano: nos dicen cuál ha sido la investigación que ha destacado, cuál ha sido recogida y construida por otros eruditos y, lo más importante, la que ha sido compartida alrededor de la comunidad académica global para expandir los límites de nuestra comprensión, independientemente de la disciplina.

Los datos se normalizan para reflejar las variaciones en el volumen de citas entre diferentes áreas temáticas. Esto significa que las instituciones con altos niveles de actividad investigativa en áreas con conteos de citas tradicionalmente altos no obtienen una ventaja injusta.

En 2015-16 se excluyeron los trabajos con más de 1.000 autores porque estaban teniendo un impacto desproporcionado en las puntuaciones de citas de un pequeño número de universidades. El año pasado, diseñamos un método para reincorporar estos documentos. Trabajando con Elsevier, hemos desarrollado un nuevo enfoque de conteo fraccional que asegura que todas las universidades donde los académicos sean autores de estos documentos recibirán por lo menos el 5 por ciento del valor del trabajo, y donde aquellos que proporcionan más contribuidores reciben una contribución proporcionalmente mayor.

Proyección internacional (personal, estudiantes y estudios): 7.5%

• Proporción estudiante internacional-local: 2.5%
• Proporción personal internacional-local: 2.5%
• Colaboración internacional: 2.5%

La capacidad de una universidad para atraer estudiantes de pregrado, posgraduados y profesores de todo el planeta es clave para su éxito en la escena mundial.

En el tercer indicador internacional, calculamos la proporción total de las publicaciones investigativas de una universidad que tienen por lo menos un coautor internacional y recompensan mayores volúmenes. Este indicador se normaliza para dar cuenta de la mezcla de asignaturas de una universidad y utiliza la misma ventana de cinco años que la categoría "Citaciones: influencia investigativa".

Ingresos de la industria (transferencia del conocimiento): 2.5%

La capacidad de una universidad para ayudar a la industria con innovaciones, invenciones y consultoría se ha convertido en una misión central de la academia mundial contemporánea. Esta categoría busca capturar esa actividad de transferencia del conocimiento, analizando la cantidad de ingresos de investigación que una institución obtiene de la industria (ajustada por la PPP), comparada con la cantidad de personal académico que emplea.

La categoría sugiere hasta qué punto las empresas están dispuestas a pagar por investigación y la capacidad de una universidad para atraer fondos en el mercado comercial, indicadores útiles de la calidad institucional.

Español

A Classificação das Universidades Latino-americanas: metodologia

As classificações do Times Higher Education de universidades mundiais são as únicas tabelas de desempenho global que avaliam universidades voltadas à pesquisa em todas as suas principais missões: ensino, pesquisa, transferência de conhecimento e perspectivas internacionais. As classificações da Universidade Latino Americana usam os mesmos 13 indicadores de desempenho cuidadosamente calibrados para fornecer as comparações mais abrangentes e equilibradas, confiáveis para estudantes, acadêmicos, líderes universitários, indústria e até governos - mas os pesos são especialmente recalibrados para refletir as características das universidades de economias emergentes.

Os indicadores de desempenho estão agrupados em cinco áreas:

• Ensino (o ambiente de aprendizado)
• Pesquisa (volume, renda e reputação)
• Citações (influência nas pesquisas)
• Visão internacional (pessoal, alunos e pesquisa)
• Renda industrial (transferência de conhecimento)

Exclusões

As universidades são excluídas do ranking da Universidade Latino Americana se não ensinam estudantes de graduação ou se o resultado da pesquisa é de menos de 200 publicações entre 2011 e 2015. As universidades também podem ser excluídas se 80% ou mais de sua atividade está exclusivamente em uma das nossas 11 áreas.

Coleta de dados

As instituições fornecem e aprovam o uso de seus dados institucionais para uso nos rankings. Nas raras ocasiões em que um ponto de dados específico não é fornecido - o que afeta apenas indicadores de baixa ponderação, como renda industrial - inserimos uma estimativa conservadora. Ao fazer isso, evitamos penalizar uma instituição de forma muito dura com um valor "zero" para os dados omitidos ou não fornecidos, mas não os recompensamos por não fornecer os dados.

Chegando no resultado final

Passar de uma série de pontos de dados específicos para indicadores e, finalmente, para uma pontuação total para uma instituição, exige que combinemos valores que representam dados fundamentalmente diferentes. Para fazer isso, usamos uma abordagem de padronização para cada indicador e, em seguida, combinamos os indicadores nas proporções indicadas abaixo.

A abordagem de padronização que utilizamos baseia-se na distribuição de dados dentro de um indicador particular, onde calculamos uma função de probabilidade cumulativa e avaliamos onde o indicador de uma determinada instituição se enquadra dentro dessa função. Um índice de probabilidade cumulativa de X em essência nos diz que uma universidade com valores aleatórios para esse indicador ficaria abaixo dessa marcação em X porcento do tempo.

Para todos os indicadores, exceto para a Pesquisa de Reputação Acadêmica, calculamos a função de probabilidade cumulativa usando uma versão de pontuação Z. A distribuição dos dados na Pesquisa de Reputação Acadêmica exige que adicionemos um componente exponencial.

Ensino (o ambiente de aprendizado): 36%

• Reputação de pesquisa:15%
• Renda institucional: 6%
• Relação pessoal-estudante: 5%
• Proporção doutorado-bacharel: 5%
• Proporção de Doutorados fornecidos a docentes: 5%

A pesquisa de Reputação Acadêmica mais recente (executada anualmente) que sustenta essa categoria foi realizada de janeiro a março de 2017. A pesquisa examinou o prestígio percebido das instituições no ensino. As respostas foram estatisticamente representativas da combinação geográfica e de matérias da academia global.

Além de dar uma ideia de quão comprometida a instituição é em nutrir a próxima geração de acadêmicos, uma alta proporção de estudantes de pós-graduação também sugere a prestação de ensino ao mais alto nível, o que é atraente para os graduados e eficaz para seu desenvolvimento. Este indicador é normalizado para manter em mente a variedade de assuntos únicos de uma universidade, refletindo que o volume dos doutorados concedidos varia de acordo com a disciplina.

A renda institucional é escalada em relação ao número de pessoal acadêmico e normalizada para paridade de poder de compra (PPC). Isso indica o status geral de uma instituição e dá um senso amplo da infra-estrutura e instalações disponíveis para estudantes e funcionários.

Pesquisa (volume, renda e reputação): 34%

•  Reputação de pesquisa:18%
• Produtividade de pesquisa: 10%
• Rendimento da pesquisa: 6%

O indicador mais proeminente nesta categoria analisa a reputação de uma universidade de excelência em pesquisa entre seus pares, com base nas respostas na nossa pesquisa anual de reputação acadêmica.

O rendimento da pesquisa é escalado contra o número de pessoal acadêmico e ajustado para PPC. Este é um indicador controverso porque pode ser influenciado pela política nacional e circunstâncias econômicas. Mas a renda é crucial para o desenvolvimento de pesquisas de classe mundial, e porque grande parte dela está sujeita à concorrência e é julgada pela revisão pelos pares, nossos especialistas sugeriram que era uma medida válida. Este indicador é totalmente normalizado para tomar em conta o perfil do perfil distinto de cada universidade, refletindo o fato de que os subsídios de pesquisa em disciplinas científicas são geralmente maiores do que os concedidos pela pesquisa de ciências sociais, artes e humanidades de mais alta qualidade.

Para medir a produtividade, contamos o volume de resultados acadêmicos, incluindo artigos, revisões, procedimentos de conferência, livros e capítulos de livros indexados pela base de dados Scopus da Elsevier por pesquisador, dimensionados para tamanho institucional e normalizados para o assunto. Isso dá uma sensação da habilidade da universidade para publicar artigos em revistas com qualidade revisada pelos seus pares.

Citações (influência nas pesquisas): 20%

Nosso indicador de influência de pesquisa analisa o papel das universidades na disseminação de novos conhecimentos e ideias.

Examinamos a influência de pesquisa ao capturar o número de vezes que o trabalho publicado pela universidade é citado por estudiosos em todo o mundo. Este ano, nosso fornecedor de dados bibliométricos, Elsevier, examinou mais de 56 milhões de citações em 11,9 milhões de artigos de revistas, conferências e livros e capítulos de livros publicados em cinco anos. Os dados incluem os 23.000 periódicos acadêmicos indexados pela base de dados Scopus da Elsevier e todas as publicações indexadas entre 2011 e 2015. As citações à estas publicações feitas nos seis anos de 2011 a 2016 também são coletadas.

As citações ajudam a mostrar-nos o quanto cada universidade está contribuindo para a soma do conhecimento humano: elas nos dizem de quem é a pesquisa que se destacou, foi adotada e aprimorada por outros estudiosos e, o mais importante, foi compartilhada em torno da comunidade acadêmica global para expandir os limites da nossa compreensão, independentemente da disciplina.

Os dados são normalizados para refletir as variações no volume de citações entre diferentes áreas temáticas. Isso significa que as instituições com altos níveis de atividade de pesquisa em assuntos com contagens de citações tradicionalmente altas não ganham uma vantagem injusta.

Em 2015-16, excluímos artigos com mais de 1.000 autores porque eles estavam tendo um impacto desproporcional nas pontuações de citações de um pequeno número de universidades. No ano passado, nós criamos um método para reincorporar esses artigos. Trabalhando com a Elsevier, desenvolvemos uma nova abordagem de contagem fracionária que garante que todas as universidades onde os acadêmicos sejam autores desses trabalhos receberão pelo menos 5% do valor do documento e onde aqueles que fornecem o maior número de contribuintes para o trabalho recebem uma contribuição proporcionalmente maior.

Visão internacional (pessoal, alunos e pesquisa): 7,5%

• Proporção de alunos domésticos e estrangeiros: 2,5%
• Proporção de pessoal doméstico e estrangeiro: 2,5%
• Colaboração internacional: 2,5%

A capacidade de uma universidade para atrair estudantes de graduação, pós-graduação e professores de todo o mundo é a chave para seu sucesso no cenário mundial.

No terceiro indicador internacional, calculamos a proporção das publicações de pesquisa total de uma universidade que possuem pelo menos um co-autor internacional e recompensam volumes maiores. Este indicador é normalizado para atender ao variedade de assuntos de uma universidade e usa o mesmo período de cinco anos que a categoria "Citações: influência nas pesquisas".

Renda industrial (transferência de conhecimento): 2,5%

A capacidade de uma universidade para ajudar a indústria com inovações, invenções e consultoria tornou-se uma missão fundamental da academia global contemporânea. Esta categoria procura capturar essa atividade de transferência de conhecimento ao analisar a quantidade de renda de pesquisa que uma instituição ganha da indústria (ajustada para PPC), em função do número de funcionários acadêmicos que emprega.

A categoria sugere a medida em que as empresas estão dispostas a pagar pela pesquisa e a capacidade de uma universidade para atrair financiamento no mercado comercial - indicadores úteis de qualidade institucional.