Adaptação para a língua portuguesa e avaliação da aplicabilidade do questionário Index of Scientific Quality (ISQ) em textos sobre saúde da mulher, apresentados por revistas brasileiras. MÉTODOS: O estudo é de corte transversal. Foram coletados textos publicados entre agosto de 2005 e julho de 2006 nas principais revistas semanais: Veja, Época e IstoÉ. O questionário utilizado possui oito itens, que variam de um a cinco, e medem a aplicabilidade, o grau de opinião, a validade e o alcance da descoberta, precisão, coerência e consequência dos dados, além de um item global, que resume os outros itens. O ISQ foi traduzido, retrotraduzido e submetido à prova piloto até a versão definitiva, utilizada por dois médicos e dois jornalistas. Após a análise dos textos, foi verificada a consistência interna dos itens do questionário pelo coeficiente alfa de Cronbach e a concordância inter e intraobservador para cada item por meio do índice Kappa. RESULTADOS: A amostra conteve 80 textos. A consistência interna dos itens variou entre 0,81 e 0,96. A concordância interavaliadores foi de -0,03 a 0,48 e a intraobservador variou entre 0,27 e 0,34. (IC 95%). CONCLUSÃO: Os itens do questionário mensuraram de forma adequada a qualidade científica, porém a baixa concordância inter e intraobservadores indica a necessidade de novos estudos para se avaliar a versão brasileira do ISQ.PURPOSE: The adaptation into Portuguese and evaluation of the Index of Scientific Quality (ISQ) questionnaire applicability’s in texts presented by Brazilian magazines on woman’s health. METHODS: A transversal cohort study. Texts published from August 2005 to July 2007, in the main weekly magazines Veja, Época and Isto é, were collected. The questionnaire used is composed of eight items, with five alternatives each, measuring the applicability, opinion degree, validity and implications of the finding, precision, coherence and relevance of the data, besides a global item summarizing all the other items. ISQ was translated, retro-translated and submitted to a pilot test till the final version, which was used by two medical doctors and two journalists. After the texts analysis’, the internal consistency of the questionnaire items was checked through Cronbach’s alpha coefficient, and the inter and intra-observer agreement, for each item, by Kappa’s index. RESULTS: The sample was composed by 80 articles. The internal consistency of items has varied from 0.81 to 0.96. The inter-evaluators’ agreement ranged from -0.03 to 0.48, and the intra-observer varied from 0.27 to 0.34 (CI 95%). CONCLUSION: The questionnaire items have adequately measured the scientific quality of the texts, but the low agreement inter and intra-observers points to the need for further studies to assess the Brazilian version of ISQ.