La agonía del sistema de flotas comenzó tan pronto como dejaron de transportar los dos artículos claves que justificaban su existir: la plata americana y los artículos suntuosos para los criollos. Las remesas de metal argentífero empezaron a decrecer desde 1620 y llegaron a restringirse extraordinariamente a partir de mediados del siglo XVII. Las causas que motivaron esta disminución constituyen uno de los temas más polémicos en la historia de América y no vamos a referirlas aquí, dada su complejidad. Sean cuales fueren (crisis de producción minera, reinversión de los capitales mineros en la agricultura, mayores necesidades administrativas y defensivas o fuga de numerario a Asia) lo indudable es que las flotas transportaban cada vez menos plata a su metrópoli.
La otra circunstancia fue que España perdió el monopolio de introducir artículos suntuarios en América, pues aparecieron competidores ingleses, franceses y holandeses, que los llevaban a mejores precios, ya que no tenían que pagar tantos impuestos, ni los gastos de las flotas. La inmensa costa atlántica americana se prestaba además favorablemente al contrabando, suministrando infinidad de radas, calas y surgideros en los que era muy fácil realizar las introducciones ilegales (incluso contaban frecuentemente con la aquiescencia de las propias autoridades). El contrabando había comenzado a operar bajo tutela inglesa durante la segunda mitad del siglo XVI, pero no adquirió dimensiones alarmantes hasta un siglo después, cuando contó con el apoyo de Jamaica (conquistada por los británicos en 1655) y de las numerosas islas ocupadas en el Caribe por los franceses, holandeses, daneses y hasta suecos (Curaçao, Saint Thomas, San Eustaquio, islas Vírgenes, etc.). Desde ellas pudieron suministrar sus manufacturas europeas a los criollos, sin necesidad de utilizar a los españoles como intermediarios.
Los monopolistas sevillanos empezaron a distanciar cada vez más las flotas y a restringir sus arqueos, únicas medidas con las que imaginaron resolver el problema de la competitividad foránea. No sirvieron para nada, pues mientras más distanciaban las flotas más dejaban el terreno abonado al contrabando, que seguía inundando el mercado americano. Las flotas salieron cada dos años, luego cada tres y finalmente cada cuatro o cinco años. El problema fue peor para la flota de Los Galeones que para la flota de la Nueva España. Así, durante los últimos 20 años del siglo XVII sólo hubo cuatro flotas a Tierrafirme (lo que da una periodicidad promedio de una cada cinco años) y nueve a Nueva España (2,2 por año).
La Guerra de Sucesión surgida a comienzos del siglo XVIII agravó la situación, pues durante la misma las naves francesas negociaron abiertamente en los puertos españoles, amparadas en la excusa de que pertenecían a una nación aliada con España. El mercado americano se vio repleto de mercancía francesa, con la consiguiente alarma de los ingleses, que al aceptar finalmente la llegada de un Borbón al trono de España impusieron la condición de que se les otorgase el permiso para negociar con un buque al año, llamado por ello el Navío de Permiso, así como el monopolio de la trata de esclavos. Estas condiciones, aceptadas por la Paz de Utrecht, significaron en la práctica un descarado contrabando británico en Hispanoamérica, esta vez legalizado. El Navío de Permiso se repostaba siempre en alta mar con nuevos géneros que traían otras naves desde Jamaica, con lo cual se convertía realmente en 10 o 20 navíos de permiso. En cuanto a la trata de esclavos fue también utilizada para descargar mercancía, con el pretexto de que los esclavos necesitaban vestidos y alimentos.