Olá Eduardo,
Envie mais detalhes do seu erro. Creio que seja algo bem simples.
Já testei a atualização do Fluig de várias formas. Inclusive já brinquei com os passos que o @william citou várias vezes e também já fui direto para a versão mais atual sem ficar passando de uma-em-uma e foi sucesso.
O suporte do Fluig somente recomenda que você tenha pelo menos a versão 1.5.10 para atualizar para qualquer outra versão 1.6. Como você tem a 1.5.12, pode ter certeza que funcionaria sua atualização.
Veja: http://tdn.totvs.com/pages/releaseview.action?pageId=271409372 (item "Fique Ligado")
Veja se iniciou os serviços na ordem correta: Indexer -> RealTime -> Appserver(antigo Jboss).
Outra coisa, tem que mudar a compatibilidade do banco de dados para 110, senão não inicia o serviço.
Valew