Olá, @Gustavo!

Utilizei apenas via SOAP, o nome do serviço é cancelInstance. Caso queira testá-lo, o WSDL do mesmo se encontra disponível no endereço:

http://seufluig.com.br:8080/webdesk/ECMWorkflowEngineService?wsdl

Entre os parâmetros estão o número da solicitação e a mensagem de cancelamento.

@Gustavo, você pode visualizar todos os services da API, neste link tem o que você precisa: https://api.fluig.com/old/resource_WorkflowRest.html#resource_WorkflowRest_cancelInstance_POST

Exemplo não testado:

$.ajax({
    url: 'api/public/2.0/workflows/cancelInstance',
    crossDomain:true, // se necessário cross domain
    data: { "processInstanceId" : 1, //Process instance id, "cancelText" : "Canceled", //Cancel text "replacedId" : "usr" //User id from the replaced cancel process instance },
    type:'POST'
  })
  .done(function(data){
    console.log(data);
  })
  .fail(function(error){
    console.log(error);
  });