Drag and drop, pegar coluna somente com um botão

Bom, tenho o seguinte código: https://jsfiddle.net/v8gh75xn/1/

O drag and drop está funcionando normalmente, mas eu queria que só pegasse aquele card para arrastá-lo ao o usuário clicar no botão na lateral esquerda e arrastá-lo.

No momento o que acontece é que em qualquer lugar do card, como o botão e o texto, que eu clique ele irá arrastar, mas a ideia é usar um botão pra isso.