Rummikub est proche de plusieurs jeux de cartes d’Europe centrale joués avec deux jeux de cartes, comme Machiavelli ou Vatikan. Ephraim Hertzano invente ce jeu de tuiles dans les années 1940, à une époque où les jeux de cartes sont interdits sous le régime communiste. Après la Seconde Guerre mondiale, il émigre en Palestine sous mandat britannique, aujourd’hui Israël, et fabrique les premiers exemplaires avec sa famille. Le jeu devient ensuite un succès international.
Le livre officiel de 1978 présente trois versions, mais les éditions actuelles utilisent surtout la version Sabra, avec des variantes selon les éditeurs.
En Turquie, le jeu est connu sous le nom d’Okey et se joue souvent en famille ou dans les cafés.
Comme au rami, le but est de se débarrasser de toutes ses tuiles en formant des suites d’au moins trois chiffres ou des groupes de même valeur. Les couleurs fonctionnent comme les enseignes des cartes. Plus la partie avance, plus les combinaisons deviennent riches et stratégiques.