C++ unordered 系列容器使用与底层模拟实现

1.3 unordered_map 和 map 的使用差异

unordered_map 和 map 的差异逻辑同上，主要在于 Key 约束（小于比较 vs 等于比较）、迭代器顺序（有序 vs 无序）以及性能（O(logN) vs O(1)）。unordered_map 额外支持 operator[] 操作符。

1.4 unordered_multimap/unordered_multiset

unordered_multimap/unordered_multiset 跟 multimap/multiset 功能完全类似，支持 Key 冗余。差异也是三个方面：key 的要求、iterator 及遍历顺序、性能。

1.5 unordered_xxx 的哈希相关接口

Buckets 和 Hash policy 系列的接口分别是跟哈希桶和负载因子相关的接口，日常使用的角度我们不需要太关注。

二、用哈希表封装 myunordered_map 和 myunordered_set

1. 源码及框架分析

SGI-STL30 版本源代码中没有 unordered_map 和 unordered_set，这两个容器是 C++11 之后才更新的。但是 SGI-STL30 实现了哈希表，只容器的名字是 hash_map 和 hash_set，他是作为非标准的容器出现的。源代码在 stl_hashmap/stl_hashtable.h 中 hash_map 和 hash_set 的实现结构框架核心部分如下：

// stl_hash_set template <class Value, class HashFcn = hash<Value>, class EqualKey = equal_to<Value>, class Alloc = alloc>
class hash_set {
private:
    typedef hashtable<Value, Value, HashFcn, identity<Value>, EqualKey, Alloc> ht;
    ht rep;
public:
    // ... type definitions ...
};

// stl_hash_map template <class Key, class T, class HashFcn = hash<Key>, class EqualKey = equal_to<Key>, class Alloc = alloc>
class hash_map {
private:
    typedef hashtable<pair<const Key, T>, Key, HashFcn, select1st<pair<const Key, T> >, EqualKey, Alloc> ht;
    ht rep;
public:
    // ... type definitions ...
};

// stl_hashtable.h template <class Value, class Key, class HashFcn, class ExtractKey, class EqualKey, class Alloc>
class hashtable {
public:
    // ... interface ...
private:
    hasher hash;
    key_equal equals;
    ExtractKey get_key;
    typedef __hashtable_node<Value> node;
    vector<node*, Alloc> buckets;
    size_type num_elements;
};

通过源码可以看到，结构上 hash_map 和 hash_set 跟 map 和 set 的完全类似，复用同一个 hashtable 实现 key 和 key/value 结构。hash_set 传给 hash_table 的是两个 key，hash_map 传给 hash_table 的是 pair<const key, value>。

需要注意的是源码里面跟 map/set 源码类似，命名风格比较乱。下面我们模拟一份自己的出来，就按自己的风格走了。

2. 模拟实现 unordered_map 和 unordered_set

2.1 实现出复用哈希表的框架，并支持 insert

参考源码框架，unordered_map 和 unordered_set 复用之前我们实现的哈希表。相比源码调整一下，key 参数就用 K，value 参数就用 V，哈希表中的数据类型，我们使用 T。

其次跟 map 和 set 相比而言 unordered_map 和 unordered_set 的模拟实现类结构更复杂一点，但是大框架和思路是完全类似的。因为 HashTable 实现泛型时从内部无法知道模版参数 T 是 K，还是 pair<K, V>，并且 insert 内部进行插入时要用 K 对象转换成整形取模和 K 比较相等。因为 pair 的 value 不参与计算取模，且默认支持的是 key 和 value 一起比较相等，我们任何时候只需要比较 K 对象，所以我们在 unordered_map 和 unordered_set 层分别实现一个 MapKeyOfT 和 SetKeyOfT 的仿函数传给 HashTable 的 KeyOfT，然后 HashTable 中通过 KeyOfT 仿函数取出 T 类型对象中的 K 对象，再转换成整形取模和 K 比较相等。

// MyUnorderedSet.h
namespace zlr {
template<class K, class Hash = HashFunc<K>>
class unordered_set {
    struct SetKeyOfT {
        const K& operator()(const K& key) { return key; }
    };
public:
    bool insert(const K& key) { return _ht.Insert(key); }
private:
    hash_bucket::HashTable<K, K, SetKeyOfT, Hash> _ht;
};
}

// MyUnorderedMap.h
namespace zlr {
template<class K, class V, class Hash = HashFunc<K>>
class unordered_map {
    struct MapKeyOfT {
        const K& operator()(const pair<K, V>& kv) { return kv.first; }
    };
public:
    bool insert(const pair<K, V>& kv) { return _ht.Insert(kv); }
private:
    hash_bucket::HashTable<K, pair<K, V>, MapKeyOfT, Hash> _ht;
};
}

// HashTable.h
template<class K> struct HashFunc {
    size_t operator()(const K& key) { return (size_t)key; }
};

namespace hash_bucket {
template<class T> struct HashNode {
    T _data;
    HashNode<T>* _next;
    HashNode(const T& data) :_data(data), _next(nullptr) {}
};

template<class K, class T, class KeyOfT, class Hash>
class HashTable {
    typedef HashNode<T> Node;
    inline unsigned long __stl_next_prime(unsigned long n) {
        static const int __stl_num_primes = 28;
        static const unsigned long __stl_prime_list[__stl_num_primes] = {
            53, 97, 193, 389, 769, 1543, 3079, 6151, 12289, 24593, 49157, 98317,
            196613, 393241, 786433, 1572869, 3145739, 6291469, 12582917, 25165843,
            50331653, 100663319, 201326611, 402653189, 805306457, 1610612741,
            3221225473, 4294967291
        };
        const unsigned long* first = __stl_prime_list;
        const unsigned long* last = __stl_prime_list + __stl_num_primes;
        const unsigned long* pos = lower_bound(first, last, n);
        return pos == last ? *(last - 1) : *pos;
    }
public:
    HashTable() { _tables.resize(__stl_next_prime(_tables.size()), nullptr); }
    ~HashTable() {
        for (size_t i = 0; i < _tables.size(); i++) {
            Node* cur = _tables[i];
            while (cur) { Node* next = cur->_next; delete cur; cur = next; }
            _tables[i] = nullptr;
        }
    }

    bool Insert(const T& data) {
        KeyOfT kot;
        if (Find(kot(data))) return false;
        Hash hs;
        size_t hashi = hs(kot(data)) % _tables.size();
        // 负载因子==1 扩容
        if (_n == _tables.size()) {
            vector<Node*> newtables(__stl_next_prime(_tables.size()), nullptr);
            for (size_t i = 0; i < _tables.size(); i++) {
                Node* cur = _tables[i];
                while (cur) {
                    Node* next = cur->_next;
                    size_t hashi = hs(kot(cur->_data)) % newtables.size();
                    cur->_next = newtables[hashi];
                    newtables[hashi] = cur;
                    cur = next;
                }
                _tables[i] = nullptr;
            }
            _tables.swap(newtables);
        }
        Node* newnode = new Node(data);
        newnode->_next = _tables[hashi];
        _tables[hashi] = newnode;
        ++_n;
        return true;
    }
private:
    vector<Node*> _tables;
    size_t _n = 0;
};
}

2.2 支持 iterator 的实现

iterator 核心源代码

template <class Value, class Key, class HashFcn, class ExtractKey, class EqualKey, class Alloc>
struct __hashtable_iterator {
    typedef hashtable<Value, Key, HashFcn, ExtractKey, EqualKey, Alloc> hashtable;
    typedef __hashtable_iterator<Value, Key, HashFcn, ExtractKey, EqualKey, Alloc> iterator;
    typedef __hashtable_const_iterator<Value, Key, HashFcn, ExtractKey, EqualKey, Alloc> const_iterator;
    typedef __hashtable_node<Value> node;
    typedef forward_iterator_tag iterator_category;
    typedef Value value_type;
    node* cur;
    hashtable* ht;
    __hashtable_iterator(node* n, hashtable* tab) : cur(n), ht(tab) {}
    __hashtable_iterator() {}
    reference operator*() const { return cur->val; }
    pointer operator->() const { return &(operator*()); }
    iterator& operator++();
    iterator operator++(int);
    bool operator==(const iterator& it) const { return cur == it.cur; }
    bool operator!=(const iterator& it) const { return cur != it.cur; }
};

template <class V, class K, class HF, class ExK, class EqK, class A>
__hashtable_iterator<V, K, HF, ExK, EqK, A>& __hashtable_iterator<V, K, HF, ExK, EqK, A>::operator++() {
    const node* old = cur;
    cur = cur->next;
    if (!cur) {
        size_type bucket = ht->bkt_num(old->val);
        while (!cur && ++bucket < ht->buckets.size()) cur = ht->buckets[bucket];
    }
    return *this;
}

iterator 实现思路分析

iterator 实现的大框架跟 list 的 iterator 思路是一致的，用一个类型封装结点的指针，再通过重载运算符实现，迭代器像指针一样访问的行为。要注意的是哈希表的迭代器是单向迭代器。

这里的难点是 operator++ 的实现。iterator 中有一个指向结点的指针，如果当前桶下面还有结点，则结点的指针指向下一个结点即可。如果当前桶走完了，则需要想办法计算找到下一个桶。这里的难点反而是结构设计的问题，参考上面的源码，我们可以看到 iterator 中除了有结点的指针，还有哈希表对象的指针，这样当前桶走完了，要计算下一个桶就相对容易多了，用 key 值计算出当前桶位置，依次往后找下一个不为空的桶即可。

begin() 返回第一个桶中第一个节点指针构造的迭代器，我们需要遍历找到第一个节点然后返回，这里我们可以判断下如果哈希表内没有节点直接结束。end() 返回迭代器可以用空表示。

unordered_set 的 iterator 也不支持修改，因此这里我们就参考前面 set/map 的设计，我们把 unordered_set 的第二个模板参数改成 const K 即可，HashTable<K, const K, SetKeyOfT, Hash> _ht；

unordered_map 的 iterator 不支持修改 key 但是可以修改 value，我们把 unordered_map 的第二个模板参数 pair 的第一个参数改成 const K 即可，HashTable<K, pair<const K, V>, MapKeyOfT, Hash> _ht；

在封装迭代器时，与前文 map/set 中不同，这里因为 operator++() 遍历，我们需要根据哈希表的数组、哈希函数确定桶的位置，而后面封装的哈希表接口又会返回迭代器，所以这里实际上相互包含，我们需要在迭代器上方声明一下哈希表。

// HashTable.h
template<class K> struct HashFunc {
    size_t operator()(const K& key) { return (size_t)key; }
};
// 特化
template<> struct HashFunc<string> {
    size_t operator()(const string& key) {
        size_t hash = 0;
        for (auto e : key) { hash *= 131; hash += e; }
        return hash;
    }
};

namespace hash_bucket {
template<class T> struct HashNode {
    T _data;
    HashNode<T>* _next;
    HashNode(const T& data) :_data(data), _next(nullptr) {}
};

// 前置声明
template<class K, class T, class KeyOfT, class Hash> class HashTable;

template<class K, class T, class Ptr, class Ref, class KeyOfT, class Hash>
struct HTIterator {
    typedef HashNode<T> Node;
    typedef HTIterator<K, T, Ptr, Ref, KeyOfT, Hash> Self;
    Node* _node;
    const HashTable<K, T, KeyOfT, Hash>* _pht;
    HTIterator(Node* node, const HashTable<K, T, KeyOfT, Hash>* pht) :_node(node), _pht(pht) {}
    Ref operator*() { return _node->_data; }
    Ptr operator->() { return &_node->_data; }
    bool operator!=(const Self& s) { return _node != s._node; }
    Self& operator++() {
        if (_node->_next) {
            _node = _node->_next;
        } else {
            KeyOfT kot;
            Hash hs;
            size_t hashi = hs(kot(_node->_data)) % _pht->_tables.size();
            ++hashi;
            while (hashi < _pht->_tables.size()) {
                if (_pht->_tables[hashi]) { break; }
                ++hashi;
            }
            if (hashi == _pht->_tables.size()) {
                _node = nullptr;
            } else {
                _node = _pht->_tables[hashi];
            }
        }
        return *this;
    }
};

template<class K, class T, class KeyOfT, class Hash>
class HashTable {
    template<class K, class T, class Ptr, class Ref, class KeyOfT, class Hash>
    friend struct HTIterator;
    typedef HashNode<T> Node;
public:
    typedef HTIterator<K, T, T*, T&, KeyOfT, Hash> Iterator;
    typedef HTIterator<K, T, const T*, const T&, KeyOfT, Hash> ConstIterator;
    Iterator Begin() {
        if (_n == 0) return End();
        for (size_t i = 0; i < _tables.size(); i++) {
            Node* cur = _tables[i];
            if (cur) { return Iterator(cur, this); }
        }
        return End();
    }
    Iterator End() { return Iterator(nullptr, this); }
    ConstIterator Begin() const {
        if (_n == 0) return End();
        for (size_t i = 0; i < _tables.size(); i++) {
            Node* cur = _tables[i];
            if (cur) { return ConstIterator(cur, this); }
        }
        return End();
    }
    ConstIterator End() const { return ConstIterator(nullptr, this); }
    // ... other methods like Insert, Find, Erase ...
    pair<Iterator, bool> Insert(const T& data) {
        KeyOfT kot;
        Iterator it = Find(kot(data));
        if (it != End()) return make_pair(it, false);
        Hash hs;
        size_t hashi = hs(kot(data)) % _tables.size();
        if (_n == _tables.size()) {
            vector<Node*> newtables(__stl_next_prime(_tables.size() + 1), nullptr);
            for (size_t i = 0; i < _tables.size(); i++) {
                Node* cur = _tables[i];
                while (cur) {
                    Node* next = cur->_next;
                    size_t hashi = hs(kot(cur->_data)) % newtables.size();
                    cur->_next = newtables[hashi];
                    newtables[hashi] = cur;
                    cur = next;
                }
                _tables[i] = nullptr;
            }
            _tables.swap(newtables);
        }
        Node* newnode = new Node(data);
        newnode->_next = _tables[hashi];
        _tables[hashi] = newnode;
        ++_n;
        return make_pair(Iterator(newnode, this), true);
    }
    Iterator Find(const K& key) {
        KeyOfT kot;
        Hash hs;
        size_t hashi = hs(key) % _tables.size();
        Node* cur = _tables[hashi];
        while (cur) {
            if (kot(cur->_data) == key) { return Iterator(cur, this); }
            cur = cur->_next;
        }
        return End();
    }
    bool Erase(const K& key) {
        KeyOfT kot;
        Hash hs;
        size_t hashi = hs(key) % _tables.size();
        Node* prev = nullptr;
        Node* cur = _tables[hashi];
        while (cur) {
            if (kot(cur->_data) == key) {
                if (prev == nullptr) { _tables[hashi] = cur->_next; }
                else { prev->_next = cur->_next; }
                delete cur; --_n; return true;
            }
            prev = cur; cur = cur->_next;
        }
        return false;
    }
private:
    vector<Node*> _tables;
    size_t _n = 0;
};
}

2.3 map 支持 []

unordered_map 要支持 [] 主要需要修改 insert 返回值支持，修改 HashTable 中的 insert 返回值为 pair<Iterator, bool> Insert(const T& data)。有了 insert 支持 [] 实现就很简单了，具体参考下面代码实现。

2.4 bit::unordered_map 和 bit::unordered_set 代码实现

有了哈希表及其迭代器的封装后，我们在这基础上再封装一层来实现 unordered 系列容器。

// MyUnorderedSet.h
namespace zlr {
template<class K, class Hash = HashFunc<K>>
class unordered_set {
    struct SetKeyOfT {
        const K& operator()(const K& key) { return key; }
    };
public:
    typedef typename hash_bucket::HashTable<K, const K, SetKeyOfT, Hash>::Iterator iterator;
    typedef typename hash_bucket::HashTable<K, const K, SetKeyOfT, Hash>::ConstIterator const_iterator;
    iterator begin() { return _ht.Begin(); }
    iterator end() { return _ht.End(); }
    const_iterator begin() const { return _ht.Begin(); }
    const_iterator end() const { return _ht.End(); }
    pair<iterator, bool> insert(const K& key) { return _ht.Insert(key); }
    iterator Find(const K& key) { return _ht.Find(key); }
    bool Erase(const K& key) { return _ht.Erase(key); }
private:
    hash_bucket::HashTable<K, const K, SetKeyOfT, Hash> _ht;
};
void test_set() {
    unordered_set<int> s;
    int a[] = { 4, 2, 6, 1, 3, 5, 15, 7, 16, 14, 3,3,15 };
    for (auto e : a) { s.insert(e); }
    for (auto e : s) { cout << e << " "; }
    cout << endl;
    unordered_set<int>::iterator it = s.begin();
    while (it != s.end()) {
        cout << *it << " "; ++it;
    }
    cout << endl;
}
}

// MyUnorderedMap.h
namespace zlr {
template<class K, class V, class Hash = HashFunc<K>>
class unordered_map {
    struct MapKeyOfT {
        const K& operator()(const pair<K, V>& kv) { return kv.first; }
    };
public:
    typedef typename hash_bucket::HashTable<K, pair<const K, V>, MapKeyOfT, Hash>::Iterator iterator;
    typedef typename hash_bucket::HashTable<K, pair<const K, V>, MapKeyOfT, Hash>::ConstIterator const_iterator;
    iterator begin() { return _ht.Begin(); }
    iterator end() { return _ht.End(); }
    const_iterator begin() const { return _ht.Begin(); }
    const_iterator end() const { return _ht.End(); }
    pair<iterator, bool> insert(const pair<K, V>& kv) { return _ht.Insert(kv); }
    V& operator[](const K& key) {
        pair<iterator, bool> ret = _ht.Insert(make_pair(key, V()));
        return ret.first->second;
    }
    iterator Find(const K& key) { return _ht.Find(key); }
    bool Erase(const K& key) { return _ht.Erase(key); }
private:
    hash_bucket::HashTable<K, pair<const K, V>, MapKeyOfT, Hash> _ht;
};
void test_map() {
    unordered_map<string, string> dict;
    dict.insert({ "sort", "排序" });
    dict.insert({ "left", "左边" });
    dict.insert({ "right", "右边" });
    dict["left"] = "左边，剩余";
    dict["insert"] = "插入";
    dict["string"];
    unordered_map<string, string>::iterator it = dict.begin();
    while (it != dict.end()) {
        it->second += 'x';
        cout << it->first << ":" << it->second << endl;
        ++it;
    }
    cout << endl;
}
}