对于判断某网页的 URL 是否存在于包含 100 亿条数据的黑名单上这样的大数据小内存去重问题，一种解决方法是使用布隆过滤器。
布隆过滤器是一种空间效率高、时间效率快的概率型数据结构，适用于快速判断一个元素是否可能在一个集合中。它通过多个哈希函数和一个位数组来表示集合，并在判断一个元素是否存在时进行位操作，具有一定的误判率。
以下是使用布隆过滤器判断某网页的 URL 是否在黑名单上的步骤：
- 初始化一个布隆过滤器，用于表示黑名单数据集。
- 将黑名单中的所有 URL 经过多次哈希函数映射到布隆过滤器的位数组上。
- 当需要判断某个 URL 是否在黑名单中时，将该 URL 经过相同的哈希函数映射到布隆过滤器的位数组上，并检查对应的位是否都为1。
- 如果所有对应的位都为1，则认为该 URL 可能在黑名单上；如果有任何一位为0，则可确定该 URL 不在黑名单上。
需要注意的是，布隆过滤器在判断某个元素不在集合中时可能出现误判，即存在一定的假阳性率。因此，在使用布隆过滤器时，需要根据实际情况权衡误差率和空间利用率，以及根据具体需求来确定哈希函数数量、位数组大小等参数。
布隆过滤器可以有效地处理大规模数据且内存有限的去重问题，是一种常用的解决方案之一。在实践中，可以根据具体的黑名单数据规模和性能要求选择合适的布隆过滤器参数，以提高判断的准确性和效率。